Menambahkan Robots.txt di NuxtJS

March 19, 2021 2 min read
Pelajari bagaimana cara menambahkan robots.txt ke NuxtJS untuk mengizinkan atau melarang bot merayapi situs web.

Robots.txt menjadi salah satu file penting dalam SEO karena membantu mengontrol Google dan mesin pencari lainnya seperti Bing untuk mengindeks konten situs web.

Saat mesin perayap atau bot melakukan crawling, pertama kali yang dia lihat adalah file robots.txt, dari file inilah yang menjadi penentu apakah akan dilanjutkan merayapi seluruh konten web atau tidak.

Ada dua cara untuk menambahkan robots.txt di NuxtJS, yaitu cara yang sederhana dengan membuatnya secara manual, dan kedua dengan menggunakan plugin/modul.

Membuat Robots.txt Secara Manual

Pertama buatlah file robots.txt di dalam folder static. Lalu isi dengan konfigurasi sederhana berikut.

User-agent: *
Allow: /

Sitemap: https://www.namawebkamu.com/sitemap.xml

Itu adalah konfigurasi sederhana, untuk lebih detail soal pembahasan isi robots.txt dan penjelasannya tidak akan kita bahas disini.

Kamu bisa mengunjungi dokumentasi robots.txt di Halaman Dokumentasi Google: Membuat file robots.txt.

Menambahkan Robots.txt dengan Modul/Plugin

Plugin yang kita gunakan adalah @nuxtjs/robots, pertama tambahkan ke dalam project dengan NPM atau Yarn.

npm install @nuxtjs/robots

# atau

yarn add @nuxtjs/robots


Selanjutnya, tambahkan kedalam nuxt.config.js.

export default {
  modules: [
    '@nuxtjs/robots'
  ],
  robots: {
    /* opsi */
  }
}

Kita juga bisa menambahkan beberapa konfigurasi sederhana.

export default {
  ...
  robots: {
    /* opsi */
    UserAgent: '*',
    Disallow: ''
  }
  ...
}

Dengan konfigurasi robots.txt diatas, kita mengijinkan semua bot melakukan perayapan pada semua halaman situs, karena baris Disallow kosong.

Berbeda dengan Disallow: '/', bot tidak akan merayapi semua halaman di situs kita.

Selain itu, kamu juga menambahkan beberapa User Agent tertentu.

export default {
  ...
  robots: [
    /* opsi */
    {
      UserAgent: 'Googlebot',
      Disallow: '/user',
    },
    {
      UserAgent: '*',
      Disallow: '/admin',
    },
  ]
  ...
}

Konfigurasi diatas akan memblokir semua bot dari halaman /admin, dan hanya memblokir bot Googlebot dari halaman /user.


Terima kasih sudah membaca artikel "Menambahkan Robots.txt di NuxtJS"
Bagikan
Silahkan Login untuk berkomentar.