Blog

Nataconnexindo.com, Tangerang – Mengoptimalkan sebuah website melalui artikel merupakan salah satu kegiatan SEO. Untuk lebih mengoptimalkan sebuah artikel di laman online, Anda perlu menggunakan file robots.txt dalam teknik SEO yang Anda jalankan.

Robots.txt adalah sekumpulan kode berbentuk text yang berfungsi sebagai instruksi pada bot search engine. File ini akan menjalankan fungsinya ketika proses crawling dilakukan oleh bot. Bagaimana proses crawling dan apa fungsi dari proses crawling? Simak selengkapnya di sini.

Baca Juga: Cara Google Crawl, Index, dan Serve 2020

Robots.txt terkait sangat erat dengan suksesnya sebuah strategi SEO. Dengan menggunakan file robots.txt, bot mesin pencari dapat berinteraksi secara lebih baik dengan website yang Anda kelola. Untuk memahami apa dan bagaimana robots.txt, kita akan membahasnya satu persatu pada artikel ini.

Apa itu robots.txt?

Secara sederhana robots.txt adalah rangkaian file berbentuk text yang berisi instruksi kepada mesin pencari seperti Google. Dengan memberikan robots.txt pada website maka website akan memberikan tanda kepada Google ke mana saja akses yang harus dilakukan dan halaman mana saja yang perlu diindeks.

Oleh karena itu, robots.txt akan membuat artikel website lebih mudah dan lebih cepat diindeks di mesin pencari seperti Google. Sehingga, peringkat halaman artikel Anda akan lebih cepat naik di halaman hasil pencarian Google. Robots.txt juga dapat memisahkan halaman yang tidak ingin Anda tampilkan di dalam mesin pencari. Fungsi lain dari file ini juga untuk menghalangi beberapa mesin pencari melakukan crawl ke website Anda sehingga beban website akan tetap terjaga.

File robots.txt terletak di dalam folder root server penyimpanan situs yang biasa disebut sebagai folder public_html. Namun file ini adalah file virtual yang tidak dapat diakses ataupun diganti melalui direktori manapun. Sehingga, ketika Anda ingin memperbarui file ini, Anda harus membuat sendiri file robots.txt yang diletakan di dalam folder public_html dan memasukan skrip konfigurasi secara manual.

Konfigurasi robots.txt

Konfigurasi robots.txt termasuk cukup sederhana karena hanya berisi beberapa instruksi saja. Berikut ini adalah contoh konfigurasi file robots.txt.

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content

User-agent: Bingbot

Diasallow: /

Kode robot.txt diawali dengan teks user-agent: * dan diikuti oleh kode dari bot yang akan menunjukan dan menerapkan pengaturan website. Tanda bintang (*) setelah teks user_agent dapat diartikan sebagai pengaturan universal

Misalkan Anda ingin menambahkan atau mengizinkan beberapa mesin pencari untuk melakukan crawl, Anda cukup menambahkan beberapa baris skrip seperti di bawah ini.

User-agent: Mediapartners-Google

Allow: /

User-agent: Adsbot-Google

Allow: /

User-agent: Googlebot-Mobile

Allow: /

Sitemap: https://nataconnexindo.com/sitemap.xml

User-agent adalah instruksi yang digunakan untuk mendeskripsikan rule jenis/nama robot. Allow untuk menambahkan bagian mana yang dapat diakses oleh robot, dan disallow untuk mendeskripsikan bagian yang tidak boleh diakses oleh robot. Jika tidak terdapat skrip disallow: maka mesin pencari dapat memindai keseluruhan isi website.

Dengan menggunakan skrip diatas, Anda akan mengarahkan mesin pencari untuk memindai isi dari sebuah website. Sebagai contoh, jika website yang Anda kelola memiliki beberapa image yang tidak ingin terbaca oleh Google maka Anda dapat membuat skrip disallow: /images/ (disallow folder images) untuk memberikan instruksi kepada Google agar tidak memindai gambar tersebut.

Cara Setting Robot.txt di Blog Wordpress

Terdapat beberapa cara setting file robot.txt pada wordpress. Jika Anda termasuk pengguna wordpress untuk website, maka Anda dapat menggunakan plugin seperti Yoast SEO, All in dan One SEO Pack.

Menggunakan Plugin All in One SEO Pack

Plugin ini cukup sering digunakan untuk membuat dan mensetting file robots.txt. Cara mensettingnya-pun cukup sederhana.

Langkah 1: Anda harus menginstall terlebih dahulu plugin All in One SEO Pack. Setelah melakukan instalasi maka aktifkan plugin tersebut.

Langkah 2: Masuk ke dalam menu All in One SEO kemudian aktifkan fitur robots.txt.

Langkah 3: Setelah diaktifkan, Anda akan melihat pilihan menu robots.txt di panel bagian kanan. Di sini, Anda dapat menambahkan user-agent, rule dan directory-path yang akan dimasukkan kedalam file.

Langkah 4: Tambahkan konfigurasi yang Anda butuhkan.

Setelah itu, maka instruksi baru telah Anda terapkan pada website yang Anda kelola. Namun, Anda tak perlu khawatir karena Anda dapat menghapus rule baru ini kapanpun Anda mau.

Menggunakan Plugin Yoast SEO

Plugin ini juga merupakan salah-satu plugin populer untuk membuat dan mengatur file robot.txt. Bagaimana plugin ini digunakan? Cukup mudah hanya dengan beberapa langkah saja.

Langkah 1: Anda harus menginstall plugin Yoast SEO

Langkah 2: Klik menu SEO – Tools, setelah itu akan muncul File Editor

Langkah 3: Pada halaman selanjutnya pilih “Create a New Robots.txt” kemudian masukan instruksi yang diinginkan.

Kesimpulan

Dengan menerapkan file robots.txt, sebuah website akan lebih mudah untuk ditemukan dan diindeks oleh robot mesin pencari. Dengan menggunakan file robots.txt juga Anda dapat membatasi, mengontrol, dan memblokir aktivitas robot mesin pencari. (ADR)