Optimasi Robots.txt WordPress merupakan langkah yang tepat bila ingin situs kalian lebih seo friendly. Inilah termasuk faktor yang mempengaruhi seo blog pada mesin pencari.
Pasti kalian masih ragu dan bingung mengenai Robots.txt ini. Apa itu Robots.txt? Mengapa sangat penting? dan Bagaimana cara untuk mengoptimalkan Robots.txt agar WordPress lebih ramah mesin pencari?
Pertanyaan tersebutlah yang kali ini akan kita bahas bersama dengan bahasa yang simple dan mudah untuk dipahami.
APA ITU ROBOTS.TXT?
Robots.txt adalah file yang berformat txt (teks) yang mengontrol perilaku mesin pencari dalam merayapi suatu blog. Ini lebih spesifik bagaimana mesin pencari mendapatkan izin untuk merayapi situs blog dan mengindeks atau tidak.
Saat search engine merayapi situs, terlebih dahulu yang dirujuk adalah file Robots.txt tersebut.
Secara umum, mesin pencari telah didesain untuk mengumpulkan segala macam informasi sebanyak-banyaknya dari suatu situs namun dengan menggunakan Robots.txt kalian dapat mengendalikan perayapan tersebut.
Mungkin kalian masih ragu menggunakan Robots.txt ini dan bertanya mengapa kita perlu untuk menolak perayapan yang dilakukan oleh mesin pencari, berikut alasannya.
ALASAN MENGGUNAKAN ROBOTS.TXT
- Bila semua blog dirayapi oleh mesin pencari, situs akan rawan terkena hack
- Membuat mesin pencari merayapi secara unrestrictedly sehingga memakan bandwith dan membuat lemot
- Semakin banyak laman semakin lama proses index, hal ini mengurangi kecepatan indeks laman yang penting
BAGAIMANA CARA OPTIMASI ROBOTS.TXT WORDPRESS?
Setelah membaca sebagian penjelasan saya diatas, sedikit demi sedikit kalian mengetahui tentang robots.txt itu.
Apabila terdapat banyak kendala dalam urusan perayapan, hal ini akan mengurangi tingkat seo friendly dimata search engine dan membuat situs diambang bahaya.
Dengan begitu, penting bagi kalian untuk menemukan solusi dalam memberikan pertimbangan menggunakan robots.txt yakni untuk urusan keamanan dan SEO.
Berikut ini merupakan contoh bagaimana kinerja Optimasi Robots.txt WordPress terhadap situs dan mesin pencari.
- Login dari Cpanel hosting
- Masuk ke folder root dan cari file Robots.txt
- Bila tidak ada, dapat membuat sendiri file Robots.txt
- Klik kanan file Robots.txt, klik sunting kemudian edit
SEPERTI APA ROBOTS.TXT YANG NORMAL?
Format yang berisi pada file Robots.txt sederhana saja. Baris pertama biasanya memiliki tulisan “User Agent”.
Nah, user agent ini adalah bot yang akan berinteraksi dengan blog kalian. Misalnya Googlebot atau Bingbot. Menggunakan tanda (*) untuk menyertakan semua bot yang ingin diajak berinteraksi.
Pada baris berikutnya berisi tulisan petunjuk Allow atau Disallow untuk search engine. Jadi, dengan menggunakan petunjuk ini mesin pencari tahu kalau bagian mana yang harus diindeks atau tidak diindeks.
Beginilah contoh isi file Robots.txt :
User-Agent: *
Allow: /?display=wide
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Disallow: /refer/Sitemap: https://www.ngeblogbareng.com/post-sitemap.xml
Sitemap: https://www.ngeblogbareng.com/page-sitemap.xml
Catatan Penting :
Jika kalian telah menggunakan plugin Yoast Seo atau All in One Seo Pack, sebaiknya jangan menambahkan sitemap secara manual karena kedua plugins tersebut telah membuatkan secara otomatis. Bila tidak bisa atau gagal, kalian dapat menambahkan seperti kode baris diatas.
BAGIAN APA YANG HARUS DI ALLOW ATAU DISALLOW?
Pada pedoman google webmaster, pihak google menyarankan untuk tidak menggunakan file Robots.txt untuk menyembunyikan atau disallow artikel berkualitas rendah seperti kategori, tanggal, dan halaman arsip
Tujuan sebenarnya Robots.txt ialah merayapi situs blog kalian. Tidak ada cara khusus untuk menghentikan perayapan mesin pencari selain menggunakan perintah Allow atau Disallow.
Tidak perlu juga untuk menambahkan halaman login WordPress, Directory admin, atau halaman registrasi WordPress pada file Robots.tx karena halaman-halaman tersebut telah ditambahkan meta noindex oleh WordPress secara otomatis.
Disini saya merekomendasikan untuk tidak menambahkan berkas readme.html pada file Optimasi Robots.txt WordPress.
Mengapa? hal ini tentunya bahaya bagi keamanan situs karena seseorang bisa saja mengakses halaman tersebut dan mengetahui versi WordPress yang saat ini digunakan. Itu bisa jadi celah keamanan yang dapat dimanfaatkan oleh orang yang tidak bertanggung jawab.
Selain itu, kalian juga bisa untuk melarang (disallow) mesin pencari untuk merayapi Plugin yang sedang digunakan. Plugin bisa saja memiliki banyak celah yang dapat dibobol oleh hacker.
BAGAIMANA CARA MENGIRIMKAN FILE ROBOTS.TXT KE GOOGLE?
Sesudah kalian setting dan perbarui file Robots.txt diatas, selanjutnya dapat segera di daftarkan di Google Webmaster Tool.
Atau bisa juga ditest terlebih dahulu disini.
Jika kalian tidak melihat Robots.txt menampilkan seperti diatas, buat dan dapat diupload secara manual melalui folder root WordPress pada Cpanel hosting.
Itulah tadi pembahasan mengenai file Optimasi Robots.txt WordPress. Jadi menurut kalian penting tidak sih Robots.txt itu? Beritahu saya melalui kolom komentar ya… Semoga Bermanfaat.
