 |
| Panduan Crawler dan Pengindeksan di Blogger |
Menu setelan di platform Blogger menawarkan fitur menarik untuk mengatur menu crawler dan pengindeksan. Fitur tersebut memungkinkan pengguna untuk mengakses file robots.txt dan membatasi halaman yang boleh atau tidak boleh diindeks oleh mesin pencari.
Dengan menerapkan file robots.txt yang tepat, konten tulisan dapat terindeks lebih cepat dan blog akan lebih mudah ditemukan pada hasil pencarian Google. Oleh karena itu, penggunaan fitur ini secara efektif dapat menjadi strategi SEO yang efektif bagi para blogger.
Tidak hanya itu, pengaturan yang tepat pada file robots.txt juga dapat meningkatkan peringkat blog pada Search Engine Results Page (SERP) dan memperbaiki proses pengindeksan.
Jadi, dengan memanfaatkan fitur menu crawler dan pengindeksan secara optimal, blogger dapat meningkatkan kemungkinan munculnya blog mereka pada hasil pencarian Google.
Dalam artikel ini, saya akan memberikan aturan penerapan pada menu Crawler dan Pengindeksan di Blogger sebagai berikut.
Mengatur File Robot
Untuk mengatur pengindeksan dan crawler pada platform Blogger, pengguna dapat membuka menu setelan pada dashboard blog mereka. Setelah itu, mereka dapat mencari opsi pengaturan untuk crawler dan pengindeksan dan mengaktifkan fitur robot.txt kustom dengan menggeser tombolnya ke posisi "aktif".
Setelah itu, pengguna dapat memilih opsi robot.txt kustom dan memasukkan kode berikut untuk membatasi pengindeksan halaman blog mereka:
"User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Allow: / Sitemap: https://www.namablog.blogspot.com/sitemap.xml"
Penting untuk diingat bahwa pengguna harus mengganti "namablog" pada kode di atas dengan nama domain blog mereka sendiri. Dengan melakukan hal ini, blog mereka dapat diindeks dengan baik dan meningkatkan visibilitasnya di mesin pencari Google.
Robot Txt
Robot.txt merupakan teks yang memberikan panduan kepada mesin pencari tentang halaman pada blog yang boleh atau tidak boleh diindeks. Ada beberapa istilah penting yang harus diketahui dalam pengaturannya, seperti:
- User-agent merujuk pada mesin pencari yang diizinkan untuk melakukan crawling pada blog, seperti Google, Bing, Yahoo, dan sebagainya.
- Disallow digunakan untuk memberikan instruksi agar mesin pencari tidak mengindeks halaman tertentu pada blog.
- Allow digunakan untuk memberikan instruksi agar mesin pencari diizinkan mengindeks halaman pada blog.
- Sitemap merupakan daftar halaman-halaman pada blog.
Kode Aman Robot Txt
Panduan standar untuk membuat file robot.txt yang aman dikenal sebagai Kode Aman Robot.txt. Berikut adalah cakupan kode amannya:
- User-agent: Mediapartners-Google digunakan untuk memperbolehkan mesin pencari Google melakukan crawling pada blog, khususnya pada halaman yang berisi iklan Adsense.
- Disallow digunakan untuk menunjukkan bahwa seluruh halaman pada blog tidak boleh diindeks oleh mesin pencari.
- User-agent:* menunjukkan bahwa semua mesin pencari diperbolehkan untuk melakukan crawling pada blog.
- Disallow: /search menunjukkan bahwa mesin pencari tidak diizinkan untuk melakukan crawling pada halaman pencarian yang kosong pada blog.
- Allow: / memperbolehkan mesin pencari untuk melakukan crawling pada seluruh halaman blog.
- Sitemap: https://www.namablog.blogspot.com/sitemap.xml adalah file yang berisi daftar halaman pada blog.
Konsekuensi Robot Txt
Mengatur file robot.txt pada blog dapat berdampak pada cakupan indeksasi halaman oleh mesin pencari. Dalam beberapa kasus, mesin pencari dapat melaporkan halaman yang telah diindeks, namun diblokir oleh file robot.txt. Selain itu, URL yang diblokir juga dapat memengaruhi proses indeksasi pada blog Anda.
Mengatur File Tag Header Robot Kustom
Langkah-langkah untuk mengatur tag header robot kustom adalah sebagai berikut:
- Masuk ke akun blogger Anda di blogger.com.
- Klik tombol "Setelan" di menu utama.
- Pilih sub-menu "Crawler dan pengindeksan".
- Aktifkan fitur "Tag Header Robot Kustom" dengan menggeser tombol ke kanan.
- Pilih "Tag Halaman Beranda" dan geser ke "All".
- Pilih "Tag Arsip dan Halaman Pengindeksan" dan geser ke "Noindex, Nofollow, None, dan Noarchive".
- Pilih "Tag Postingan dan Halaman" dan geser ke "All".
- Setelah selesai, klik tombol "Simpan" untuk menyimpan perubahan.
Dengan mengikuti langkah-langkah tersebut, akan membantu meningkatkan SEO blog Anda dan memastikan bahwa halaman-halaman di blog Anda diindeks dengan baik oleh mesin pencari.
Kesimpulan
Menata file robot.txt serta menambahkan tag header robot yang diubah secara kustom merupakan hal yang sangat krusial dalam memperbaiki optimasi SEO blog Anda. Dengan memaksimalkan kedua fitur tersebut, blog Anda dapat dengan mudah diindeks oleh mesin pencari serta mencapai posisi yang lebih baik di halaman hasil pencarian.