custom robot txt blogger-Cara Custom Robot Txt di blogspot

Cara Custom Robot Txt di Blogger adalah salah satu cara untuk memberitahu kepada mesin pencari tentang halaman mana yang bisa di crawl dan halaman mana yang tidak akan di crawl 

Protokol robots.txt digunakan untuk mencegah spider mesin telusur dan program otomatis lainnya mengakses bagian tertentu dari situs web Anda. Ini dilakukan agar orang tidak melihat halaman tersebut saat mereka mengunjungi situs Anda.

Protokol robots.txt digunakan untuk mencegah perayap web dan program otomatis lainnya mengakses bagian situs web tertentu. Ini membantu melindungi situs web Anda dari plagiasi konten.

Protokol robots.txt memungkinkan pemilik situs web menentukan halaman mana di situs mereka yang tidak boleh dirayapi oleh spider mesin telusur. Ini membantu mencegah masalah duplikat konten dan memastikan bahwa tidak ada informasi sensitif yang terungkap ke publik.

Pada kesempatan kali ini sedikit saya ingin berbagi informasi terkait dengan custom robot.txt blogger

di sini saya sudah membuka dashboard bloggernya di versi blogger 2022 selanjutnya di bagian sisi kiri sobat pilih saja tab setelan dan scroll saja cari settingan robot txt custom  lalu aktifkan 

 kurang lebih pengaturan settingan robot yang saya setting seperti ini

User-agent: Mediapartners-Google Disallow: User-agent: Googlebot Allow: / Disallow: /search Disallow: /?m=1 Disallow: /?m=0 Disallow: /*?m=1 Disallow: /*?m=0 Disallow: /*/*/*.html?showComment=* User-agent:* Allow: / Disallow: /search Disallow: /?m=1 Disallow: /?m=0 Disallow: /*?m=1 Disallow: /*?m=0 Disallow: /*/*/*.html?showComment=* Sitemap: https://webanda/feeds/posts/default?orderby=UPDATED

keterangan :

allow      = halaman yang akan diindex

disallow =halaman yang tidak akan diindex

Sitemap: https://webanda/feeds/posts/default?orderby=UPDATED

tulisan warna merah ganti dengan alamat web/blog anda

seorang blogger sangat disarankan untuk disallow label pada blogger . karena label pada blogger itu biasanya bersifat statis.jadi label yang bersifat statis inilah yang nantinya bisa menimbulkan masalah bagi situs kita yakni permasalahan duplikat konten

ketika situs kita memiliki masalah duplikat konten,maka robot perayapan dari Google akan memberikan penilaian yang buruk terhadap situs kita dan bisa dianggap konten tidak berkualitas karena banyak konten-konten yang duplikat 

konten-konten duplikat itu adalah konten-konten yang sama persis dengan konten yang lainnya jadi ada baiknya khusus untuk pengguna blogger lebih baik jangan mengindeks yang label yang ada  kecuali kalau memang kita bisa membuatnya atau mensetting sendiri di dalam tema seperti halnya WordPress

kalau WordPress deskripsinya bisa kita ubah tapi kalau di blogger itu tidak bisa karena deskripsi pada label blogger ini bersifat statis

untuk setting search pada blog saya juga saya atur disallow atau tidak di index kemudian saya juga tidak menginginkan laman kontak yang ada pada situs saya seperti about me ,kontak ,privasi police dan disclaimer, menurut saya percuma saja karena visitor enggak bakalan juga untuk mengklik iklan yang tampil di taman kontak 

walaupun demikian lama-laman seperti ini wajib dipasang sebagai syarat jika kita  ingin mendaftar situs kita ke Google adsense