Setelah kemarin saya posting wacana cara setting header tag untuk blogger, kali ini saya kembali untuk posting cara setting robot.txt khusus blogger. Mungkin Anda terbiasa menggunakan robot.txt bawaan blogger atau memang Anda tidak pernah merubah robot.txt yang lebih SEO friendly?. Dengan mengganti robot.txt bawaan blogger, Anda mampu menentukan mana yang boleh di index oleh mesin pencari dan mana yang tidak Anda perbolehkan.
Didalam blogger robot.txt di kenal dengan custom robot.txt, nah pada kesempatan kali ini saya akan membahas kegunaan apa itu robot.txt dan apa manfaat dari robot.txt tersebut. Yang perlu Anda tahu, saya bukanlah Ahli dalam bidang ini, tetapi saya berguru dari sini, dan apa bila Anda ingin tahu wacana kegunaan menyeluruhnya robot.txt, Anda mampu membacanya di Moz.com.
Hal yang perlu Anda perhatikan wacana robot.txt yaitu "Gunakan dengan hati hati. Penggunaan yang tidak benar dari fitur ini dapat menyebabkan blog Anda di abaikan oleh mesin pencari". Nah apa bila Anda takut atau kurang tahu, Anda mampu mengikuti tutorial cara setting robot.txt khusus blogger di bawah ini. Silahkan dilanjutkan membacanya.
Apa Itu Robot.txt?
Robot.txt yaitu sebuah ketentuan pengguna blog untuk mencegah dari mesin pencari, yang tidak di izinkan untuk di index. Robot.txt ini juga berkhasiat sebagai mengontrol dari halaman yang tidak boleh di index dari mesin pencari dan situs media umum seperti: Facebook, Twitter dan lain-lain. Atau Anda ingin lebih terang dan detailnya Anda mampu membaca dari situs Wikipedia dalam bahasa Indonesia.
Cara Setting Robot.txt di Blogger
Semua plaform Blogger sudah memiliki robot.txt didalamnya. Secara default robot.txt di blogspot menyerupai dibawah ini:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://compyku.blogspot.com/feeds/posts/default?orderby=UPDATED
Mari kita bahas satu persatu dari arahan di atas.
1.User-agent: Mediapartners-Google: User agent milik google mengambarkan bahwa blog ini partner dari google. Kode ini juga difungsikan untuk robot Google Adsense yang membantu mereka untuk menampilkan iklan yang relevan di blog Anda sesuai niche blog Anda.
2.Disallow: Yang tidak di perbolehkan tidak ada.
3. User-agent: Semua robot search engine/mesin pencari.
4. Disallow: /search: Tidak di perbolehkan merayapi folder seach dll, menyerupai search/label dan seterusnya. Itu berarti link memiliki kata kunci pencarian setelah nama domain akan diabaikan. menyerupai yang saya katakan search/label/seo tidak akan di index.
5. Allow: /: Mengizinkan semua halaman untuk di rayapi, kecuali yang di larang di atas. Tanda "/" mengacu pada homepage dan berarti robot dapat merayapi homepage blog kita.
6.Sitemap: " target="_blank">Sitemap atau alamat feeds blog. Kode ini mengacu pada setimap blog, yang akan mempermudah robot untuk merayapi dan mengindex setiap artikel di terbitkan.
Catatan: Sitemap di atas hanya dapat memberi tahu web crawler sekitar 25 artikel yang gres di terbitkan dan kalau Anda ingin mengoptimalkan semoga lebih dari itu, Anda mampu merubahnya menjadi sitemap sebagai berikut:
Sitemap: http://compyku.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap di atas untuk memberi tahu bahwa artikel Anda di kisaran 500, kalau Anda memiliki lebih dari 500 artikel Anda mampu menggunakan sitemap di bawah ini:
Sitemap: http://compyku.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000
Nah di atas yaitu penjelasan wacana arahan robot.txt. Jika Anda ingin memodifikasi robot txt, saya tekankan untuk hati hati. Pada ketika ini sitemap yang saya gunakan di situs ini yaitu sebagai berikut: Jika Anda ingin mencoba menyerupai yag saya gunakan silahkan gunakan arahan ini.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Allow: /
Sitemap: http://www.buatblog.net/feeds/posts/default?orderby=updated
Saya menggunakan arahan robot.txt di atas karena menjaga semoga tidak terjadi kesalahan pada situs saya, Kaprikornus saya memilih yang simpel saja. Nah untuk sitemap saya menggunakan itu karena artikel di situs ini masih kurang dari 40 artikel, maka saya belum menggunakan yang lebih dari 500.
Nah arahan di bawah ini yaitu untuk mencegah duplikat konten yang terdapat di blog Anda, itu mampu disebabkan karena di jalan masuk dari mobile phone. Anda mampu mencegahnnya dengan setting robot.txt di blogger Anda dengan arahan berikut:
User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search
Sitemap: http://compyku.blogspot.com/feeds/posts/default?orderby=UPDATED
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://compyku.blogspot.com/feeds/posts/default?orderby=UPDATED
Mari kita bahas satu persatu dari arahan di atas.
1.User-agent: Mediapartners-Google: User agent milik google mengambarkan bahwa blog ini partner dari google. Kode ini juga difungsikan untuk robot Google Adsense yang membantu mereka untuk menampilkan iklan yang relevan di blog Anda sesuai niche blog Anda.
2.Disallow: Yang tidak di perbolehkan tidak ada.
3. User-agent: Semua robot search engine/mesin pencari.
4. Disallow: /search: Tidak di perbolehkan merayapi folder seach dll, menyerupai search/label dan seterusnya. Itu berarti link memiliki kata kunci pencarian setelah nama domain akan diabaikan. menyerupai yang saya katakan search/label/seo tidak akan di index.
5. Allow: /: Mengizinkan semua halaman untuk di rayapi, kecuali yang di larang di atas. Tanda "/" mengacu pada homepage dan berarti robot dapat merayapi homepage blog kita.
6.Sitemap: " target="_blank">Sitemap atau alamat feeds blog. Kode ini mengacu pada setimap blog, yang akan mempermudah robot untuk merayapi dan mengindex setiap artikel di terbitkan.
Catatan: Sitemap di atas hanya dapat memberi tahu web crawler sekitar 25 artikel yang gres di terbitkan dan kalau Anda ingin mengoptimalkan semoga lebih dari itu, Anda mampu merubahnya menjadi sitemap sebagai berikut:
Sitemap: http://compyku.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap di atas untuk memberi tahu bahwa artikel Anda di kisaran 500, kalau Anda memiliki lebih dari 500 artikel Anda mampu menggunakan sitemap di bawah ini:
Sitemap: http://compyku.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000
Nah di atas yaitu penjelasan wacana arahan robot.txt. Jika Anda ingin memodifikasi robot txt, saya tekankan untuk hati hati. Pada ketika ini sitemap yang saya gunakan di situs ini yaitu sebagai berikut: Jika Anda ingin mencoba menyerupai yag saya gunakan silahkan gunakan arahan ini.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Allow: /
Sitemap: http://www.buatblog.net/feeds/posts/default?orderby=updated
Saya menggunakan arahan robot.txt di atas karena menjaga semoga tidak terjadi kesalahan pada situs saya, Kaprikornus saya memilih yang simpel saja. Nah untuk sitemap saya menggunakan itu karena artikel di situs ini masih kurang dari 40 artikel, maka saya belum menggunakan yang lebih dari 500.
Nah arahan di bawah ini yaitu untuk mencegah duplikat konten yang terdapat di blog Anda, itu mampu disebabkan karena di jalan masuk dari mobile phone. Anda mampu mencegahnnya dengan setting robot.txt di blogger Anda dengan arahan berikut:
User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search
Sitemap: http://compyku.blogspot.com/feeds/posts/default?orderby=UPDATED
Menambahkan Custom Robot.txt di Blogspot/Blogger Anda
Sekarang episode utama dari tutorial ini yaitu bagaimana menambahkan custom robot.txt di blogger. Berikut yaitu langkah-langkah untuk melaksanakan setting robot.txt di blogspot Anda.
- Masuk ke blog blogger Anda.
- Arahkan ke Settings >> Shearch Preferences >> Crawlers and Indexing >> Custom robots.txt >> Edit >> Yes
- Sekarang pastekan arahan file robots.txt Anda dalam kotak. Anda mampu mengambil salah satu pola robot.txt di atas.
- Klik tombol Save Changes.
- Dan selesai!
Anda mampu cek setingan robot,txt Anda dengan cara masuk di google webmasters tool lalu klik Crawl >> Robot.txt Tester. Lihat gambar di bawah ini:
Akhir dari saya: Saya berusaha menjelaskan wacana cara setting robot.txt di blogger dengan sangat hati-hati semoga tidak terjadi kesalahan yang berakibat fatal untuk pembaca dan apabila ada yang paham benar dengan robot.txt, Anda mampu memberi tahu kesalahan saya dengan cara komntar di bawah ini. Terima kasih.