Pages

Cara Setting Robots.txt Lengkap Supaya Blog Lebih SEO

Belajar SEO Blog Untuk Pemula - Bagi sebagian blogger mungkin sudah tidak asing mendengar kata robots.txt, sebenarnya apa fungsinya dalam SEO?

Apa itu Robots.txt?

Sebelum melangkah lebih jauh, ada baiknya kita berkenalan dulu. Robots.txt adalah sebuah file yang berfungsi menyaring halaman apa saja yang kita ijinkan untuk ditelusuri oleh spider search engine.

Cara Setting Robots.txt Lengkap Supaya Blog Lebih SEO

Kenapa kita harus menyaringnya? Bukankah lebih bagus jika semua halaman bisa leluasa ditelusuri spider search engine? Alasannya karena setiap situs memiliki batasan jumlah halaman yang ditelusuri.

Saya kasih contoh kasarnya, misalkan ada 2 situs sebut saja (A) dan (B), keduanya memiliki jumlah artikel seo 40 buah, situs (A) menggunakan robots.txt untuk menyaring perayapan, sementara situs (B) tidak menggunakannya. Masing-masing mempunyai jatah perayapan 45 halaman, disini akan terlihat bahwa situs (A) lebih unggul. Kenapa demikian? Padahal jumlah artikelnya sama-sama 40 buah, dan masih dibawah jumlah batasan perayapan yakni 45 halaman. Karena situs (A) menyaring halaman tertentu untuk tidak ditelusuri, sehingga jatah kuota 45 halaman itu sudah lebih dari cukup untuk mengindex 40 artikel. Beda halnya dengan situs (B) karena spider search engine juga harus merayapi halaman lain selain artikel seperti label sehingga artikel yang ada tidak seluruhnya bisa dirayapi, hal ini akan menghambat proses index.

Langkah-Langkah Membuat Custom Robots.txt

Sudah pada tau 'kan apa manfaatnya menggunakan robots.txt, sekarang kita akan membahas cara membuatnya. Ingat gunakan dengan hati-hati, karena jika salah saat menulis kode nantinya bisa berakibat malah artikel kita yang tidak dirayapi oleh bot search engine.

1. Login ke blog masing-masing.
2. Pilih menu Setelan > Preferensi penelusuran. > robots.txt khusus > Edit.

Langkah-Langkah Membuat Custom Robots.txt

3. Isi form yang muncul dengan kode di bawah,
User-agent: Mediapartners-Google
Disallow:

User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Disallow: /*_*_*_archive.html
Disallow: /*/*/*.html?showComment=*
Disallow: /delete-comment.g?blogID=

User-agent: *
Disallow: /search

Sitemap: http://nubibelajarseo.blogspot.com/feeds/posts/default?orderby=UPDATED
Keterangan: ganti tulisan berwarna merah sesuai dengan nama blog masing-masing.

4. Jika sudah klik Simpan perubahan.

Sampai sini kita sudah berhasil membuat setting robots.txt. Semoga dengan membaca artikel ini bisa membuat anda memahami apa itu robots.txt, manfaatnya, serta cara membuatnya. Sekian posting kali ini tentang cara setting robots.txt lengkap supaya blog lebih seo, mudah-mudahan bisa dipahami dengan baik. Terima kasih -
Artikel Terkait :

15 comments:

  1. mohon saran untuk mobile frendiy dong gan

    ReplyDelete
    Replies
    1. terima kasih atas artikelnya, salam kenal
      http://blogvideos7.blogspot.co.id/
      giribig.com
      idcheat.com

      Delete
  2. very nice post, and I will try it.
    One of praise again for you, your blog template is very simple and nice, I love it, if I may for me to know how the template like this for him.

    ReplyDelete
  3. makasih atas pengetahuannya gan, bagiin ilmu agan di forum bola dan dewasa milik ane dong gan.

    Forum Dewasa

    makasih atas pengetahuannya gan, bagiin ilmu agan di forum bola dan dewasa milik ane dong gan.

    Forum Bola
    Forum Dewasa

    ReplyDelete
  4. Terima kasih banyak atas informasinya saya akan tunggu informasi-informasi menarik lainnya
    salam saya
    Training Internet Marketing Pekanbaru

    ReplyDelete
  5. infonya bermanfaat bngt.. tp kenapa mas robot txt tidak bisa ke index di webmastertool?

    masih belajr mas mampir ke blogku..Cara Membuat Blog

    ReplyDelete
  6. Terimakasih infonya gan , artikelnya sangat bagus

    Trik Tips Android

    ReplyDelete
  7. Nice post gan tapi ane belum sempet nyoba

    ReplyDelete