Cara Setting Robot.txt dengan Benar

Memang banyak sekali Blogger yang ingin men-setting Robot.txt untuk fungsi yang maksimal,Sedikit Pengertian Robot.txt dari saya.
The Robot Exclusion Standard, atau sering kita kenal sebagai Robots Exclusion Protocol atau robots.txt protokol, adalah sebuah konvensi untuk mencegah web crawler bekerja sama dengan robot web lain untuk mengakses semua atau bagian dari sebuah website yang jika dilihat secara terbuka.Robot sering digunakan mesin pencari untuk mengkategorikan dan mengarsip situs web, atau web master untuk mengkoreksi Source code. Dari beberapa artikel yang saya baca, penggunanan robot.txt ini juga sangat berguna untuk trick seo dan serp blog kita.Karena berpengaruh pada kualitas SEO jadi saya setakan Tutorial nya sebagai berikut.

Cara Setting Robot.txt :
1.  Log in ke blogger dengan akun blogger anda.
2.  Klik setelan > Preferensi penelusuran / Search preferences.

3.  Pada tab perayap dan pengindeksan pilih robot.txt.

4.  Dan masukkan perintah dibawah ini:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://www.duniabil.com/feeds/posts/default?orderby=UPDATED

Ganti Teks yang berwarna Merah dengan URL Blog anda.
5. Klik Simpan Perubahan.

6. Selesai.