Robot txt adalah sebuah ketentuan untuk mencegah web crawel (web perayapan) dan robot web lain dari pengaksesan seluruh atau sebagian situs web. Pada pengertian lain robot txt adalah gabungan dari beberapa kode yang digunakan agar robot search engine mengetahui yang mana yang harus diindeknya. Proses perayapan diatur oleh kode-kode tersebut.Robot ini berguna untuk mengontrol halaman-halaman tertentu agar tidak diindeks oleh spider mesin pencari atau situs jejaring sosial seperti Friendster, Twitter, Facebook.
Apabila Anda ingin mengatur Robot txt ini, Anda perlu berhati-hati, karena bisa saja robot search engine akan mengabaikan untuk merayapi konten blog Anda. Konten apapun di blog Anda tidak akan ditampilkan dan akan tenggelam dihalaman belakang google. Untuk itu Anda harus mengetahui Tips Mengatur Robot txt yang benar. Jika Anda tidak pernah mengatur robot txt tidak jadi masalah, blog tetap akan dirayapi oleh robot-robot mesin pencari. Setiap blog sudah mempunyai robots.txt default. Nah, pada artikel ini saya akan membagikan Tips Mengatur Robot txt untuk Anda. Silahkan ikuti langkah-langkah berikut ini:
Silahkan login ke akun blogger Anda, lalu pilih Settings pada dashboard.
Kemudian Pilih dan klik Search preferences.
Aktifkan pertanyaan Custom robot.txt ? lalu klik Edit.
Copy kode script dibawah ini dan letakkan di kolom edit tadi:
=========================================================================
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.gaming12home.tk/sitemap.xml
User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Allow: /
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Disallow: /*/*/*.html?showComment=*
User-agent:*
Allow: /
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Disallow: /*/*/*.html?showComment=*
Sitemap: https://www.gaming12home.tk/feeds/posts/default?orderby=UPDATED
=========================================================================
NOTE : Tulisan yg berwarna Merah Ganti Menggunakan Url Blog anda
Terima kasih telah membaca artikel tentang Cara Setting Robot . txt pada Blog di blog Lombok Santer'S jika anda ingin menyebar luaskan artikel ini di mohon untuk mencantumkan link sebagai Sumbernya, dan bila artikel ini bermanfaat silakan bookmark halaman ini diwebbroswer anda, dengan cara menekan Ctrl + D pada tombol keyboard anda.
Pengunjung yang baik pasti meninggalkan Komentar hehehe,, :D