Cara Setting Robots.txt Blogger yang SEO Friendly
Sebelum melanjutkan cara mensettingnya, silahkan anda simak beberapa point penting dibawah ini !
Pengertian Robots.txt
Robots.txt adalah sebuah fitur yang memberi tahu crawler mesin telusur halaman maupun files mana yang dapat atau tidak dapat diminta oleh crawler dari blog Anda.
Baca Juga: Pengertian Content Placement dan Manfaatnya
Fungsi Robots.txt
Robots.txt ini digunakan terutama untuk menghindari membebani situs Anda dengan permintaan "ini bukan mekanisme untuk menyembunyikan halaman dari Google".
Untuk menghilangkan halaman dari Google, Anda harus memakai perintah noindex, atau melindungi halaman Anda dengan password.
Yang mana hal ini saya lansir dari situs resminya di https://developers.google.com/search/docs/advanced/robots/intro.
Baca Juga: Cara Mengatasi Broken Link Blog dengan Mudah
Cara Setting Robots.txt
- Langkah pertama, silahkan masuk ke blogger.com.
- Kemudian pilih "setelan" pada menu dashboard blogger.
- Kemudian geser ke bawah, dan cari tulisan Crawler dan pengindeksan.
- Setelah itu baru aktifkan "Aktifkan robots.txt kustom".
- Dan silahkan copy tulisan dibawah ke kolom yang sudah disediakan.
- Jika sudah bisa klik simpan.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.namablog.com/sitemap.xml
Tutorial Pasang Robots.txt
Baca Juga: Cara Memasang Anti Copas Blog dengan Mudah