Mengenal File Robots.txt

Pengertian Robots.txt

Robots.txt adalah file text mungil yang ditempatkan di sebuah website atau blogger, yang khusus disediakan bagi web robot (lazim disebut web crawler/spider).  Robots.txt berfungsi untuk mengatur perilaku web robot yang mengunjungi blogger kita.  Robots.txt ini merupakan salah satu trick SEO yang sangat vital kegunaanya jasi jangan sampai anda tidak melakukan cek terhadap file robots.txt anda di google webmaster tools.

Terdapat ratusan bahkan ribuan web robot gentayangan di dunia maya!  Web robot adalah program yang dirancang untuk menelusuri web secara otomatis dengan misi khusus.  jenis program inilah yang digunakan search engine untuk menelusuri dan mengindeks halaman website atau blogger.

Meskipun Robots.txt memiliki ukuran yang kecil dan isinya hanya beberapa baris teks sederhana, namun kinerja file robots.txt sangat berdampak besar bagi blogger kita.  Ibaratnya, file ini bertugas sebagai satpam kantor.  melalui file ini kita dapat menentukan web robot manakah yang boleh masuk dan menelusuri blogger kita, serta halaman-halaman apa saja boleh ditelusuri dan halaman mana saja yang terlarang untuk ditelusuri.

Perintah utama file robots.txt

Perintah utama untuk file robots.txt hanya dua yaitu :

• User-agent: untuk menetapkan web robot yang akan dikenai aturan
• Disallow: untuk menuliskan isi aturan

Simbol Pengaturan robots.txt

simbol pengaturan robots.txt yang sering dipakai pada blogger atau website adalah :

• karakter (*) : artinya semua
• karakter (/) : artinya dilarang.