selamat
menjalankan aktifitas, kali ini saya akan memberitahu fungsi robot.txt pada
blog, artikel sebelumnya saya sudah memberi tahu cara memasang robot.txt pada blog. langsung simak aja
dibawah.
robot.txt
adalah salah satu indikator yang dimana robot bot atau spider bot bisa merayap
isi semua konten dalam blog dan wibsite. dengan menggunakan fungsi robot.txt
yang tepat maka mesin pencari akan cepat index situs hingga sampai pada akhir
semua isi konten. seperti halnya seorang scurity di sebuah kantor , yang dimana
setiap kali tamu datang haruslah melapor pada seorang pengaman kantor. demikian
juga dengan fungsi robot.txt yang akan membatasi semua kegiatan robot bot, mana
saja yang harus di crawling dan mana saja yang tidak boleh untuk di
crawling.
No comments:
Post a Comment