Robots.txt คืออะไร เอาไว้ทำอะไรกันแน่

www.mosseo.com

เมื่อใดก็ตามที่ Googlebot เข้ามาเยี่ยมเยียนเว็บไซต์ของคุณ สิ่งแรกที่มันจะคาดหวังว่าจะต้องเจอนอกจากลิงค์ และไฟล์ต่างๆ แล้วก็จะเป็นไฟล์ Robots.txt อย่างที่ชื่อไฟล์บอกเลยครับ มันมีไว้หน้าที่เดียวคือ เอาไว้ให้ Googlebot หรือ Search Engine Bot อื่นๆ อ่านเพื่อทำตามคำสั่งอย่างว่าง่ายทำตามในที่นี้ผมหมายถึงในไฟล์ Robots.txt