คำว่า Robots.txt คือไฟล์ที่ใช้บอก Google ว่าหน้าไหนให้เข้าเก็บข้อมูล หรือไม่ให้เข้า ซึ่งช่วยควบคุมการ Crawling ของเว็บไซต์