ไฟล์ txt ที่อยู่ใน root directory ของเว็บไซต์ ใช้สำหรับจัดการการCrawlerของSearch Engine โดยปกติไฟล์นี้จะใช้ระบุว่าส่วนไหนของเว็บไซต์ที่ควรจะเข้าไปเก็บข้อมูล
ไฟล์ txt ที่อยู่ใน root directory ของเว็บไซต์ ใช้สำหรับจัดการการCrawlerของSearch Engine โดยปกติไฟล์นี้จะใช้ระบุว่าส่วนไหนของเว็บไซต์ที่ควรจะเข้าไปเก็บข้อมูล