Robots.txt

ไฟล์ txt ที่อยู่ใน root directory ของเว็บไซต์ ใช้สำหรับจัดการการCrawlerของSearch Engine โดยปกติไฟล์นี้จะใช้ระบุว่าส่วนไหนของเว็บไซต์ที่ควรจะเข้าไปเก็บข้อมูล

card#1
card#3