โปรแกรมอัตโนมัติของSearch Engineที่ใช้รวบรวมข้อมูลของเว็บไซต์ โดยCrawlerจะทำงานโดยการอ่านเนื้อหาและข้อความของเว็บเพจและรหัสของหน้าเว็บ และจะตามลิงค์ไปยังหน้าเว็บอื่นๆที่ถูกไฮเปอร์ลิงค์ไว้ Crawler จะทำสำเนาหน้าเว็บต่างๆที่มันเจอและทำการIndexไว้ในดรรชนีหรือฐานข้อมูลของSearch Engine อาจะเรียกในชื่ออื่นว่า Bot และ Spider
