Crawler

Un crawler o spider es un bot de Internet que analiza sistemáticamente la World Wide Web con el fin de indexar los contenidos de los sitios web.