Un crawler o spider es un bot de Internet que analiza sistemáticamente la World Wide Web con el fin de indexar los contenidos de los sitios web.
Un crawler o spider es un bot de Internet que analiza sistemáticamente la World Wide Web con el fin de indexar los contenidos de los sitios web.