Web Crawler é um bot usado por motores de busca para rastrear e indexar páginas web. Também conhecido como spider, ele segue links de página em página, coletando dados que são armazenados e utilizados para criar índices de busca. A eficiência de um web crawler afeta a rapidez e a precisão com que o conteúdo é indexado.