Robots.txt é um arquivo que reside no diretório raiz de um site e instrui os motores de busca sobre quais páginas ou arquivos eles devem ou não rastrear. Ele ajuda a gerenciar o tráfego do bot e a evitar a indexação de conteúdos duplicados ou confidenciais, otimizando a eficiência do rastreamento.