Gerador de robots.txt

Escolha o que os robôs podem explorar, decida o que fazer com os robôs de inteligência artificial, e teste o ficheiro e a sua sintaxe antes de o publicar. Também pode colar um ficheiro existente para o verificar. Tudo acontece no seu navegador.

O que o site permite
Rastreadores de inteligência artificial

Recusar o treino não retira o seu site de nenhum motor de pesquisa, nem do Google nem do Bing. Recusar também a pesquisa por IA significa deixar de ser citado pelo ChatGPT, pelo Claude ou pelo Perplexity quando respondem a uma pergunta.

O Google ignora-a, o Bing respeita-a. Só é útil se o seu servidor sofre com as visitas dos rastreadores.

Nada é enviado para os nossos servidores: o ficheiro é composto e testado nesta página.

O que saber antes de publicar

O robots.txt diz aos rastreadores o que podem explorar, não o que podem indexar. Uma página proibida aqui pode continuar no Google, sem descrição, se outros sites apontarem para ela. Para retirar uma página dos resultados é preciso, pelo contrário, deixá-la explorável e dar-lhe uma etiqueta noindex.

O que se costuma proibir, e o que nunca se proíbe

Fecha-se a administração, o carrinho, a conta de cliente, as páginas de resultados da pesquisa interna e os parâmetros que geram endereços sem fim (ordenações, filtros combinados). Nunca se fecham os ficheiros CSS e JavaScript, nem as pastas de temas e de imagens: o Google mostra as suas páginas como um navegador e, sem eles, vê uma página partida.

Os rastreadores de IA

As empresas de IA publicam nomes de rastreador distintos consoante o uso. Os de treino (GPTBot, ClaudeBot, CCBot, e os identificadores Google-Extended e Applebot-Extended) recolhem páginas para treinar modelos. Os de pesquisa (OAI-SearchBot, Claude-SearchBot, PerplexityBot) indexam para citar as suas páginas nas respostas. Os agentes de utilizador (ChatGPT-User, Claude-User, Perplexity-User) vão buscar uma página porque alguém a pediu.

Recusar o treino mantendo a pesquisa é a escolha mais comum: os seus textos deixam de treinar modelos e continua a ser citado. O robots.txt continua a ser uma convenção: as grandes empresas respeitam-na, alguns rastreadores não.

Uma linha a mais

Disallow: / debaixo de User-agent: * retira um site inteiro dos motores em poucos dias, sem erro e sem alerta. É a linha que se põe num site de pré-produção e se esquece ao publicar. Este gerador assinala-a, e o testador ao lado verifica o ficheiro depois de publicado.

O que esta ferramenta não faz

  • Não publica nada: é o próprio utilizador que coloca o ficheiro na raiz do seu domínio.
  • Não protege uma página privada. O robots.txt é público e só trava os rastreadores que aceitam lê-lo; uma página a esconder precisa de uma palavra-passe.
  • Não garante que um rastreador de IA obedeça. As grandes empresas respeitam os nomes que publicam, outros recolectores ignoram o ficheiro.

Perguntas frequentes

Recusar o GPTBot retira o meu site do ChatGPT?

Não das respostas com pesquisa. O GPTBot serve para o treino; é o OAI-SearchBot que indexa para a pesquisa do ChatGPT. A opção «recusar o treino» deste gerador bloqueia o primeiro e mantém o segundo.

O Google-Extended bloqueia o Googlebot?

Não. O Google-Extended não é um rastreador: é um nome que o Google consulta para saber se as suas páginas podem servir aos seus modelos Gemini. Recusá-lo não tem qualquer efeito na sua presença na pesquisa do Google.

Preciso de um robots.txt se não proíbo nada?

Não é obrigatório: sem ficheiro, tudo é permitido. Ter um continua a ser útil para declarar o endereço do seu sitemap, e para que cada visita de um rastreador não deixe um erro 404 nos seus registos.

Onde fica o robots.txt no WordPress?

O WordPress serve um virtual enquanto não existir nenhum ficheiro na raiz. Colocar um verdadeiro ficheiro robots.txt na raiz do site substitui-o; alguns plugins de SEO também permitem editá-lo a partir da administração.

Para aprofundar

Orçamento de rastreio: porque não é o seu problema O orçamento de rastreio existe e quase de certeza não se aplica ao seu site. A quem diz respeito de facto, e o que se confunde com ele.

As outras ferramentas

A minha página pode ser indexada?

Noindex, robots.txt, canonical, código HTTP: o que impede o Google e o Bing de indexar uma página, motor a motor.

Testar o robots.txt

Se o robots.txt do site permite rastrear este endereço.

Pré-visualização no Google e nas redes sociais

O seu título e a sua descrição tal como o Google, o Bing, o Facebook, o LinkedIn, o X e o WhatsApp os vão mostrar, medidos em píxeis.
Todas as ferramentas gratuitas →

Saber o dia em que o robots.txt fecha demais

A exploração da Expansel assinala as páginas do seu site excluídas pelo robots.txt: uma publicação que fecha mais do que o previsto vê-se de imediato.

Criar uma conta gratuita Links quebrados