Générateur de robots.txt
Choisissez ce que les robots peuvent explorer, décidez quoi faire des robots d'intelligence artificielle, puis testez le fichier et vérifiez sa syntaxe avant de le publier. Vous pouvez aussi coller un fichier existant pour le vérifier. Tout se passe dans votre navigateur.
Google l'ignore, Bing le respecte. Utile seulement si votre serveur peine sous les visites de robots.
Votre fichier robots.txt
Vérifier un robots.txt existant
Collez ici le contenu d'un robots.txt : chaque ligne est vérifiée au fil de la frappe, sans rien envoyer. Pour le fichier en ligne, le testeur le lit lui-même et fait la même vérification.
Tester une adresse avant de publier
Une fois le fichier en ligne, vérifiez ce que lisent vraiment les robots avec l'outil : Tester le robots.txt
Rien n'est envoyé à nos serveurs : le fichier est composé et testé sur cette page.
Ce qu'il faut savoir avant de publier
Le robots.txt dit aux robots ce qu'ils peuvent explorer, pas ce qu'ils peuvent indexer. Une page interdite ici peut rester dans Google, sans description, si d'autres sites pointent vers elle. Pour retirer une page des résultats, il faut au contraire la laisser explorable et lui poser une balise noindex.
Ce qu'on interdit d'habitude, et ce qu'on n'interdit jamais
On ferme l'administration, le panier, le compte client, les pages de résultats de la recherche interne et les paramètres qui fabriquent des adresses à l'infini (tris, filtres combinés). On ne ferme jamais les fichiers CSS et JavaScript, ni les dossiers de thèmes et d'images : Google affiche vos pages comme un navigateur, et sans eux il voit une page cassée.
Les robots d'IA
Les éditeurs d'IA publient des noms de robots distincts selon l'usage. Les robots d'entraînement (GPTBot, ClaudeBot, CCBot, et les jetons Google-Extended et Applebot-Extended) collectent des pages pour entraîner des modèles. Les robots de recherche (OAI-SearchBot, Claude-SearchBot, PerplexityBot) indexent pour citer vos pages dans leurs réponses. Les robots utilisateurs (ChatGPT-User, Claude-User, Perplexity-User) viennent chercher une page parce que quelqu'un l'a demandée.
Refuser l'entraînement tout en gardant la recherche est le choix le plus courant : vos textes ne servent plus à entraîner de modèle, et vous restez cité. Le robots.txt reste une convention : les grands éditeurs la respectent, certains robots non.
Une ligne de trop
Disallow: / sous User-agent: * retire un site entier des moteurs en quelques jours, sans erreur et sans alerte. C'est la ligne qu'on pose sur un site de préproduction et qu'on oublie à la mise en ligne. Ce générateur la signale, et le testeur voisin vérifie le fichier une fois publié.
Ce que cet outil ne fait pas
- Il ne publie rien : le fichier est à déposer vous-même à la racine de votre domaine.
- Il ne protège pas une page privée. Le robots.txt est public et ne retient que les robots qui acceptent de le lire ; une page à cacher demande un mot de passe.
- Il ne garantit pas qu'un robot d'IA obéira. Les grands éditeurs respectent les noms qu'ils publient, d'autres collecteurs ignorent le fichier.
Questions fréquentes
Refuser GPTBot retire-t-il mon site de ChatGPT ?
Pas des réponses avec recherche. GPTBot sert à l'entraînement ; c'est OAI-SearchBot qui indexe pour la recherche de ChatGPT. Le choix « refuser l'entraînement » de ce générateur refuse l'un et garde l'autre.
Google-Extended bloque-t-il Googlebot ?
Non. Google-Extended n'est pas un robot : c'est un nom que Google consulte pour savoir si vos pages peuvent servir à ses modèles Gemini. Le refuser n'a aucun effet sur votre présence dans la recherche Google.
Faut-il un robots.txt si je n'interdis rien ?
Ce n'est pas obligatoire : sans fichier, tout est autorisé. En avoir un reste utile pour déclarer l'adresse de votre sitemap, et pour que chaque visite de robot ne laisse pas une erreur 404 dans vos journaux.
Où se trouve le robots.txt sur WordPress ?
WordPress en sert un virtuel tant qu'aucun fichier n'existe à la racine. Déposer un vrai fichier robots.txt à la racine du site le remplace ; certaines extensions SEO permettent aussi de l'éditer depuis l'administration.
Pour aller plus loin
Budget de crawl : pourquoi ce n'est pas votre problème Le budget de crawl existe, et il ne concerne presque sûrement pas votre site. Voici qui il concerne vraiment, et ce qu'on prend à tort pour lui.Les autres outils
Ma page peut-elle être indexée ?
Noindex, robots.txt, canonical, code HTTP : ce qui empêche Google et Bing d'indexer une page, moteur par moteur.
Tester le robots.txt
Le robots.txt du site autorise-t-il l'exploration de cette adresse.
Aperçu Google et réseaux sociaux
Votre titre et votre description tels que Google, Bing, Facebook, LinkedIn, X et WhatsApp les afficheront, mesurés en pixels.
Savoir le jour où le robots.txt ferme trop
L'exploration Expansel signale les pages de votre site exclues par le robots.txt : une mise en production qui ferme plus que prévu se voit tout de suite.