Generatore di robots.txt
Scegli cosa possono esplorare i crawler, decidi cosa fare dei crawler di intelligenza artificiale, poi testa il file e verificane la sintassi prima di pubblicarlo. Puoi anche incollare un file esistente per verificarlo. Tutto avviene nel tuo browser.
Google la ignora, Bing la rispetta. Utile solo se il tuo server fatica sotto le visite dei crawler.
Il tuo file robots.txt
Verificare un robots.txt esistente
Incolla qui il contenuto di un robots.txt: ogni riga viene verificata mentre scrivi, senza inviare nulla. Per il file online, il tester lo legge da sé e fa la stessa verifica.
Testare un indirizzo prima di pubblicare
Una volta online il file, verifica cosa leggono davvero i crawler con questo strumento: Testare il robots.txt
Nulla viene inviato ai nostri server: il file viene composto e testato su questa pagina.
Cosa sapere prima di pubblicare
Il robots.txt dice ai crawler cosa possono esplorare, non cosa possono indicizzare. Una pagina vietata qui può restare in Google, senza descrizione, se altri siti la linkano. Per togliere una pagina dai risultati bisogna al contrario lasciarla esplorabile e darle un tag noindex.
Cosa si vieta di solito, e cosa mai
Si chiudono l'amministrazione, il carrello, l'account cliente, le pagine di risultati della ricerca interna e i parametri che generano indirizzi all'infinito (ordinamenti, filtri combinati). Non si chiudono mai i file CSS e JavaScript, né le cartelle dei temi e delle immagini: Google mostra le tue pagine come un browser e, senza di essi, vede una pagina rotta.
I crawler di IA
Le aziende di IA pubblicano nomi di crawler distinti secondo l'uso. I crawler di addestramento (GPTBot, ClaudeBot, CCBot, e gli identificativi Google-Extended e Applebot-Extended) raccolgono pagine per addestrare modelli. I crawler di ricerca (OAI-SearchBot, Claude-SearchBot, PerplexityBot) indicizzano per citare le tue pagine nelle risposte. Gli agenti utente (ChatGPT-User, Claude-User, Perplexity-User) vanno a prendere una pagina perché qualcuno l'ha chiesta.
Rifiutare l'addestramento mantenendo la ricerca è la scelta più comune: i tuoi testi non addestrano più modelli e continui a essere citato. Il robots.txt resta una convenzione: le grandi aziende la rispettano, alcuni crawler no.
Una riga di troppo
Disallow: / sotto User-agent: * toglie un intero sito dai motori in pochi giorni, senza errori e senza avvisi. È la riga che si mette su un sito di preproduzione e si dimentica alla messa online. Questo generatore la segnala, e il tester qui accanto verifica il file una volta pubblicato.
Cosa questo strumento non fa
- Non pubblica nulla: il file lo carichi tu nella radice del tuo dominio.
- Non protegge una pagina privata. Il robots.txt è pubblico e ferma solo i crawler che accettano di leggerlo; una pagina da nascondere richiede una password.
- Non garantisce che un crawler di IA obbedisca. Le grandi aziende rispettano i nomi che pubblicano, altri raccoglitori ignorano il file.
Domande frequenti
Rifiutare GPTBot toglie il mio sito da ChatGPT?
Non dalle risposte con ricerca. GPTBot serve all'addestramento; è OAI-SearchBot che indicizza per la ricerca di ChatGPT. La scelta «rifiutare l'addestramento» di questo generatore blocca il primo e mantiene il secondo.
Google-Extended blocca Googlebot?
No. Google-Extended non è un crawler: è un nome che Google consulta per sapere se le tue pagine possono servire ai suoi modelli Gemini. Rifiutarlo non ha alcun effetto sulla tua presenza nella ricerca Google.
Serve un robots.txt se non vieto nulla?
Non è obbligatorio: senza file, tutto è consentito. Averne uno resta utile per dichiarare l'indirizzo della sitemap, e perché ogni visita di un crawler non lasci un errore 404 nei tuoi log.
Dove si trova il robots.txt su WordPress?
WordPress ne serve uno virtuale finché nessun file esiste nella radice. Caricare un vero file robots.txt nella radice del sito lo sostituisce; alcuni plugin SEO permettono anche di modificarlo dall'amministrazione.
Per approfondire
Crawl budget: perché probabilmente non è un tuo problema Il crawl budget esiste, e quasi certamente non riguarda il tuo sito. Ecco chi riguarda davvero, e che cosa viene scambiato per esso.Gli altri strumenti
La mia pagina può essere indicizzata?
Noindex, robots.txt, canonical, codice HTTP: cosa impedisce a Google e Bing di indicizzare una pagina, motore per motore.
Testare il robots.txt
Se il robots.txt del sito consente la scansione di questo indirizzo.
Anteprima Google e social
Il tuo titolo e la tua descrizione come li mostreranno Google, Bing, Facebook, LinkedIn, X e WhatsApp, misurati in pixel.
Sapere il giorno in cui il robots.txt chiude troppo
L'esplorazione di Expansel segnala le pagine del tuo sito escluse dal robots.txt: una messa in produzione che chiude più del previsto si vede subito.