Testare il robots.txt
Una riga di troppo in un file di quattro righe toglie un sito intero dai risultati, senza errore e senza avviso. Questa pagina dice se il tuo indirizzo è coinvolto.
Come leggere questo risultato
Il robots.txt è un file di poche righe posto alla radice di un sito. È pubblico, chiunque può leggerlo, e non protegge nulla: è una richiesta, non una serratura.
La regola che decide non è la prima
Tra un Disallow e un Allow che corrispondono entrambi a un indirizzo, vince il più lungo. È la regola applicata da Google, ed è quella che questo tester usa. Permette di scrivere:
Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
ed essere capiti: tutta l'area di amministrazione è chiusa, tranne quel file preciso. Molti tester applicano «vince il primo» e danno il verdetto opposto.
Scansione e indicizzazione non sono la stessa cosa
È la confusione più diffusa sull'argomento, e costa in entrambe le direzioni.
Bloccare un indirizzo nel robots.txt impedisce a un motore di leggerlo. Non gli impedisce di elencarlo nei risultati se altri siti vi puntano: appare allora senza descrizione, che è il peggio dei due mondi. Per rimuovere davvero una pagina serve un tag noindex, e quindi bisogna lasciare che il motore venga a leggerla.
Al contrario, un indirizzo consentito qui può benissimo portare un noindex e non apparire da nessuna parte. Questo file non lo vede.
Il blocco totale, e come capita
Due righe bastano a togliere un sito intero dai motori:
User-agent: * Disallow: /
È l'impostazione normale di un sito in preproduzione, ed è anche ciò che resta il giorno della messa online quando nessuno ci pensa. Il sito funziona perfettamente, semplicemente non esiste più per i motori, e nulla lo segnala.
Crawl-delay e sitemap
Il Crawl-delay chiede di distanziare le richieste. Google lo ignora, la maggior parte degli altri robot lo rispetta. Le righe Sitemap dichiarano dove trovare l'elenco delle pagine: è l'unico posto in cui un motore può scoprirlo senza che gli venga consegnato.
Cosa questo strumento non fa
- Non dice se la pagina è indicizzata. Il robots.txt governa la scansione; l'indicizzazione dipende anche dal tag meta robots e dall'intestazione X-Robots-Tag, che questo strumento non legge.
- Testa un indirizzo alla volta, e per un solo robot. Un file può benissimo consentire Googlebot e bloccare GPTBot.
- Non modifica nulla e non propone correzioni: legge il file com'è e dice cosa implica.
Domande frequenti
Una pagina bloccata può apparire su Google?
Sì, ed è la trappola. Se altri siti vi puntano, Google può mostrarla senza descrizione, indicando che nessuna informazione è disponibile. Per rimuovere una pagina definitivamente serve un tag noindex, e quindi bisogna lasciare che il motore la legga.
Bisogna bloccare le pagine di ricerca interna e i filtri?
In genere sì. Sono indirizzi in numero potenzialmente infinito, senza contenuto proprio, e lasciarli aperti fa spendere il budget di scansione altrove che sulle tue pagine vere.
Perché testare GPTBot separatamente?
Perché le regole possono differire da un robot all'altro, e molti siti hanno aggiunto regole rivolte ai robot di intelligenza artificiale senza toccare le altre. Verificare con l'asterisco non dice quindi cosa vedrà un robot nominato esplicitamente.
Per approfondire
Crawl budget: perché probabilmente non è un tuo problema Il crawl budget esiste, e quasi certamente non riguarda il tuo sito. Ecco chi riguarda davvero, e che cosa viene scambiato per esso.Gli altri strumenti
Verificare un nome a dominio
Data di scadenza, registrar e stato di un nome a dominio.
Verificare un certificato SSL
Data di scadenza del certificato, emittente e nomi realmente coperti.
Verificare i reindirizzamenti
Tutta la catena di reindirizzamenti, salto per salto, con il tipo di ciascuno.
Rilevare un blocco accidentale il giorno in cui capita
La scansione Expansel segnala le pagine escluse dal robots.txt del tuo sito, e vedi subito se una messa in produzione ha chiuso più del previsto.