Il bot di Expansel

Hai trovato expansel-monitor nei log del tuo server. Questa pagina spiega chi lo invia, perché ha visitato il tuo sito e come controllarlo.

Come riconoscerlo

Ogni nostra richiesta si presenta con questo User-Agent:

expansel-monitor/1.0 (+https://expansel.com/robot)

Il nome da usare in un robots.txt: expansel-monitor

Chiunque può prendere in prestito uno User-Agent. Se una richiesta che usa il nostro nome si comporta diversamente da quanto descritto qui, inviaci l'indirizzo IP e l'ora: ti diremo se eravamo noi.

Perché ha visitato il tuo sito

Expansel monitora siti web e verifica link per conto dei suoi clienti. Il nostro bot ti visita per uno di questi motivi:

  • un cliente monitora il proprio sito: verifichiamo a intervalli regolari che risponda, in quanto tempo e che il suo certificato sia valido;
  • un cliente analizza il proprio sito per trovare link non funzionanti, reindirizzamenti ed errori: leggiamo le sue pagine seguendo i suoi link, come farebbe un visitatore;
  • un sito che analizziamo punta al tuo: verifichiamo che quel link funzioni. Si tratta di una o due richieste a quell'unico indirizzo, mai di una scansione del tuo sito;
  • un cliente verifica un backlink: leggiamo la pagina del tuo sito che dovrebbe puntare al suo;
  • qualcuno ha usato uno dei nostri strumenti gratuiti su un indirizzo del tuo sito;
  • ti proponiamo un audit gratuito: a volte analizziamo un sito pubblico per inviare al proprietario un rapporto sui suoi link non funzionanti. Questi audit rispettano sempre il robots.txt.

Cosa fa, e cosa non fa mai

  • Legge, e nient'altro: richieste GET e HEAD. Non compila moduli, non accede ad alcun account, non ne crea e non acquista nulla.
  • Distanzia le richieste verso uno stesso server, rallenta da solo quando il server rallenta e attende il tempo richiesto quando riceve un 429 o un 503 con un'intestazione Retry-After.
  • Non scarica i tuoi file: un link a un PDF o a un archivio viene valutato dalle intestazioni della risposta, e il trasferimento viene interrotto subito.
  • Segue un numero limitato di reindirizzamenti, per mostrare ai nostri clienti dove portano davvero i loro link.

robots.txt

Le nostre scansioni rispettano il tuo robots.txt per impostazione predefinita: le regole Disallow e Allow e la direttiva Crawl-delay, lette nel gruppo che ci nomina o, in mancanza, nel gruppo generico (User-agent: *).

Per chiudere tutto il tuo sito alle nostre scansioni:

User-agent: expansel-monitor
Disallow: /

Per rallentarle senza bloccarle (una pausa in secondi tra due pagine):

User-agent: expansel-monitor
Crawl-delay: 5

Come per altri strumenti di questo tipo, tre usi non leggono il robots.txt: la verifica di un link trovato altrove (un visitatore che ci cliccasse invierebbe la stessa richiesta), il monitoraggio di un indirizzo registrato da un cliente e una verifica puntuale avviata dai nostri strumenti gratuiti. Un cliente può anche disattivare il robots.txt o il Crawl-delay quando analizza un sito che gestisce, ad esempio un ambiente di staging chiuso con Disallow: /.

Se il tuo firewall lo rifiuta

Un rifiuto (403, 429, 503…) non dice nulla sull'esistenza di una pagina. Per distinguere un firewall da un link non funzionante, possiamo fare un secondo tentativo, con l'identificazione di un browser comune e tramite un'altra libreria di rete. Se fallisce anche questo, il link viene mostrato al nostro cliente come «non verificato», mai come non funzionante. Durante una scansione, una pagina che il tuo robots.txt ci chiude non viene richiesta con nessuna identità.

Per lasciarlo passare, autorizza lo User-Agent qui sopra nel tuo firewall. Poiché uno User-Agent si può imitare, scrivici se ti servono i nostri indirizzi IP attuali.

Cosa registriamo

Per ogni richiesta: l'indirizzo richiesto, il codice di risposta, il tempo di risposta e, per una pagina, i link che contiene. Il resto è descritto nella nostra informativa sulla privacy.

Scrivici

Un problema, una domanda, una richiesta di interruzione? Scrivici indicando l'indirizzo del tuo sito e, se possibile, un estratto dei tuoi log (indirizzo IP e ora). Rispondiamo via email.

contact@expansel.com