Le robot d'Expansel

Vous avez trouvé expansel-monitor dans les journaux de votre serveur. Cette page dit qui l'envoie, pourquoi il est venu chez vous, et comment le contrôler.

Le reconnaître

Chacune de nos requêtes s'annonce avec ce User-Agent :

expansel-monitor/1.0 (+https://expansel.com/robot)

Le nom à utiliser dans un robots.txt : expansel-monitor

N'importe qui peut emprunter un User-Agent. Si une requête qui se présente sous notre nom se comporte autrement que ce que décrit cette page, écrivez-nous avec l'adresse IP et l'heure : nous vous dirons si c'était nous.

Pourquoi il est venu chez vous

Expansel surveille des sites et vérifie des liens pour le compte de ses clients. Notre robot passe chez vous pour l'une de ces raisons :

  • un client surveille son propre site : nous vérifions à intervalles réguliers qu'il répond, en combien de temps, et que son certificat est valide ;
  • un client explore son site pour y trouver liens morts, redirections et erreurs : nous lisons ses pages en suivant ses liens, comme un visiteur ;
  • un site que nous explorons pointe vers le vôtre : nous vérifions que ce lien fonctionne. Cela représente une ou deux requêtes vers cette seule adresse, jamais l'exploration de votre site ;
  • un client vérifie un backlink : nous lisons la page de votre site qui est censée pointer vers le sien ;
  • quelqu'un a utilisé l'un de nos outils gratuits sur une adresse de votre site ;
  • nous vous proposons un audit gratuit : il nous arrive d'analyser un site public pour envoyer à son propriétaire un rapport sur ses liens cassés. Ces audits respectent toujours le robots.txt.

Ce qu'il fait, et ce qu'il ne fait jamais

  • Il lit, et rien d'autre : des requêtes GET et HEAD. Il ne remplit aucun formulaire, ne se connecte à aucun compte, n'en crée aucun et n'achète rien.
  • Il espace ses requêtes vers un même serveur, ralentit de lui-même quand le serveur ralentit, et attend le temps demandé quand il reçoit un 429 ou un 503 accompagné d'un en-tête Retry-After.
  • Il ne télécharge pas vos fichiers : un lien vers un PDF ou une archive est jugé sur les en-têtes de la réponse, et le transfert est coupé aussitôt.
  • Il suit un nombre limité de redirections, pour montrer à nos clients où mènent réellement leurs liens.

robots.txt

Nos explorations respectent votre robots.txt par défaut : les règles Disallow et Allow, et la directive Crawl-delay, lues dans le groupe qui nous nomme ou, à défaut, dans le groupe générique (User-agent: *).

Pour fermer tout votre site à nos explorations :

User-agent: expansel-monitor
Disallow: /

Pour les ralentir sans les bloquer (un délai en secondes entre deux pages) :

User-agent: expansel-monitor
Crawl-delay: 5

Comme pour les autres outils de ce type, trois usages ne lisent pas le robots.txt : la vérification d'un lien trouvé ailleurs (un visiteur qui clique dessus ferait la même requête), la surveillance d'une adresse qu'un client a déclarée, et une vérification ponctuelle lancée depuis nos outils gratuits. Un client peut aussi désactiver le robots.txt ou le Crawl-delay quand il explore un site qu'il gère, par exemple une préproduction fermée par Disallow: /.

Si votre pare-feu le refuse

Un refus (403, 429, 503…) ne dit rien de l'existence d'une page. Pour distinguer un pare-feu d'un lien cassé, nous pouvons faire un second essai, avec l'identification d'un navigateur courant et par une autre bibliothèque réseau. S'il échoue aussi, le lien est présenté à notre client comme « non vérifié », jamais comme cassé. Pendant une exploration, une page que votre robots.txt nous ferme n'est demandée sous aucune identité.

Pour le laisser passer, autorisez le User-Agent ci-dessus dans votre pare-feu. Comme un User-Agent s'imite, écrivez-nous si vous avez besoin de nos adresses IP actuelles.

Ce que nous enregistrons

Pour chaque requête : l'adresse demandée, le code de réponse, le temps de réponse et, pour une page, les liens qu'elle contient. Le reste est détaillé dans notre politique de confidentialité.

Nous écrire

Un problème, une question, une demande d'arrêt ? Écrivez-nous en indiquant l'adresse de votre site et, si possible, un extrait de vos journaux (adresse IP et heure). Nous répondons par email.

contact@expansel.com