Der Expansel-Bot

Sie haben expansel-monitor in den Logs Ihres Servers gefunden. Diese Seite erklärt, wer ihn schickt, warum er Ihre Website besucht hat und wie Sie ihn steuern.

So erkennen Sie ihn

Jede unserer Anfragen meldet sich mit diesem User-Agent:

expansel-monitor/1.0 (+https://expansel.com/robot)

Der Name für eine robots.txt: expansel-monitor

Jeder kann einen User-Agent übernehmen. Verhält sich eine Anfrage unter unserem Namen anders, als diese Seite beschreibt, schicken Sie uns IP-Adresse und Uhrzeit: Wir sagen Ihnen, ob wir es waren.

Warum er Ihre Website besucht hat

Expansel überwacht Websites und prüft Links im Auftrag seiner Kunden. Unser Bot kommt aus einem dieser Gründe zu Ihnen:

  • Ein Kunde überwacht seine eigene Website: In regelmäßigen Abständen prüfen wir, ob sie antwortet, wie schnell und ob ihr Zertifikat gültig ist.
  • Ein Kunde durchsucht seine Website nach defekten Links, Weiterleitungen und Fehlern: Wir lesen ihre Seiten, indem wir ihren Links folgen, wie ein Besucher.
  • Eine Website, die wir durchsuchen, verlinkt auf Ihre: Wir prüfen, ob dieser Link funktioniert. Das sind ein oder zwei Anfragen an genau diese Adresse, nie ein Crawl Ihrer Website.
  • Ein Kunde prüft einen Backlink: Wir lesen die Seite Ihrer Website, die auf seine verlinken soll.
  • Jemand hat eines unserer kostenlosen Tools auf eine Adresse Ihrer Website angewendet.
  • Wir bieten Ihnen ein kostenloses Audit an: Gelegentlich analysieren wir eine öffentliche Website, um dem Betreiber einen Bericht über defekte Links zu schicken. Diese Audits halten sich immer an die robots.txt.

Was er tut, und was er nie tut

  • Er liest, sonst nichts: GET- und HEAD-Anfragen. Er füllt keine Formulare aus, meldet sich nirgends an, legt kein Konto an und kauft nichts.
  • Er verteilt seine Anfragen an denselben Server zeitlich, wird von selbst langsamer, wenn der Server langsamer wird, und wartet so lange wie verlangt, wenn er einen 429 oder 503 mit Retry-After-Header erhält.
  • Er lädt Ihre Dateien nicht herunter: Ein Link auf ein PDF oder ein Archiv wird anhand der Antwort-Header beurteilt, die Übertragung sofort abgebrochen.
  • Er folgt einer begrenzten Zahl von Weiterleitungen, um unseren Kunden zu zeigen, wohin ihre Links wirklich führen.

robots.txt

Unsere Crawls halten sich standardmäßig an Ihre robots.txt: die Regeln Disallow und Allow sowie die Anweisung Crawl-delay, gelesen aus der Gruppe, die uns nennt, oder sonst aus der allgemeinen Gruppe (User-agent: *).

So sperren Sie Ihre gesamte Website für unsere Crawls:

User-agent: expansel-monitor
Disallow: /

So bremsen Sie sie, ohne sie zu sperren (Wartezeit in Sekunden zwischen zwei Seiten):

User-agent: expansel-monitor
Crawl-delay: 5

Wie bei anderen Tools dieser Art lesen drei Vorgänge die robots.txt nicht: die Prüfung eines anderswo gefundenen Links (ein Besucher, der ihn anklickt, würde dieselbe Anfrage senden), die Überwachung einer Adresse, die ein Kunde eingetragen hat, und eine einzelne Prüfung über unsere kostenlosen Tools. Ein Kunde kann robots.txt oder Crawl-delay außerdem abschalten, wenn er eine Website durchsucht, die er betreut, etwa eine Staging-Umgebung, die mit Disallow: / geschlossen ist.

Wenn Ihre Firewall ihn abweist

Eine Ablehnung (403, 429, 503…) sagt nichts darüber, ob eine Seite existiert. Um eine Firewall von einem defekten Link zu unterscheiden, können wir einen zweiten Versuch unternehmen, mit der Kennung eines gängigen Browsers und über eine andere Netzwerkbibliothek. Scheitert auch er, wird der Link unserem Kunden als „nicht geprüft“ angezeigt, nie als defekt. Während eines Crawls wird eine Seite, die Ihre robots.txt für uns sperrt, unter keiner Kennung abgerufen.

Um ihn durchzulassen, erlauben Sie den obigen User-Agent in Ihrer Firewall. Da sich ein User-Agent nachahmen lässt, schreiben Sie uns, wenn Sie unsere aktuellen IP-Adressen benötigen.

Was wir speichern

Für jede Anfrage: die abgerufene Adresse, den Antwortcode, die Antwortzeit und bei einer Seite die darin enthaltenen Links. Alles Weitere steht in unserer Datenschutzerklärung.

Schreiben Sie uns

Ein Problem, eine Frage, ein Wunsch nach Einstellung? Schreiben Sie uns mit der Adresse Ihrer Website und, wenn möglich, einem Auszug aus Ihren Logs (IP-Adresse und Uhrzeit). Wir antworten per E-Mail.

contact@expansel.com