robots.txt testen
Eine Zeile zu viel in einer vierzeiligen Datei nimmt eine ganze Website aus den Ergebnissen, ohne Fehler und ohne Warnung. Diese Seite sagt, ob Ihre Adresse betroffen ist.
Wie dieses Ergebnis zu lesen ist
Die robots.txt ist eine Datei aus wenigen Zeilen an der Wurzel einer Website. Sie ist öffentlich, jeder kann sie lesen, und sie schützt nichts: sie ist eine Bitte, kein Schloss.
Die entscheidende Regel ist nicht die erste
Zwischen einem Disallow und einem Allow, die beide auf eine Adresse passen, gewinnt das längere. Das ist die Regel, die Google anwendet, und die dieser Tester verwendet. Sie erlaubt zu schreiben:
Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
und verstanden zu werden: der ganze Verwaltungsbereich ist zu, außer dieser einen Datei. Viele Tester wenden „der erste Treffer gewinnt“ an und liefern das umgekehrte Urteil.
Crawlen und Indexieren sind nicht dasselbe
Das ist die verbreitetste Verwechslung zum Thema, und sie kostet in beide Richtungen.
Eine Adresse in der robots.txt zu sperren hindert eine Suchmaschine daran, sie zu lesen. Es hindert sie nicht daran, die Adresse in den Ergebnissen zu führen, wenn andere Websites auf sie zeigen: sie erscheint dann ohne Beschreibung, was das Schlechteste aus beiden Welten ist. Um eine Seite wirklich zu entfernen, braucht es ein noindex, und dafür muss man die Suchmaschine lesen lassen.
Umgekehrt kann eine hier erlaubte Adresse durchaus ein noindex tragen und nirgends erscheinen. Diese Datei sieht das nicht.
Die Totalsperre, und wie sie zustande kommt
Zwei Zeilen genügen, um eine ganze Website aus den Suchmaschinen zu nehmen:
User-agent: * Disallow: /
Das ist die normale Einstellung einer Vorproduktionsumgebung, und es ist auch das, was am Tag des Starts stehen bleibt, wenn niemand daran denkt. Die Website funktioniert tadellos, sie existiert für Suchmaschinen einfach nicht mehr, und nichts weist darauf hin.
Crawl-delay und Sitemap
Das Crawl-delay bittet darum, Anfragen zu strecken. Google ignoriert es, die meisten anderen Robots halten sich daran. Sitemap-Zeilen geben an, wo die Seitenliste zu finden ist: der einzige Ort, an dem eine Suchmaschine sie entdecken kann, ohne sie überreicht zu bekommen.
Was dieses Werkzeug nicht tut
- Es sagt nicht, ob die Seite indexiert ist. Die robots.txt steuert das Crawlen; die Indexierung hängt auch am meta-robots-Tag und am X-Robots-Tag-Header, die dieses Werkzeug nicht liest.
- Es testet immer nur eine Adresse, und immer nur für einen Robot. Eine Datei kann Googlebot durchaus erlauben und GPTBot sperren.
- Es ändert nichts und schlägt keine Korrektur vor: es liest die Datei, wie sie ist, und sagt, was daraus folgt.
Häufige Fragen
Kann eine gesperrte Seite in Google erscheinen?
Ja, und das ist die Falle. Zeigen andere Websites auf sie, kann Google sie ohne Beschreibung anzeigen, mit dem Hinweis, dass keine Informationen verfügbar sind. Um eine Seite endgültig zu entfernen, braucht es ein noindex, und dafür muss die Suchmaschine sie lesen dürfen.
Soll man interne Suchseiten und Filter sperren?
In der Regel ja. Es sind Adressen in potenziell unbegrenzter Zahl, ohne eigenen Inhalt, und sie offen zu lassen verbraucht das Crawl-Budget woanders als auf Ihren echten Seiten.
Warum GPTBot getrennt testen?
Weil Regeln sich von Robot zu Robot unterscheiden können und viele Websites Regeln für KI-Crawler ergänzt haben, ohne den Rest anzufassen. Eine Prüfung mit dem Sternchen sagt also nicht, was ein ausdrücklich genannter Robot sehen wird.
Zum Weiterlesen
Crawl-Budget: warum es vermutlich nicht Ihr Problem ist Das Crawl-Budget gibt es, und für Ihre Website gilt es ziemlich sicher nicht. Wen es wirklich betrifft, und was man fälschlich dafür hält.Die anderen Werkzeuge
Domainnamen prüfen
Ablaufdatum, Registrar und Status eines Domainnamens.
SSL-Zertifikat prüfen
Ablaufdatum des Zertifikats, Aussteller und die tatsächlich abgedeckten Namen.
Weiterleitungen prüfen
Die ganze Weiterleitungskette, Sprung für Sprung, mit dem Typ jedes einzelnen.
Eine versehentliche Sperre am selben Tag bemerken
Der Expansel-Crawl meldet die von Ihrer robots.txt ausgeschlossenen Seiten, und Sie sehen sofort, ob eine Veröffentlichung mehr geschlossen hat als vorgesehen.