Crawl-Budget: warum es vermutlich nicht Ihr Problem ist

Das Crawl-Budget ist ein reales Konzept, und für die überwältigende Mehrheit der Websites ist es eine Ablenkung. Wenn Sie ein paar hundert oder ein paar tausend Seiten haben, rationieren die Suchmaschinen ihre Besuche bei Ihnen nicht, und keine Optimierung wird Ihre Inhalte schneller indexieren lassen.

Der Begriff verdient es vor allem, verstanden zu werden, um die Lagen zu erkennen, in denen er wirklich gilt, und sich um alle anderen nicht mehr zu sorgen.

Was das bedeutet

Ein Bot kann nicht alle URLs des Webs so oft besuchen, wie er möchte: Also entscheidet er, wie viel Aufmerksamkeit er jeder Website widmet. Zwei Dinge bestimmen sie: was er davon hält, wiederzukommen, und was Ihr Server mühelos verkraftet.

Beachten Sie, dass keines von beiden ein Guthaben ist, das man auflädt. Eine Website, die regelmäßig Nützliches veröffentlicht, wird mehr gecrawlt, weil es sich lohnt, nicht weil sie Punkte gesammelt hat. Das ist eine Folge, kein Hebel, und dieser Denkfehler erzeugt die meisten nutzlosen Optimierungen.

Sind Sie betroffen? Die Tabelle, die es entscheidet

Sechs Zeilen, und die Grenze verläuft nicht dort, wo man sie erwartet: Sie hängt weniger an der Seitenzahl als daran, ob Ihre Website Adressen erzeugt, die niemand geplant hat. Die ersten beiden Zeilen decken nahezu alle Websites ab, die diese Frage stellen. Wenn Sie dort stehen, ist die beste Entscheidung, diesen Artikel zu schließen und eine nützliche Seite zu schreiben.

Wen es wirklich betrifft

Websites mit unbegrenztem URL-Raum. Ein Shop, in dem jede Filterkombination eine eigene Adresse ist. Ein Kalender, der bereitwillig das Jahr 2147 erzeugt. Eine Suchseite, die jede beliebige Anfrage in eine crawlbare URL verwandelt. Diese Websites haben nicht zehntausend Seiten, sie haben unendlich viele, und genau das ist das wahre Problem: Es ist kein zu knappes Budget, es ist eine bodenlose Ausgabe.

Sehr große Kataloge: Hunderttausende echter Seiten, wo der lange Schwanz tatsächlich um Aufmerksamkeit ringt. In dieser Größenordnung ist die Frage nicht mehr technisch, sondern redaktionell: Welche Seiten verdienen es zu existieren.

Websites, die langsam antworten. Wenn Ihr Server zwei Sekunden pro Seite braucht, nimmt ein Bot den Fuß vom Gas, um Ihnen nicht zu schaden. Hier ist die Korrektur keine SEO-Einstellung: Es ist die Antwortzeit, und sie nützt auch Ihren Besuchern, was sie zur einzigen Arbeit dieser Liste macht, die doppelt zahlt.

Was man fälschlich für ein Budgetproblem hält

Ein Haufen 404. Das sieht nach Verschwendung aus und ist keine. Ein Bot lernt, dass eine URL verschwunden ist, und hört auf, sie anzufragen. Beheben Sie die, auf die noch etwas zeigt, nicht die anderen, und löschen Sie vor allem keine Seiten, um irgendetwas zu „verschlanken“.

Nicht indexierte Seiten. Fast immer ein Qualitäts- oder Dublettenurteil, kein Budget. Die Seite wurde gesehen und nicht behalten: Das ist ein anderes Gespräch, und es klärt sich, indem man die Seite verbessert, nicht indem man einen Bot einstellt.

Ein langsamer Start nach einer Migration. Die neuen URLs werden nach und nach entdeckt. Das ist normal und hat mit Rationierung nichts zu tun: Die Migrations-Checkliste deckt ab, was wirklich hilft, nämlich saubere Weiterleitungen und eine aktuelle Sitemap.

Weiterleitungsketten. Sie kosten tatsächlich Anfragen, aber das Problem, das sie aufwerfen, liegt woanders: Sie werden irgendwann gekappt, und sie verlieren Besucher, lange bevor sie irgendein Crawling kosten. Die Regel des einzigen Sprungs begründet sich, ohne das Crawl-Budget anzurufen.

Wenn es Sie wirklich betrifft

Die Arbeit besteht darin, Adressen zu entfernen, nicht Direktiven hinzuzufügen.

Hören Sie auf, URL-Kombinationen zu erzeugen, die niemand sehen sollte: Das ist eine Template-Einstellung, keine Konfigurationsdatei. Nutzen Sie robots.txt für unendliche Räume, Kalender und interne Suchen an erster Stelle. Liefern Sie korrekte Statuscodes, damit ein Bot weiß, was er vergessen darf. Halten Sie eine Sitemap, die auf die Seiten beschränkt ist, die Sie wirklich besuchen lassen wollen, und nehmen Sie alles heraus, was einen Fehler zurückgibt.

Ein Wort zu noindex und robots.txt, die ständig verwechselt werden: Das erste bittet darum, eine Seite nicht zu indexieren, die trotzdem besucht wird, das zweite bittet darum, sie überhaupt nicht zu besuchen. Für einen unendlichen Raum braucht es das zweite, und es ist zugleich das, was die Seite endgültig unsichtbar macht, also mit Vorsicht zu handhaben.

Bevor Sie eine Regel in robots.txt schreiben, testen Sie sie: Eine zu weit gefasste Direktive schließt einen ganzen Teil der Website, ohne etwas anzukündigen. Prüfen, was ein Bot besuchen darf, dauert zehn Sekunden und verhindert den teuersten Fehler dieser Seite.

Woher die Sorge kommt und warum sie bleibt

Das Thema hat eine Geschichte, und sie zu kennen hilft, sich davon zu lösen. Der Ausdruck stammt aus Dokumentationen für sehr große Websites, wo er ein echtes Problem der Ressourcenzuteilung beschrieb. Er wurde dann in allgemeine Ratgeber übernommen, die die Größenbedingung weggelassen haben, und übrig blieb eine Sorge ohne Schwelle.

Sie bleibt aus zwei Gründen. Erstens, weil sie angenehm ist: Sie bietet eine technische Erklärung für ausbleibende Ergebnisse, was bequemer ist als der redaktionelle Schluss. Zweitens, weil sie für die meisten Menschen nicht überprüfbar ist, mangels Zugang zu den Serverprotokollen. Ein Glaube, den man nicht testen kann, stirbt nicht.

Der Test, der die Sache entscheidet, besteht aus einer Frage: Ist eine Seite, die ich vergangene Woche veröffentlicht habe, indexiert? Wenn ja, wird Ihre Website so viel gecrawlt, wie sie es braucht, und das Thema ist geschlossen. Lautet die Antwort nein, prüfen Sie zuerst, ob die Seite überhaupt von irgendwo verlinkt ist, bevor Sie an ein Budget denken: Eine Seite, zu der kein Weg führt, ist nicht rationiert, sie ist unauffindbar, und das ist ein Problem, das Sie in fünf Minuten selbst lösen.

Was wirklich hilft, gecrawlt zu werden

Drei Dinge, von denen keines Budget heißt.

Interne Links auf Ihre tiefen Seiten. Eine Seite, die kein Link von Ihrer Startseite aus in drei Klicks erreicht, finden Bots spät und besuchen sie selten wieder. Das ist der wirksamste Hebel, und der einzige, der auch Ihren Lesern dient.

Eine saubere Sitemap. Aktuell, ohne fehlerhafte URLs, ohne gesperrte Seiten, mit ehrlichen Änderungsdaten. Eine Sitemap, die bei den Daten lügt, wird schnell nicht mehr ernst genommen.

Eine Website, die schnell antwortet. Das gehört nicht zum Suchmaschinen- marketing, es gehört zum Hosting, und es nützt zuerst den Leuten, die Sie lesen. Tote Links und Weiterleitungskaskaden tragen ebenfalls dazu bei, was ein Grund mehr ist, sie anzugehen, ohne je das Crawl-Budget anzurufen.

Messen statt raten

Die Protokolle Ihres Servers sind der einzige Ort, an dem sich diese Frage ehrlich entscheiden lässt. Sie sagen, welche URLs angefragt wurden, von welchem Bot, wie oft und mit welchem Antwortcode.

Drei Zahlen genügen, erhoben vorher und einen Monat danach:

• Die Zahl der verschiedenen gecrawlten URLs. Liegt sie weit über der Zahl Ihrer echten Seiten, haben Sie irgendwo einen unendlichen Raum.
• Der Anteil fehlerhafter Antworten. Ein hoher Anteil deutet auf ein Strukturproblem hin, nicht auf ein Budgetproblem.
• Der Anteil der Anfragen an uninteressante Seiten. Das ist die einzige Messgröße, die einen Eingriff rechtfertigt.

Ohne diese drei Zahlen ist jede Crawl-Budget-Optimierung ein Glaube. Mit ihnen klärt sich die Frage in der Regel an einem Nachmittag, und meistens lautet der Schluss, dass es nichts zu tun gab.

Bleibt eine Arbeit, die Ihre Zeit wirklich verdient und mit Bots nichts zu tun hat: die Links, die von Ihnen aus auf tote Seiten anderswo führen. Die stehen in keinem Crawling-Bericht, und Ihre Leser sind die Ersten, die auf sie stoßen.