robots.txt-Generator

Wählen Sie, was Crawler durchsuchen dürfen, entscheiden Sie über KI-Crawler, und testen Sie die Datei samt Syntax vor der Veröffentlichung. Sie können auch eine bestehende Datei einfügen, um sie zu prüfen. Alles passiert in Ihrem Browser.

Was die Website erlaubt
Crawler künstlicher Intelligenz

Das Training abzulehnen entfernt Ihre Website aus keiner Suchmaschine, weder aus Google noch aus Bing. Auch die KI-Suche abzulehnen heißt, von ChatGPT, Claude oder Perplexity nicht mehr zitiert zu werden, wenn sie eine Frage beantworten.

Google ignoriert sie, Bing beachtet sie. Nur sinnvoll, wenn Ihr Server unter den Besuchen von Crawlern leidet.

Nichts wird an unsere Server geschickt: Die Datei wird auf dieser Seite erstellt und getestet.

Was man vor der Veröffentlichung wissen sollte

Die robots.txt sagt Crawlern, was sie crawlen dürfen, nicht was sie indexieren dürfen. Eine hier gesperrte Seite kann ohne Beschreibung in Google bleiben, wenn andere Websites auf sie verlinken. Um eine Seite aus den Ergebnissen zu entfernen, muss man sie im Gegenteil crawlbar lassen und ihr ein noindex-Tag geben.

Was man üblicherweise sperrt, und was nie

Man sperrt die Verwaltung, den Warenkorb, das Kundenkonto, die Ergebnisseiten der internen Suche und Parameter, die endlos Adressen erzeugen (Sortierungen, kombinierte Filter). Man sperrt nie CSS- und JavaScript-Dateien, weder Theme- noch Bildordner: Google stellt Ihre Seiten wie ein Browser dar und sieht ohne sie eine kaputte Seite.

KI-Crawler

KI-Anbieter veröffentlichen je nach Zweck eigene Crawler-Namen. Trainings-Crawler (GPTBot, ClaudeBot, CCBot sowie die Kennungen Google-Extended und Applebot-Extended) sammeln Seiten, um Modelle zu trainieren. Such-Crawler (OAI-SearchBot, Claude-SearchBot, PerplexityBot) indexieren, um Ihre Seiten in Antworten zu zitieren. Nutzer-Agenten (ChatGPT-User, Claude-User, Perplexity-User) holen eine Seite, weil jemand danach gefragt hat.

Training abzulehnen und die Suche zu behalten ist die häufigste Wahl: Ihre Texte trainieren keine Modelle mehr, und Sie werden weiter zitiert. Die robots.txt bleibt eine Vereinbarung: Die großen Anbieter halten sich daran, manche Crawler nicht.

Eine Zeile zu viel

Disallow: / unter User-agent: * entfernt eine ganze Website binnen Tagen aus den Suchmaschinen, ohne Fehler und ohne Warnung. Es ist die Zeile, die man auf eine Testumgebung setzt und beim Livegang vergisst. Dieser Generator weist darauf hin, und der benachbarte Tester prüft die Datei nach der Veröffentlichung.

Was dieses Werkzeug nicht tut

  • Er veröffentlicht nichts: Sie legen die Datei selbst im Stammverzeichnis Ihrer Domain ab.
  • Er schützt keine private Seite. Die robots.txt ist öffentlich und hält nur Crawler ab, die bereit sind, sie zu lesen; eine geheime Seite braucht ein Passwort.
  • Er kann nicht garantieren, dass ein KI-Crawler gehorcht. Die großen Anbieter halten sich an die von ihnen veröffentlichten Namen, andere Sammler ignorieren die Datei.

Häufige Fragen

Entfernt das Sperren von GPTBot meine Website aus ChatGPT?

Nicht aus Antworten mit Suche. GPTBot dient dem Training; OAI-SearchBot indexiert für die Suche von ChatGPT. Die Wahl „Modelltraining ablehnen“ in diesem Generator sperrt den einen und behält den anderen.

Sperrt Google-Extended den Googlebot?

Nein. Google-Extended ist kein Crawler, sondern ein Name, den Google prüft, um zu wissen, ob Ihre Seiten für seine Gemini-Modelle genutzt werden dürfen. Ihn abzulehnen wirkt sich nicht auf Ihre Präsenz in der Google-Suche aus.

Brauche ich eine robots.txt, wenn ich nichts sperre?

Pflicht ist sie nicht: Ohne Datei ist alles erlaubt. Eine zu haben ist trotzdem nützlich, um die Adresse Ihrer Sitemap anzugeben und damit nicht jeder Crawler-Besuch einen 404-Fehler in Ihren Protokollen hinterlässt.

Wo liegt die robots.txt bei WordPress?

WordPress liefert eine virtuelle aus, solange im Stammverzeichnis keine Datei liegt. Eine echte robots.txt im Stammverzeichnis ersetzt sie; manche SEO-Plugins erlauben auch, sie in der Verwaltung zu bearbeiten.

Zum Weiterlesen

Crawl-Budget: warum es vermutlich nicht Ihr Problem ist Das Crawl-Budget gibt es, und für Ihre Website gilt es ziemlich sicher nicht. Wen es wirklich betrifft, und was man fälschlich dafür hält.

Die anderen Werkzeuge

Kann meine Seite indexiert werden?

Noindex, robots.txt, Canonical, HTTP-Status: was Google und Bing an der Indexierung einer Seite hindert, für jede Suchmaschine einzeln.

robots.txt testen

Ob die robots.txt der Website diese Adresse zum Crawlen freigibt.

Google- und Social-Media-Vorschau

Ihr Titel und Ihre Beschreibung so, wie Google, Bing, Facebook, LinkedIn, X und WhatsApp sie anzeigen werden, in Pixeln gemessen.
Alle kostenlosen Werkzeuge →

Erfahren, an welchem Tag die robots.txt zu viel sperrt

Der Expansel-Crawl meldet die Seiten Ihrer Website, die durch die robots.txt ausgeschlossen sind: Eine Veröffentlichung, die mehr sperrt als geplant, fällt sofort auf.

Kostenloses Konto erstellen Tote Links prüfen