robots.txt ändern, ohne Seiten auszusperren

Eine Zeile soll in die robots.txt. Das Admin-Verzeichnis gehört gesperrt, ein Endlos-Kalender frisst Crawl-Budget, und in der kopierten Vorlage stehen drei weitere Disallow-Zeilen, die niemand mehr erklären kann. Sie spielen die Datei ein, vier Wochen später fallen die Impressionen, und bis jemand die Ursache in einem alten Deployment findet, sind die betroffenen Seiten längst aus dem Index verschwunden und die Rankings mit ihnen. Der Fehler ist nicht teuer, weil er schwer zu beheben wäre, sondern weil zwischen Ursache und Symptom Wochen liegen.

So gehen Sie mit JMX vor

1. Den Ist-Zustand festhalten. Adresse oben eingeben, Starten, den Lauf in einer Projektdatei speichern. Dieser Crawl ist Ihre Vergleichsbasis.
2. Den Entwurf hinterlegen. Unter Einstellungen → Crawl → Eigene robots.txt (Entwurf) fügen Sie den vollständigen Text der geplanten Datei ein; er gilt ab dann für die gecrawlte Website statt ihrer Live-Datei.
3. Den Crawl ein zweites Mal laufen lassen. Der Entwurf ist eine Crawl-Einstellung und keine Filterung des geladenen Bestands. Ohne zweiten Lauf ändert sich keine Zahl.
4. Reiter Verlauf öffnen. Der Vergleich der beiden Läufe geht Seite für Seite: Jede Seite, die ihre Indexierbarkeit verliert, steht mit dem Risiko Kritisch in der Liste, mit dem Wert vorher und nachher nebeneinander. Das ist die Antwort auf „was sperre ich aus“ in Zeilen statt in Summen.
5. Reiter Probleme durchsehen. Drei Regeln gehören hier gelesen: SEO.ROBOTS.BLOCKED_BY_ROBOTS_TXT, SEO.ROBOTS.BLOCKED_BUT_IN_SITEMAP — die Sitemap reicht ein, was die robots.txt verbietet — und SEO.ROBOTS.BLOCKED_RESOURCE für gesperrte eigene CSS- und JS-Dateien.
6. Reiter GEO, Abschnitt „Zugriff der KI-Crawler“. Jede Crawler-Kachel nennt ihren Zweck: Modelltraining, Antwortsuche oder Abruf auf Nutzerwunsch. Training zu sperren kostet keine Verweise, die Antwort-Crawler zu sperren nimmt Sie aus den KI-Antworten.
7. Reiter Technik. Die technische Abnahme fasst Crawler-Zugriff, robots.txt und Sitemaps auf einer Seite zusammen und weist ausdrücklich aus, dass sie gegen einen Entwurf lief.

Worauf Sie achten müssen

Ein Disallow nimmt nichts aus dem Index. Es verbietet den Abruf, nicht die Aufnahme: Eine gesperrte URL kann weiterhin in den Ergebnissen stehen, dann ohne Titel und ohne Beschreibung. Unangenehm wird die Kombination aus beidem, denn ein noindex auf einer Seite, die kein Crawler mehr laden darf, wird nie gelesen — JMX leitet die Indexierbarkeit deshalb in fester Reihenfolge ab, und „robots-blockiert“ steht dort vor „noindex“. Wollen Sie eine Seite loswerden, lassen Sie sie abrufbar.

Gerechnet wird gegen den Crawl, nicht gegen Googles Index. Was kein Link und kein Sitemap-Eintrag erreicht, liegt nicht im Bestand und kann damit auch nicht als Verlust erscheinen. Der Entwurf gilt außerdem nur für die Hosts der Startadressen; fremde Hosts behalten ihre eigene Datei, weil ein Entwurf die Datei eines Hosts ist und alles andere ein erfundener Befund wäre. Ohne Lizenz endet jede Auswertung bei 25 Seiten, und ein Vergleich zweier 25-Seiten-Läufe beantwortet diese Frage nicht.

Der häufigste Sonderfall ist eine Zeile, die pauschal alles mit „AI“ im Namen sperrt und dabei die Antwort-Crawler mit erwischt. Ähnlich verbreitet sind Pfad-Sperren aus alten Vorlagen, die ganze Systemverzeichnisse wie /wp-includes/ oder /assets/ ausschließen — eine Empfehlung, die seit 2014 überholt ist, weil Google Seiten rendert, bevor es sie bewertet, und ohne die gesperrten Stylesheets ein kaputtes Layout zu sehen bekommt.

Wer den Entwurf vorher prüft, verlegt die Entdeckung vom Traffic-Einbruch auf den Nachmittag davor — und im Deploy-Skript übernimmt das jmx-cli --robots-file entwurf.txt beispiel.at --fail-on Warning, dessen Rückgabewert 2 die Datei gar nicht erst live gehen lässt.