Eine Zeile robots.txt sperrt die Antwort-Crawler aus

Im Frühjahr liest jemand einen Artikel über KI-Scraper, kopiert eine Sperrliste aus einem Forum in die robots.txt und hakt das Thema ab. Die Rankings bleiben stehen, die Search Console schweigt, im Log sieht alles aus wie immer. Ein halbes Jahr später fragt ein Interessent eine Antwortmaschine nach Anbietern in der Region, bekommt drei Namen genannt und den eigenen Auftritt nicht darunter — weil die kopierte Liste neben GPTBot auch OAI-SearchBot führte und dieser Crawler kein Trainingsmaterial sammelt, sondern den Index aufbaut, aus dem zitiert wird. Der Ausfall meldet sich nirgends.

So gehen Sie mit JMX vor

1. Crawl starten. Adresse eingeben, Starten. JMX lädt die robots.txt jedes beteiligten Hosts mit; ohne erreichbare Datei steht später „unbekannt“ da und nicht „in Ordnung“.
2. Reiter GEO, Karte „Zugriff der KI-Crawler“. Dort steht für 22 bekannte Kennungen der Betreiber, der Zweck und der Zugriff — Erlaubt oder Blockiert.
3. Die Spalte Zweck lesen. Sie kennt drei Werte: Modelltraining, Antwortsuche, Abruf auf Nutzerwunsch. Sechs Kennungen gelten als antwortkritisch — OAI-SearchBot, Claude-SearchBot, PerplexityBot, Bingbot, Amazonbot und YouBot.
4. Reiter Technik. Die technische Abnahme trennt in der Zeile „Crawler-Zugriff“ nach Suchmaschinen, Antwortmaschinen und reinen Trainings-Crawlern und nennt je Gruppe eine Zahl.
5. Reiter Probleme. Die Regeln GEO.CRAWLER.BLOCKED und GEO.CRAWLER.PATH_BLOCKED nennen die betroffenen Kennungen samt Handlungsempfehlung; im Reiter Aufgaben steht dieselbe Arbeit mit geschätztem Aufwand.
6. Einstellungen → Crawl → Eigene robots.txt (Entwurf). Die korrigierte Fassung hineinkopieren und erneut crawlen. Der Entwurf gilt für die gecrawlte Website statt ihrer Live-Datei, fremde Hosts behalten ihre; die technische Abnahme weist aus, dass sie gegen einen Entwurf lief.
7. Nach dem Einspielen die Logdateien auswerten. Ob die Antwort-Crawler zurückkommen, steht nur im Server-Log — Apache, nginx und IIS, auch gzip-komprimiert.

Worauf Sie achten müssen

„Blockiert“ ist kein Fehler. GPTBot, ClaudeBot, CCBot, Google-Extended und Applebot-Extended sammeln Trainingsdaten; wer sie aussperrt, verliert bis auf eine Ausnahme keinen einzigen Verweis — Google-Extended steuert neben dem Training auch das Grounding in den Gemini-Apps und in Vertex AI, gesperrt kann Gemini die Website dort nicht mehr als Quelle heranziehen, und JMX meldet genau diesen Fall eine Stufe höher als die reinen Trainings-Crawler, und JMX wertet das ausdrücklich nicht als Fehler, sondern nennt die eigene Meldung eine Bestandsaufnahme. Wer die Karte als Ampel liest und alles auf Grün räumt, gibt eine Lizenzentscheidung auf, die er vielleicht bewusst getroffen hat.

Geprüft wird eine Datei, nicht das Verhalten. Ob ein Anbieter sich an robots.txt hält, sagt keine Zeile darin, und die zweite Sperre liegt woanders: Weist eine WAF oder eine CDN-Regel den User-Agent mit 403 ab, steht davon in der Datei nichts. Dafür gibt es die User-Agent-Vorlagen — JMX crawlt als GPTBot, OAI-SearchBot, ClaudeBot oder PerplexityBot und zeigt, ob 200 oder 403 zurückkommt. Auch die Logauswertung hat eine Grenze: Googlebot, Bingbot, Applebot, YandexBot und Baiduspider bestätigt JMX per Reverse- und Forward-DNS, für die KI-Crawler veröffentlicht kein Anbieter etwas Prüfbares. Ein Eintrag PerplexityBot bleibt die Behauptung des Clients.

Der unangenehme Sonderfall ist die Pfadsperre. Eine eigene Crawler-Gruppe verbietet /ratgeber/, das Site-Root bleibt offen, die Übersicht meldet den Crawler als erlaubt — dafür gibt es GEO.CRAWLER.PATH_BLOCKED, das die betroffenen Seiten benennt. Sperrt dagegen die *-Gruppe den Pfad, meldet JMX hier nichts: Das trifft klassische Suchmaschinen gleichermaßen und ist eine SEO-Entscheidung. Und die Liste ist eine Liste. Startet ein Dienst nächsten Monat einen neuen Bot, fehlt er in der Übersicht, bis er nachgetragen ist.

Wer diese eine Zeile nie nachliest, erfährt vom Ausschluss nicht durch eine Meldung, sondern daran, dass in der Antwort auf die eigene Kernfrage seit Monaten jemand anderes steht.