Was Googlebot tatsächlich abholt: Logfiles gegen den Crawl

Der Crawl findet 4.000 indexierbare Seiten. Die Search Console meldet 2.600 im Index, und niemand kann sagen, wo der Rest geblieben ist. Vermutungen gibt es genug — dünne Texte, zu wenig interne Links, Crawl-Budget —, belegen lässt sich aus dem Crawl keine davon: Er sagt, was auf der Website steht, nicht, was ein Bot davon je abgeholt hat. Wer daraufhin drei Monate lang Texte verlängert, während Googlebot die Hälfte seiner Anfragen auf Weiterleitungsketten und 404-Seiten verbraucht, hat die falsche Baustelle geöffnet.

So gehen Sie mit JMX vor

1. Erst crawlen. Beginnen Sie im Reiter Crawl. Ohne geladenen Crawl bleibt die Spalte Status (Crawl) leer, und die Frage nach nie geholten Seiten bleibt offen.
2. Reiter Logfiles, „Dateien hinzufügen …“. Apache und nginx im Combined- und Common-Format, IIS im W3C-Extended-Format; erkannt wird an den ersten Zeilen, sonst wählen Sie manuell. Rotierte Archive mit der Endung .gz gehen direkt hinein, mehrere Dateien ergeben eine Auswertung.
3. Die Schalter unter „Auswertung“ setzen. „Bot-Kennungen per DNS überprüfen“ bleibt an. „Bilder, CSS und JavaScript überspringen“ ist voreingestellt. „Query-String als eigene URL behandeln“ brauchen Sie bei parametrisierten Filterseiten, „Mit dem geladenen Crawl abgleichen“ für alles Weitere. Dann Auswerten.
4. Die Zeilen über der Tabelle lesen. Dort stehen Einträge und Tage, der Anteil der Bot-Zugriffe ohne Status 200, die URLs, die Bots holen und der Crawl nicht kennt, und die indexierbaren Seiten ohne jeden Bot-Besuch.
5. In der Tabelle filtern. Die Spalten sind Pfad, Bot-Zugriffe, Übrige, Status (Bot), Status (Crawl) und Zuletzt. Der Spaltenfilter auf Status (Bot) zeigt vergeudetes Budget mit Adresse; weicht er von Status (Crawl) ab, bekommt die Suchmaschine etwas anderes als Ihr Prüfer.
6. Reiter Aufgaben, Reiter Struktur. Die Log-Befunde stehen als vorbereitete Aufgaben im Plan — kaputte Bot-Ziele, verwaiste Bot-URLs, nie geholte indexierbare Seiten, ab hundert widerlegten Bot-Behauptungen auch das Aussperren der Scraper. Ihre Auswirkung steht bei 0 Punkten: Die Bewertung entsteht über dem Crawl und kennt kein Crawl-Budget. Im Strukturbild färben die Bot-Zugriffe die Knoten: Rot heißt, hier war nie ein bestätigter Bot.

Worauf Sie achten müssen

„Nie geholt“ ist eine Aussage über den Zeitraum der Datei, nicht über die Website. Manche Seiten holt Google alle paar Wochen; ein Log über drei Tage produziert deshalb hunderte Zeilen, die nur bedeuten, dass in diesen drei Tagen nichts passierte. Die Zusammenfassung nennt die Zahl der Tage aus genau diesem Grund. Nehmen Sie 30 Tage, besser mehr.

Die zweite Falle ist die Spalte Übrige. Steht dort fast überall 0, ist selten die Auswertung schuld: Dann bedient ein CDN oder ein Cache die Besucher, und im Log des Ursprungsservers stehen tatsächlich fast nur Bots. Für Besucherzahlen ist ein Server-Log das schwächere Werkzeug — dafür gibt es die Webanalyse mit Matomo; umgekehrt steht das Verhalten der Suchmaschinen nur im Log, weil ein Bot kein JavaScript ausführt und in keiner Analytics-Zählung auftaucht.

Zwei Grenzen gehören dazu. Die DNS-Prüfung löst die IP rückwärts und den gefundenen Namen wieder vorwärts auf; was sich so nicht bestätigen lässt, zählt nicht als Bot-Zugriff, auch wenn es einer war. Und die Auswertung ist Sache des Fensters: jmx-cli kennt keinen Schalter für Logdateien, der nächtliche Lauf trägt diesen Teil also nicht bei. Ohne Lizenz endet die Seitentabelle bei 25 Seiten, während Zeilen- und Bot-Zahlen vollständig bleiben.

Danach ist „Google indexiert das nicht“ keine Vermutung mehr, sondern eine Liste von Pfaden mit Statuscode und Datum — und jeder verlangt eine Entscheidung, die bisher niemand treffen musste.