Neue Seiten nicht indexiert: die technische Ursache finden
Die neue Ratgeberrubrik ist seit sieben Wochen online, 80 Beiträge, aus dem Hauptmenü verlinkt. Für 46 davon meldet die Search Console „Gefunden – zurzeit nicht indexiert“. Der Kunde fragt nach, und die üblichen Antworten — Geduld, mehr interne Links, bessere Texte — sind keine, solange niemand nachgesehen hat, ob Google diese Seiten überhaupt abrufen darf und ob das, was ein Crawler dort bekommt, technisch als indexierbare Seite durchgeht. Bis dahin liegt bezahlte Arbeit ohne Gegenwert herum.
So gehen Sie mit JMX vor
- Crawl starten, dann Reiter Ergebnisse. Die Registerkarten Statuscodes, Canonicals und Direktiven zeigen, was der Aufnahme im Weg steht. JMX leitet die Indexierbarkeit je URL in fester Reihenfolge ab — keine Antwort, robots-blockiert, 5xx, 4xx, Weiterleitung,
noindex, nicht-HTML, fremdes Canonical, indexierbar —, damit der ausgewiesene Grund eindeutig ist. Ein Canonical, das alle 80 Beiträge auf die Rubrikseite zeigen lässt, erklärt den Fall in einer Zeile. - Reiter Technik. Die technische Abnahme fasst acht Kernfragen auf einer Seite zusammen: Crawler-Zugriff,
robots.txt, Sitemaps, Indexierbarkeit, Weiterleitungen, Ladezeiten, Sprachcodes und Sicherheits-Kopfzeilen. Was nicht geprüft werden konnte, steht dort als „Nicht prüfbar“ und nicht als „In Ordnung“. - Ergebnisse → Verwaiste Seiten. Seiten, auf die intern kein einziger Link zeigt. Dazu die zuschaltbare Spalte Link Score (0 bis 100, interner PageRank): Drei Links von der Startseite wiegen mehr als dreißig aus einem vergessenen Tag-Archiv.
- Ansicht Rendern. Lädt die Seiten in Chrome, Edge oder Chromium und vergleicht das Ergebnis mit dem ausgelieferten HTML. Interessant ist der Unterschied: Links, die erst nach JavaScript existieren, und der Befund, nach dem niemand sucht — ein
noindex, das erst im Browser gesetzt wird. - Reiter Search Console, Schaltfläche URLs prüfen. Nimmt die indexierbaren Seiten des Crawls und fragt für jede den echten Status ab. Das Kontingent liegt bei 2.000 Abfragen je Tag und Property; JMX zählt mit und stoppt, bevor Google ablehnt.
- Ansicht Logfiles. Apache-, nginx- oder IIS-Protokolle gegen den Crawl gehalten. Sie sehen, welche indexierbaren Seiten nie ein Bot geholt hat — als Bot zählt nur, was Reverse- und Forward-DNS bestätigen.
- Sitemap erzeugen, dann Reiter Sitemap-Check. Hinein kommen nur interne, indexierbare HTML-Seiten mit Status 200. Der Vergleich mit der live ausgelieferten Datei zeigt, welche Beiträge dort fehlen und welche zweimal in unterschiedlicher Schreibweise stehen.
Worauf Sie achten müssen
„Indexierbar“ ist nicht „indexiert“. Der Crawl sagt nur, dass nichts im Weg steht; ob Google die Seite genommen hat, beantwortet allein die URL-Prüfung der Search Console. Eine site:-Abfrage ist ein Indiz. Beweis ist sie nicht.
Die Grenze des Verfahrens liegt am Ende: JMX meldet nichts bei Google an. Der IndexNow-Knopf der Migrationsansicht erreicht Bing, Yandex, Seznam und Naver; dass Google daran nicht teilnimmt, steht in der Erfolgsmeldung. Einen Knopf, der eine Seite in den Google-Index schiebt, hat kein Werkzeug.
Zwei Sonderfälle verzerren die Auswertung, wenn man sie übersieht. Ohne Lizenz endet jede Auswertung bei 25 Seiten — eine Rubrik mit 80 Beiträgen wird so nie vollständig geprüft, und die Statusleiste nennt den Grund. Und wo keine Logdatei geladen ist, gibt es keine Bot-Aussage: Offen heißt offen, nicht nein.
Bleibt technisch alles frei und Google nimmt die Seiten trotzdem nicht, ist die Ursache keine technische mehr — dann lohnt der Blick in die Near-Duplicate-Erkennung und in die Ansicht Semantik, die Seitenpaare findet, die dasselbe meinen und deshalb um denselben Platz konkurrieren.