Filter, Suchseiten und Druckansichten aus dem Index holen

Ein Shop mit 800 Artikeln, und die Search Console meldet 41.000 indexierte Seiten. Die Zahl ist kein Tippfehler. Der Überschuss besteht aus Filterkombinationen, internen Suchergebnissen und Druckansichten. Teuer wird das an zwei Stellen: Der Googlebot holt Varianten ab, statt neue Artikel zu finden, und die Signale einer echten Produktseite verteilen sich auf ein Dutzend Adressen, die niemand verlinkt hat und die sich nur durch die Reihenfolge der Treffer unterscheiden.

So gehen Sie mit JMX vor

1. Crawl ohne Scheuklappen. Unter Einstellungen → Crawl das Feld URLs ausschließen für diesen Lauf leeren und die maximale URL-Anzahl hochsetzen. Wer Parameter-Adressen sucht, darf sie nicht vorher wegfiltern.
2. Größenordnung ablesen. Die Karte Dateitypen auf der Übersicht schlüsselt auf, woraus die URL-Zahl besteht — HTML-Seiten, Weiterleitungen, Bilder, fremde Hosts; jeder Balken öffnet die Liste, die er zählt.
3. Kandidaten einsammeln. Im Reiter Ergebnisse, Registerkarte Intern, das Suchfeld mit gesetztem Haken Regex auf [?&](sort|filter|q|print)= stellen. Die Registerkarte Direktiven zeigt daneben, welche dieser Adressen ein noindex tragen.
4. Die Lücke direkt suchen. Der Reiter Textsuche fragt auch umgekehrt: „enthält nicht“ noindex, im Quelltext, eingeschränkt auf den Pfadbereich /suche/. Heraus kommt die Liste der Seiten, die die Direktive hätten tragen sollen.
5. Befunde lesen. Die Probleme-Ansicht führt SEO.URL.TOO_MANY_PARAMS (Vorgabe: mehr als 3 Parameter), SEO.DUPLICATE.TITLE, die Near-Duplicate-Erkennung SEO.DUPLICATE.CONTENT_NEAR bis Hamming-Distanz 6 und SEO.SITEMAP.NONINDEXABLE_URL.
6. Zuordnen. Unter Einstellungen → Segmente ein Segment „Filter und Suche“ per regulärem Ausdruck anlegen; über der Regelliste steht dann die Aufschlüsselung mit Befunden je Seite, samt dem Posten „Ohne Segment“.
7. Gegen den Index halten. Im Reiter Search Console fragt URLs prüfen für die indexierbaren Seiten des Crawls den echten Status ab; das Kontingent liegt bei 2.000 Abfragen pro Tag und Property.

Worauf Sie achten müssen

Eine Sperre in der robots.txt räumt nichts aus dem Index. Sie verhindert das Laden, nicht die Aufnahme: Google kann eine gesperrte Adresse allein aufgrund eingehender Links führen, dann ohne Titel und ohne Beschreibung, und das noindex auf der Seite bleibt ungelesen, weil die Seite nie abgerufen wird. Die Reihenfolge ist deshalb erst freigeben und noindex setzen, warten, bis die Adressen verschwunden sind, dann sperren. Den Entwurf prüfen Sie vorher unter Einstellungen → Crawl → Eigene robots.txt (Entwurf) gegen den vollständigen Crawl.

JMX kennt den Crawl, nicht den Index. Was der Spider meldet, ist die Menge der erreichbaren Adressen, nicht die Menge dessen, was Google gespeichert hat. Die URL-Prüfung der Search Console ist die einzige autoritative Antwort. Eine site:-Abfrage ist ein Indiz. Umgekehrt gilt genauso: Filter-URLs, die erst beim Absenden eines Formulars entstehen und nirgends verlinkt sind, findet kein Crawler — Google über einen externen Link aber schon. Die Migration-Ansicht zieht einen Bestand deshalb aus mehreren Quellen zusammen, die einander mit Absicht widersprechen.

Der unangenehmste Sonderfall sitzt im eigenen Ausschlussmuster. Wer \? dauerhaft in „URLs ausschließen“ stehen hat, bekommt einen sauberen Bericht über eine Website, deren Problem er gerade weggeblendet hat. Ein zweiter kommt aus dem Rendering: Setzt eine Druckansicht ihr noindex erst per JavaScript, sieht sie im ausgelieferten HTML indexierbar aus — diesen Fall meldet das JavaScript-Rendern.

Ob die Bereinigung ein Handgriff ist oder ein Vorhaben, entscheidet sich nicht an der Zahl der Adressen: Der Reiter Aufgaben stellt neben die Auswirkung in Punkten den geschätzten Aufwand, und erst dieser zweite Wert sagt, ob 12.000 überflüssige URLs eine Zeile in einer Vorlage sind oder drei Personentage.