Filterkombinationen, interne Suchergebnisse und Druckansichten stehen im Google-Index: wie Sie diese Adressen mit JMX finden, einordnen und wieder loswerden.
Weiterlesen Filter, Suchseiten und Druckansichten aus dem Index holen
Ein Crawl, der bei 180 Seiten endet, sieht aus wie eine kleine Website. So finden Sie mit JMX die Ursache: Tempo, Kennung, robots.txt, Login.
Weiterlesen Crawl kommt nicht durch: 403, Zeitlimit, Login-Bereich
Eine neue robots.txt lässt sich vor dem Einspielen gegen den vollständigen Crawl halten: welche Seiten herausfallen und welche KI-Crawler draußen bleiben.
Eine kopierte Sperrliste in der robots.txt trifft neben den Training-Crawlern auch OAI-SearchBot. JMX zeigt im Reiter GEO, wer wirklich draußen steht.
Weiterlesen Eine Zeile robots.txt sperrt die Antwort-Crawler aus