Kurzantwort
Logfile-Analyse Die Logfile-Analyse wertet die Zugriffsprotokolle des Webservers aus. Sie zeigt, welche Adressen tatsächlich abgerufen wurden, mit welchem Statuscode und von wem – auch von Suchmaschinen. Das ist die einzige Quelle, die zeigt, was Crawler wirklich tun, statt was ein Werkzeug vermutet.
Kurz-Fakten
- Kein Skript im Browser sieht, was ein Crawler abruft – das Protokoll schon
- Häufige 404er und Weiterleitungsketten fallen hier zuerst auf
- Crawler geben sich über die Kennung zu erkennen, die sich fälschen lässt
- Protokolle enthalten IP-Adressen und unterliegen damit Löschfristen
Einordnung
Bei größeren Angeboten ist die interessanteste Zahl nicht, welche Seiten abgerufen wurden, sondern welche nicht. Verbringt ein Crawler die Hälfte seiner Zeit in Filterseiten, fehlt sie ihm anderswo.
Wer Logfile-Analyse angibt
Alphabetisch sortiert. Für eine Reihung nach Bestätigungen reicht die Datengrundlage bei dieser Fähigkeit noch nicht aus; die Reihenfolge sagt hier nichts aus. Stand: 16.08.2026.
Bisher führt niemand diese Fähigkeit in einem öffentlichen Profil.
Profil anlegen und sie eintragen.