Alle Seiten einer Website zu erkunden, erfordert die Wahl der richtigen Methode aus einem Dutzend verfügbarer Ansätze. Sitemap XML, Suchoperatoren, SEO-Crawler, Log-Analyse: Jede Technik deckt einen anderen Bereich ab und lässt unterschiedliche blinde Flecken. Es geht nicht darum, sie alle zu kennen, sondern zu verstehen, welche was erkennt und vor allem, was sie verpasst.
JavaScript-Rendering und Crawl: Was jeder Bot tatsächlich sieht
Die Fähigkeit eines Tools, die Seiten einer Website zu erkunden, hängt direkt von seiner Handhabung von JavaScript ab. Googlebot rendert JavaScript seit 2019 und hat somit Zugang zu clientseitig generierten Inhalten. Im Gegensatz dazu rendern generative KI-Crawler (GPTBot, ClaudeBot, PerplexityBot, Meta-ExternalAgent, Bytespider) kein JavaScript: Sie laden die JS-Dateien herunter, ohne sie auszuführen.
Für eine in SPA (Single-Page Application) oder stark von clientseitigem Rendering abhängige Website ändert dieser Unterschied alles. Dynamisch generierte interne Links bleiben für diese Bots unsichtbar. Ein Crawl mit einem Tool, das JS nicht rendert, wird daher eine unvollständige Liste von URLs erzeugen, manchmal erheblich.
Ein Projekt zur vollständigen Erkundung muss auch die HTML-Größenbeschränkung von Googlebot, die auf 2 MB pro URL festgelegt ist, berücksichtigen. Darüber hinaus werden die Links am Seitenende einfach nicht gelesen. Drittanbieter-Tools, die die Pipeline von Googlebot nachahmen, erben diese Einschränkung.
Für diejenigen, die nach einem konkreten Einstiegspunkt suchen, ist es möglich, die Seiten der Website Marcelllin über ihre Sitemap zu erkunden, was gut veranschaulicht, wie ein strukturiertes XML-Index funktioniert.
Vergleich der Methoden zur Auffindung aller Seiten einer Website
Jede Methode zur URL-Entdeckung deckt einen bestimmten Bereich ab. Die folgende Tabelle fasst die tatsächlichen Fähigkeiten von sechs gängigen Ansätzen zusammen.
| Methode | Indexierte Seiten | Waisenkinderseiten | Blockierte Seiten (robots.txt) | JS-Rendering |
|---|---|---|---|---|
| Suchoperator site: Google | Ja | Nein | Nein | Ja (über Google) |
| Sitemap XML | Ja (wenn deklariert) | Nein | Möglich | Nicht relevant |
| SEO-Crawler (Screaming Frog, etc.) | Ja | Teilweise | Konfigurierbar | Optional |
| Google Search Console | Ja | Nein | Nein | Ja |
| Server-Log-Analyse | Ja | Ja | Ja | Nicht relevant |
| KI-Crawler (GPTBot, ClaudeBot) | Teilweise | Nein | Nein | Nein |
Die Erkenntnis: Keine isolierte Methode deckt alle URLs einer Website ab. Der Suchoperator site: von Google zeigt nur die indexierten Seiten an, und Google garantiert nicht, alle bekannten URLs anzuzeigen. Die Sitemap listet nur die URLs auf, die vom Webmaster absichtlich deklariert wurden. Nur die Server-Log-Analyse erkennt Waisenkinderseiten, da sie jede empfangene HTTP-Anfrage aufzeichnet, einschließlich der von Bots oder alten externen Links.
Sitemap XML und robots.txt: zwei komplementäre Lesarten
Die Datei robots.txt gibt den Bots an, was sie nicht erkunden sollen. Sie vor einem Crawl zu konsultieren, ermöglicht es, absichtlich ausgeschlossene Verzeichnisse (Administrationsseiten, Staging-Umgebungen, Filter-URLs) zu erkennen. Die Sitemap XML hingegen bietet die Liste der URLs, die die Website indexiert sehen möchte.
Die Kombination beider zeigt häufige Inkonsistenzen auf: URLs, die in der Sitemap vorhanden, aber durch die robots.txt blockiert sind, oder umgekehrt. Diese Abweichungen weisen oft auf Konfigurationsfehler hin, die das Ranking beeinträchtigen.
SEO-Crawler mit JavaScript-Rendering: der größte Umfang
Ein SEO-Crawler wie Screaming Frog oder Sitebulb, der mit aktiviertem JavaScript-Rendering konfiguriert ist, bietet die umfassendste Abdeckung unter den Tools, die ohne Serverzugang verfügbar sind. Er folgt den internen Links, führt das JS aus und kann die Sitemap als Ausgangs-URL-Quelle integrieren.
- Den Crawl so konfigurieren, dass er die Sitemap XML als Liste von Seed-URLs aufnimmt, ermöglicht die Erkennung von deklarierten, aber nicht intern verlinkten Seiten
- Das Aktivieren des JavaScript-Renderings gewährleistet die Entdeckung dynamisch generierter Links, was weder die Sitemap noch der Suchoperator site: tun
- Die Liste der gecrawlten URLs exportieren und mit den Server-Logs über einen bestimmten Zeitraum vergleichen, zeigt die Waisenkinderseiten, die nur von Bots oder über externe Links besucht wurden
Diese Kombination (JS-Crawler + Sitemap + Logs) stellt das zuverlässigste Protokoll zur Erstellung eines vollständigen Inventars der URLs einer Website dar.
Waisenkinderseiten und Sackgassenseiten: die blinden Flecken des internen Linkings
Eine Waisenkinderseite hat keinen internen Link, der auf sie verweist. Sie existiert auf dem Server, kann indexiert werden, wenn ein externer Link darauf verweist, bleibt aber für einen Crawler, der von der Startseite ausgeht, unsichtbar. Die Server-Logs sind das einzige Mittel, um sie zu erkennen, ohne ihre URL im Voraus zu kennen.
Sackgassenseiten stellen ein symmetrisches Problem dar: Sie existieren in der Struktur, enthalten jedoch keinen ausgehenden Link zu anderen Seiten der Website. Ein Besucher, der dort landet, kann die Website nur verlassen. Für Suchmaschinen verwässern diese Seiten das Crawl-Budget, ohne die Autorität über interne Links weiterzugeben.
- Waisenkinderseiten durch Kreuzung von Logs/Crawl identifizieren und dann mit dem internen Linking verbinden oder sie entfernen
- Sackgassenseiten durch das Fehlen ausgehender Links im Export des Crawlers erkennen
- Überprüfen, dass jede strategische Seite innerhalb von maximal drei Klicks von der Startseite aus zugänglich ist
Eine Website mit mehreren tausend Seiten sammelt im Laufe von Überarbeitungen und Inhaltsanpassungen natürlich diese Anomalien. Ein vierteljährlicher Audit des internen Linkings begrenzt die technische Schulden.
Website-Struktur und Crawl-Budget: Was Suchmaschinen priorisieren
Suchmaschinen weisen jeder Website eine begrenzte Anzahl von Anfragen pro Crawl-Sitzung zu. Dieses Crawl-Budget hängt von der Größe der Website, ihrer Antwortgeschwindigkeit und der Aktualisierungsfrequenz ab. Eine flache Struktur, bei der jede Seite in wenigen Ebenen erreichbar ist, erleichtert die schnelle Entdeckung aller URLs.
Parametrisierte URLs (Filter, Sortierungen, Paginierungen) verbrauchen das Crawl-Budget, ohne einzigartigen Inhalt zu liefern. Sie im robots.txt zu blockieren oder über kanonische Tags zu verwalten, reduziert die Verschwendung. Die robots.txt kontrolliert das Crawlen, das kanonische Tag kontrolliert die Indizierung: Beide wirken auf unterschiedlichen Ebenen und ergänzen sich.
Die Architektur einer Website bestimmt auch die maximale Tiefe, die von den Crawlern erreicht wird. Jenseits von fünf Ebenen nimmt die Wahrscheinlichkeit, dass eine Seite während einer Sitzung gecrawlt wird, stark ab. Die durchschnittliche Tiefe zu reduzieren, bleibt der direkteste strukturelle Hebel zur Verbesserung der Crawl-Abdeckung.