Ein Sitemap ist eine Datei oder Seite, die alle erreichbaren URLs einer Website auflistet. Es gibt zwei Hauptformen: die XML-Sitemap für Suchmaschinen-Crawler und die HTML-Sitemap für menschliche Besucher. Wer dieses Dokument als Ausgangspunkt nutzt, kann schnell alle veröffentlichten Inhalte erfassen, ohne sich allein auf die herkömmliche Navigation über Menüs zu verlassen.
Verwaiste Seiten: Was die Sitemap über die interne Verlinkung verrät
Eine vollständige Sitemap listet alle URLs auf, die ein Websitebetreiber sichtbar machen möchte. Diese Liste garantiert jedoch nicht, dass jede Seite tatsächlich über die Navigation der Website erreichbar ist.
Ein Abgleich der in der Sitemap enthaltenen URLs mit den Seiten, die sich über interne Links von der Startseite aus erreichen lassen, macht verwaiste Seiten sichtbar. Diese Seiten sind zwar in der Sitemap aufgeführt, lassen sich aber nicht über einen natürlichen Navigationspfad aufrufen.
Ein von Screaming Frog veröffentlichter Leitfaden für Website-Audits empfiehlt, die Ergebnisse eines Crawls ab der Startseite mit den Inhalten der Sitemap abzugleichen und anschließend die Daten aus Analytics und der Search Console zu prüfen. URLs, die nur in der Sitemap vorkommen, sollten intern besser verlinkt werden. Andernfalls sind sie sowohl für Besucher als auch für Crawler schwer zu finden.
Der Sitemap von Wiki Dark veranschaulicht dieses Prinzip einer umfassenden Bestandsaufnahme: Jeder Bereich ist aufgeführt, sodass sich mögliche schlecht angebundene Bereiche leichter erkennen lassen.
Crawl ab der Startseite oder Sitemap auslesen: zwei sich ergänzende Ansätze
Ein Crawl ab der Startseite simuliert den Weg eines Besuchers oder Crawlers, der den Links nacheinander folgt. So werden die tatsächliche Klicktiefe der Website und die realen Navigationspfade sichtbar.
Die Sitemap auszulesen, bietet dagegen Zugriff auf die vollständige Liste der vom Websitebetreiber angegebenen URLs. Die beiden Ansätze liefern unterschiedliche Ergebnisse.
URLs, die nur beim Crawl entdeckt werden, aber in der Sitemap fehlen, weisen auf ein Versäumnis bei der Aufnahme hin. URLs, die in der Sitemap stehen, beim Crawl aber nicht gefunden werden, deuten auf ein Problem mit der internen Verlinkung hin. Der Abgleich beider Datensätze ist die zuverlässigste Methode, um den tatsächlichen Umfang der Inhalte zu erfassen.
Weitere Quellen zum Abgleich
Der Audit-Leitfaden von Screaming Frog empfiehlt, für diesen Vergleich weitere Quellen heranzuziehen:
- Die in Google Analytics erfassten Seiten zeigen, welche URLs tatsächlich Traffic erhalten – auch solche, die beim Crawl oder in der Sitemap möglicherweise übersehen wurden
- Die Daten aus der Google Search Console listen indexierte URLs sowie URLs mit Abdeckungsfehlern auf
- Das CMS selbst, dessen Datenbank mitunter Entwürfe oder archivierte Seiten enthält, die sonst nirgends auftauchen
- Serverprotokolle (sofern verfügbar), die tatsächliche Anfragen von Crawlern aufzeichnen und zeigen, welche URLs Googlebot oder Bingbot tatsächlich aufgerufen haben
Keine dieser Quellen bietet für sich allein einen vollständigen Überblick. Durch den systematischen Abgleich lassen sich Unstimmigkeiten erkennen, bevor sie sich auf die Suchmaschinenoptimierung auswirken.
XML-Sitemap und HTML-Sitemap: Das passende Format für den jeweiligen Zweck
Die XML-Sitemap ist eine technische Datei mit strukturierter Auszeichnung. Sie enthält URLs und kann Metadaten wie das Datum der letzten Änderung oder die geschätzte Aktualisierungshäufigkeit umfassen. Suchmaschinen lesen sie bei ihren regelmäßigen Crawls automatisch aus.
Die HTML-Sitemap ist eine herkömmliche, für Menschen lesbare Webseite. Sie zeigt Links zu den verschiedenen Bereichen als Liste oder anklickbare Baumstruktur an. Ihr Hauptzweck ist es, Besuchern zu helfen, eine bestimmte Seite schnell zu finden, ohne sich durch die Menüs klicken zu müssen.
Beide Formate erfüllen unterschiedliche Aufgaben. Eine Website, die nur eine XML-Sitemap anbietet, erleichtert Crawlern die Arbeit, hilft ihren Besuchern aber nicht weiter. Eine Website, die nur eine HTML-Sitemap bereitstellt, enthält keine strukturierte Datei, die Suchmaschinen schneller verarbeiten können.
Wer beide Formate parallel pflegt, unterstützt sowohl das automatisierte Crawling als auch die Navigation durch Menschen. Bei gängigen CMS wie WordPress erstellen Plugins die XML-Sitemap automatisch. Eine HTML-Sitemap muss oft manuell oder halbautomatisch angelegt werden, damit sie übersichtlich und relevant bleibt.
Änderungen melden: Die Rolle der Sitemap im Zusammenspiel mit IndexNow für Bing
Sitemap und IndexNow-Protokoll erfüllen unterschiedliche Funktionen, auch wenn beide der Kommunikation mit Suchmaschinen dienen.
Die Sitemap dient als Referenzliste vorhandener URLs. Sie informiert die Suchmaschine über alle verfügbaren Seiten. IndexNow hingegen meldet neue, geänderte oder gelöschte Inhalte in Echtzeit. Bing Webmaster Tools unterscheidet klar zwischen diesen beiden Mechanismen.
Bei Websites mit häufig wechselnden Inhalten beschleunigt die Kombination beider Ansätze die Verarbeitung von Änderungen. Die Sitemap stellt sicher, dass der Gesamtbestand aktuell bleibt. IndexNow meldet einzelne Änderungen, ohne auf den nächsten Crawl warten zu müssen.
Wann dieser Unterschied wichtig ist
Bei einer statischen Website, die nur wenige Male im Jahr aktualisiert wird, reicht die Sitemap allein in der Regel aus. Bei einer redaktionellen Website oder einem Onlineshop mit täglichen Veröffentlichungen verkürzt IndexNow die Zeit zwischen Veröffentlichung und Indexierung. Die Sitemap bleibt die Grundlage, während aktive Benachrichtigungen das Verfahren bei dringenden Inhalten ergänzen.
Eine vollständige Sitemap bleibt die Grundlage für jedes systematische Crawling – sei es für ein technisches Audit, eine Überarbeitung der internen Verlinkung oder einfach, damit Besucher eine tief in der Seitenstruktur verborgene Seite finden können. Die eigentliche Schwachstelle der Sitemap ist nicht ihr Format, sondern die Sorgfalt, mit der sie im Verhältnis zu den tatsächlich veröffentlichten Inhalten aktuell gehalten wird.
