Een sitemap is een bestand of pagina met een overzicht van de URL’s die op een website toegankelijk zijn. Er zijn twee hoofdvormen: de XML-sitemap, bedoeld voor zoekmachinebots, en de HTML-sitemap, ontworpen voor menselijke bezoekers. Door dit document als uitgangspunt te nemen, kun je snel alle gepubliceerde content in kaart brengen, zonder uitsluitend afhankelijk te zijn van de gebruikelijke navigatie via menu’s.
Weespagina’s: wat de sitemap onthult over de interne linkstructuur
Een volledige sitemap bevat alle URL’s die een website-eigenaar zichtbaar wil maken. Maar die lijst garandeert niet dat elke pagina ook daadwerkelijk via de navigatie van de website bereikbaar is.
Door de URL’s in de sitemap te vergelijken met de URL’s die je kunt bereiken door vanaf de homepage de interne links te volgen, komen weespagina’s aan het licht. Deze pagina’s staan wel in de sitemap, maar er leidt geen interne link naartoe via een natuurlijke navigatieroute.
Een auditgids van Screaming Frog raadt aan de resultaten van een crawl vanaf de homepage te vergelijken met de inhoud van de sitemap en vervolgens de gegevens in Analytics en Search Console te controleren. URL’s die alleen in de sitemap voorkomen, verdienen een betere interne linkstructuur. Anders blijven ze moeilijk vindbaar voor zowel bezoekers als bots.
De sitemap van Wiki Dark illustreert deze aanpak van volledige inventarisatie goed: elke sectie wordt erin vermeld, waardoor eventuele onderdelen die slecht met de rest van de structuur zijn verbonden gemakkelijker opvallen.
Crawlen vanaf de homepage of de sitemap uitlezen: twee complementaire methoden
Een crawl starten vanaf de homepage simuleert de route van een bezoeker of bot die de links één voor één volgt. Deze methode laat zien hoe diep de website werkelijk is en welke navigatiepaden daadwerkelijk beschikbaar zijn.
De sitemap uitlezen geeft daarentegen toegang tot de volledige lijst met URL’s die door de website-eigenaar zijn opgegeven. Deze twee methoden leveren niet dezelfde resultaten op.
URL’s die alleen tijdens de crawl worden ontdekt, maar niet in de sitemap staan, wijzen op een omissie in de sitemap. URL’s die wel in de sitemap staan, maar niet via de crawl kunnen worden gevonden, duiden op een probleem met de interne linkstructuur. Door beide datasets te combineren, krijg je het betrouwbaarste overzicht van de daadwerkelijke content.
Aanvullende bronnen om mee te vergelijken
De auditgids van Screaming Frog adviseert om deze vergelijking met andere bronnen uit te breiden:
- De pagina’s in Google Analytics, die laten zien welke URL’s daadwerkelijk verkeer ontvangen, ook als ze bij de crawl of in de sitemap over het hoofd zijn gezien
- De gegevens in Google Search Console, met een overzicht van geïndexeerde URL’s en URL’s met dekkingsproblemen
- Het CMS zelf, waarvan de database soms concepten of gearchiveerde pagina’s bevat die nergens anders voorkomen
- Serverlogboeken (indien beschikbaar), waarin de daadwerkelijke verzoeken van bots worden vastgelegd en te zien is welke URL’s Googlebot of Bingbot daadwerkelijk heeft opgevraagd
Geen van deze bronnen biedt op zichzelf een volledig overzicht. Door ze systematisch met elkaar te vergelijken, kun je inconsistenties opsporen voordat ze de vindbaarheid beïnvloeden.
XML-sitemap en HTML-sitemap: kies het juiste formaat voor je doel
Een XML-sitemap is een technisch bestand met een gestructureerde opmaak in tags. Het bevat URL’s en kan metadata bevatten, zoals de datum van de laatste wijziging of de geschatte updatefrequentie. Zoekmachines lezen het automatisch uit tijdens hun regelmatige crawls.
De HTML-sitemap is een gewone webpagina die voor mensen leesbaar is. De links naar de verschillende secties worden weergegeven in de vorm van een lijst of een klikbare boomstructuur. Het belangrijkste doel is bezoekers te helpen snel een specifieke pagina te vinden zonder de menu’s te hoeven doorlopen.
Beide formaten dienen verschillende doelen. Een website met alleen een XML-sitemap maakt het werk van bots gemakkelijker, maar helpt bezoekers niet. Een website met alleen een HTML-sitemap onthoudt zoekmachines een gestructureerd bestand dat ze sneller kunnen verwerken.
Door beide formaten naast elkaar te onderhouden, ondersteun je zowel geautomatiseerde crawls als menselijke navigatie. Op gangbare CMS’en zoals WordPress genereren plug-ins de XML-sitemap automatisch. De HTML-sitemap moet vaak handmatig of semi-automatisch worden gemaakt om leesbaar en relevant te blijven.
Updates melden: de rol van de sitemap tegenover IndexNow voor Bing
De sitemap en het IndexNow-protocol hebben verschillende functies, ook al hebben ze allebei te maken met communicatie met zoekmachines.
De sitemap fungeert als een referentielijst van bestaande URL’s. Hiermee wordt de zoekmachine geïnformeerd over alle beschikbare pagina’s. IndexNow dient daarentegen om nieuwe content, wijzigingen of verwijderingen in realtime te melden. Bing Webmaster Tools maakt duidelijk onderscheid tussen deze twee mechanismen.
Voor een website waarvan de content regelmatig verandert, zorgt de combinatie van beide methoden ervoor dat wijzigingen sneller worden verwerkt. De sitemap houdt de volledige inventaris actueel. IndexNow meldt afzonderlijke wijzigingen zonder te wachten op de volgende crawl.
Wanneer dit onderscheid belangrijk is
Voor een statische website die een paar keer per jaar wordt bijgewerkt, is alleen een sitemap ruim voldoende. Voor een redactionele of e-commercewebsite met dagelijkse publicaties verkort IndexNow de tijd tussen publicatie en indexering. De sitemap blijft de basis, maar actieve meldingen vullen de aanpak aan voor urgente content.
Een volledige sitemap blijft de basis voor elke methodische crawl, of het nu gaat om een technische audit, een herziening van de interne linkstructuur of simpelweg om bezoekers een pagina te laten vinden die diep in de sitestructuur verborgen zit. De echte beperking van de sitemap is niet het formaat, maar hoe zorgvuldig deze wordt bijgewerkt in verhouding tot de daadwerkelijk gepubliceerde content.
