Wat is crawl budget?

Je publiceert een nieuwe pagina, maar dagen later staat hij nog steeds niet in Google. Of je ziet in Search Console dat er allerlei URL’s “gevonden” zijn, maar niet worden geïndexeerd. Dan komt al snel de vraag op: Wat is crawl budget? Simpel gezegd gaat het over hoeveel aandacht Google aan jouw site kan en wil besteden. In dit artikel leg ik je uit hoe crawl budget werkt, wanneer je je er echt druk om moet maken en hoe je verspilling voorkomt. Je krijgt ook een praktische checklist, plus concrete fixes voor veelvoorkomende oorzaken zoals trage pagina’s, redirects en dubbele URL’s.

De basis: crawlen, indexeren en ranken

Waarom deze drie begrippen vaak door elkaar lopen

In SEO hoor je vaak dat een pagina “niet in Google komt”. Meestal zit het probleem in één van deze stappen:

1. Crawlen: Googlebot bezoekt een URL en haalt de inhoud op.
2. Indexeren: Google verwerkt die inhoud en slaat hem op in de index.
3. Ranken: Google bepaalt of en waar je pagina verschijnt bij een zoekopdracht.

Crawl budget speelt vooral in stap 1 en 2. Als Google je URL’s niet (vaak genoeg) crawlt, wordt indexatie trager of blijft die uit. En zonder indexatie kun je simpelweg niet ranken.

Wat is crawl budget precies?

Een werkbare definitie

Crawl budget is het aantal pagina’s dat zoekmachinebots zoals Googlebot op jouw website kunnen én willen crawlen binnen een bepaalde periode. Denk aan een dagelijks “aandachtsbudget”. Het is geen vast getal dat je ergens kunt aanvragen, maar een uitkomst van hoe Google jouw site beoordeelt en hoe goed jouw techniek het crawlen aankan.

Hoe Google het zelf benadert: crawl rate en crawl demand

Wat ik sterk vind aan Google’s uitleg is dat ze crawl budget terugbrengen naar twee onderdelen die je wél kunt beïnvloeden:

• Crawl rate (capacity limit): hoeveel verzoeken jouw site technisch aankan zonder traag te worden of fouten te geven.
• Crawl demand: hoeveel behoefte Google heeft om jouw URL’s te bezoeken, gebaseerd op waarde, populariteit en veranderfrequentie.

In de praktijk betekent dit: een snelle, stabiele site met duidelijke prioriteiten en goede content krijgt vaker bezoek. Een site die Google tijd laat verspillen aan rommel, filters en fouten, maakt het zichzelf onnodig moeilijk.

Waarom crawl budget belangrijk is voor SEO

Wanneer het echt pijn doet

Voor veel kleine sites is crawl budget eerlijk gezegd geen dagelijkse bottleneck. Google vindt je belangrijkste pagina’s meestal prima. Maar het wordt wél belangrijk als je site groot is of snel groeit. Ik zie crawl budget-problemen vooral terug in drie situaties:

• Grote websites met duizenden tot miljoenen URL’s, zoals webshops en platformen.
• Veel nieuwe URL’s in korte tijd, bijvoorbeeld een migratie, nieuw assortiment of categorie-uitbreiding.
• Technische ruis zoals veel redirects, parameter-URL’s, duplicaten en foutpagina’s.

Het verborgen effect: Google besteedt tijd aan de verkeerde URL’s

Het echte probleem is zelden “Google komt niet”. Het probleem is dat Google wél komt, maar z’n tijd verbruikt aan URL’s die jij niet belangrijk vindt. Denk aan filtercombinaties, interne zoekresultaten, tag-archieven of oude omleidingen. Dat voelt als geld uitgeven aan dingen die niets opleveren.

Als je meer wilt snappen van de grotere context, is het handig om ook de basis op te frissen: wat is SEO.

Wanneer moet jij je druk maken om crawl budget?

Snelle zelfcheck: 5 signalen

Ik zou pas echt tijd vrijmaken voor crawl budget als je meerdere van deze signalen ziet:

• Veel URL’s in Search Console met status Gevonden, momenteel niet geïndexeerd of Gecrawld, momenteel niet geïndexeerd.
• Nieuwe of geüpdatete pagina’s worden na dagen of weken nog niet opgepakt.
• Crawlstatistieken laten veel verzoeken zien naar URL’s met parameters of omleidingen.
• Je site heeft veel 404’s, soft 404’s of redirect chains.
• Je hebt een grote webshop met faceted navigation en honderden varianten per categorie.

Een nuchtere nuance

Niet elke niet-geïndexeerde URL is een probleem. Soms wil Google een pagina bewust niet indexeren omdat hij te weinig toevoegt. Dat is ongemakkelijk, maar vaak is het een eerlijk signaal: verbeter de pagina of accepteer dat hij niet bijdraagt. Crawl budget optimaliseren is dus niet alleen techniek; het is ook durven kiezen welke content echt de moeite waard is.

Crawl budget checken in Google Search Console

Crawlstatistieken: wat je daar wel en niet uit haalt

In Google Search Console vind je onder Instellingen het rapport Crawlstatistieken. Daar zie je onder andere:

• Totaal aantal crawlverzoeken in de afgelopen periode.
• Gemiddelde responstijd van je host.
• Verdeling naar bestandstype en respons (bijvoorbeeld 200, 301, 404).

Mijn advies: kijk niet alleen naar “meer is beter”. Kijk vooral naar waar Google tijd aan besteedt. Veel 301’s en 404’s zijn vaak directe verspilling.

Indexering rapport: waar je prioriteiten zichtbaar worden

Het indexeringsrapport geeft context bij crawl budget: welke URL’s zijn uitgesloten, en waarom? Vooral de combinaties “gevonden maar niet geïndexeerd” en “gecrawld maar niet geïndexeerd” zijn interessant. Als dit om belangrijke pagina’s gaat, wil je uitzoeken of het om kwaliteit, duplicatie of crawl-efficiëntie gaat.

Waardoor wordt crawl budget verspild?

De usual suspects die ik het vaakst tegenkom

Als je één ding onthoudt: Google verspilt jouw crawl budget niet, dat doet je site meestal zelf. Dit zijn de grootste veroorzakers:

• Duplicate content door parameters, varianten, printversies of slordige canonicalisatie.
• Thin content zoals lege categorieën, automatisch gegenereerde pagina’s of tagpagina’s zonder toegevoegde waarde.
• Redirects in bulk of in ketens, vooral na migraties en opschoonacties.
• 404’s en soft 404’s waar Google telkens opnieuw tegenaan loopt.
• Slechte interne linkstructuur waardoor belangrijke pagina’s te diep zitten of zelfs “wees” pagina’s worden.

Parameters en filters: zegen voor UX, risico voor SEO

Filters zijn geweldig voor bezoekers, maar kunnen duizenden URL-combinaties opleveren. Als die allemaal crawlbaar zijn, kan Google uren bezig zijn met varianten die inhoudelijk nauwelijks verschillen. Wat mij betreft is dit één van de meest onderschatte crawl budget-lekken bij webshops.

Zo optimaliseer je crawl budget: de praktische aanpak

1. Maak je site sneller en stabieler

Een snelle site helpt gebruikers én crawlers. Als je server traag reageert, gaat Google automatisch voorzichtiger crawlen. Focus op de basics: caching, compressie, minder zware scripts en het optimaliseren van afbeeldingen. Ook Core Web Vitals geven vaak goede richting; zie Core Web Vitals voor de belangrijkste aandachtspunten.

2. Geef Google een duidelijke route: interne links en structuur

Interne links zijn jouw manier om te zeggen: “dit zijn mijn belangrijkste pagina’s”. Een gezonde structuur zorgt dat autoriteit en crawl-aandacht naar de juiste plekken stroomt. Ik ben fan van simpele hiërarchieën met duidelijke hubpagina’s en logische contentclusters. Het voorkomt ook orphan pages, die vaak per ongeluk ontstaan bij campagnes, oude landingspagina’s of “vergeten” categorieën.

3. Beperk duplicaten met canonical, noindex en slim URL-beleid

Als meerdere URL’s ongeveer hetzelfde tonen, kies dan één primaire variant. Gebruik een canonical als er echt een hoofdversie is. Gebruik noindex als een pagina nuttig is voor de gebruiker maar niet voor Google. En voorkom dat eindeloos veel parameter-URL’s indexeerbaar zijn. Dit is het soort opschoning dat vaak verrassend snel rust brengt in de index.

4. Los 404’s, soft 404’s en redirect ketens op

Elke onnodige omleiding kost crawl-capaciteit. Elke 404 waar Google via interne links op uitkomt, is pure verspilling. Maak er een gewoonte van om periodiek je interne links op te schonen en ketens te verkorten naar één nette stap. Als je dit in WordPress doet, is het handig om een duidelijke handleiding te volgen, zoals 301 redirects instellen.

5. Gebruik robots.txt en sitemaps met beleid

Een XML-sitemap helpt Google jouw belangrijkste URL’s sneller vinden, vooral op grote sites. Robots.txt kan helpen om echte ruis buiten de crawl te houden, maar wees voorzichtig: blokkeren in robots.txt is niet hetzelfde als de-indexeren. Als je iets niet in Google wilt, is noindex vaak de veiligere route.

Veelgemaakte misverstanden over crawl budget

Meer crawlen betekent niet automatisch betere rankings

Een hardnekkige mythe is dat vaker crawlen hetzelfde is als “Google vindt me belangrijker”. Crawlfrequentie is vooral een mix van capaciteit en behoefte. Je kunt het verbeteren door je techniek en content op orde te brengen, maar het is geen directe rankingknop.

Elke pagina moet in de index zijn

Ik ben het hier vaak niet mee eens. Sommige pagina’s hoeven niet te indexeren: interne zoekresultaten, sommige filtervarianten, tijdelijke campagnes of dunne tags. Minder index, maar beter gekozen, is vaak een nettere SEO-strategie dan alles koste wat het kost erin duwen.

Veelgestelde vragen

Wat is crawl budget in één zin?

Wat is crawl budget? Het is de hoeveelheid pagina’s die Googlebot op jouw website kan en wil crawlen binnen een bepaalde periode, beïnvloed door servercapaciteit en de waarde die Google aan jouw URL’s toekent. Als je veel URL-ruis hebt, gaat er crawl-aandacht naar de verkeerde pagina’s.

Wanneer is crawl budget vooral een probleem?

Crawl budget wordt vooral belangrijk bij grote sites met duizenden pagina’s, webshops met veel filters, of sites die ineens veel nieuwe URL’s publiceren. Ook bij veel redirects, 404’s en duplicaten zie je sneller problemen. Kleine sites hebben er meestal minder last van, tenzij ze technisch rommelig zijn.

Hoe kan ik mijn crawl budget zien in Search Console?

Ga in Google Search Console naar Instellingen en open Crawlstatistieken. Daar zie je crawlverzoeken, responstijd en foutcodes. Combineer dit met het indexeringsrapport om te beoordelen of Google belangrijke pagina’s laat liggen. Let vooral op veel 301’s, 404’s en parameter-URL’s in de crawl.

Kan ik crawl budget verhogen?

Je kunt het niet direct “aanzetten”, maar je kunt wel zorgen dat Google meer kan en wil crawlen. Technisch doe je dat met snellere responstijden, minder fouten en minder omleidingen. Inhoudelijk doe je het met sterke, unieke pagina’s en duidelijke interne links, zodat crawl demand stijgt.

Wat is het verschil tussen crawlen en indexeren?

Crawlen is het bezoeken en ophalen van een pagina door Googlebot. Indexeren is het verwerken en opslaan van die pagina in Google’s database, zodat hij kan verschijnen in zoekresultaten. Je kunt dus wel gecrawld zijn maar niet geïndexeerd, bijvoorbeeld door lage kwaliteit, duplicatie of een verkeerde noindex-instelling.

Wat is crawl budget? Het is de combinatie van wat Google technisch kan crawlen op jouw site en wat Google inhoudelijk de moeite waard vindt om te crawlen. Mijn eerlijke kijk: optimaliseren loont vooral als je groot bent, snel groeit of veel URL-ruis hebt. Richt je dan niet op “meer crawls”, maar op minder verspilling. Maak je site sneller, haal duplicaten en foutpaden weg, stuur met interne links en wees kritisch op welke pagina’s echt index-waardig zijn. Dan gaat Google vanzelf meer tijd besteden aan de URL’s die jouw business vooruithelpen.