Een van de eerste dingen die we bij een nieuwe klant controleren, is de robots.txt. Verrassend vaak staat daar een regel die GPTBot of een andere AI-crawler blokkeert. Het gevolg: dat model kan je site niet lezen, citeert je niet, en noemt je zelden. Dit artikel legt uit hoe je dat controleert en herstelt.
Welke crawlers er zijn
- GPTBot — OpenAI, gebruikt voor ChatGPT en zoekfunctie.
- OAI-SearchBot — OpenAI, specifiek voor zoekresultaten in ChatGPT.
- PerplexityBot — Perplexity.
- Google-Extended — Google, voor Gemini en AI-functies (los van de gewone Googlebot).
- ClaudeBot — Anthropic, voor Claude.
- Applebot-Extended, Bytespider, CCBot — overige crawlers die je kunt tegenkomen.
Hoe je het controleert
Open jouwdomein.nl/robots.txt in je browser. Zoek naar regels als 'User-agent: GPTBot' gevolgd door 'Disallow: /'. Kijk ook naar een algemene 'User-agent: *' met 'Disallow: /' — die blokkeert alles. Controleer daarna je CDN of firewall (Cloudflare heeft bijvoorbeeld een schakelaar 'AI-bots blokkeren') en eventuele beveiligingsplugins in WordPress.
Let op: de gewone Googlebot toestaan is niet genoeg. Google-Extended is een aparte user-agent, en een blokkade daarvan beperkt je zichtbaarheid in Gemini en mogelijk in AI-functies van Google.
De afweging: trainen versus citeren
Sommige ondernemers blokkeren AI-crawlers bewust, omdat ze niet willen dat hun content gebruikt wordt om modellen te trainen. Dat is een legitieme keuze, maar wees je bewust van de prijs: hetzelfde crawlerverkeer wordt gebruikt om actuele antwoorden te geven en bronnen te citeren. Voor de meeste MKB-bedrijven weegt vermeld worden zwaarder dan het theoretische trainingsrisico van een website met openbare bedrijfsinformatie.
Wat je in robots.txt zet
Een eenvoudige, veilige configuratie: sta de genoemde crawlers expliciet toe voor je publieke pagina's en sluit alleen uit wat echt privé is (klantportalen, zoekresultaten, winkelwagentjes). Voeg daarnaast een sitemap-regel toe. Controleer na elke websitewijziging opnieuw; wij zien robots.txt-bestanden terugvallen na een thema-update of migratie.
Monitoren in plaats van eenmalig checken
Omdat dit zo makkelijk ongemerkt misgaat, meten wij de crawlbaarheid elke nacht en bewaren we de geschiedenis. Een blokkade die ontstaat op dinsdag, is dan woensdag een actie in plaats van over drie maanden een raadsel in je cijfers.
Een regel in robots.txt kan je onzichtbaar maken voor een heel AI-model. Controleer het, herstel het en blijf het monitoren.