Moet je AI-crawlers zoals GPTBot blokkeren in robots.txt?

• OpenAI: GPTBot is voor training, OAI-SearchBot bepaalt of je in ChatGPT-zoekresultaten verschijnt.
• Anthropic: ClaudeBot is voor training, Claude-SearchBot en Claude-User zijn voor zoeken en vragen van gebruikers.
• Perplexity: PerplexityBot is voor zoekresultaten en wordt volgens Perplexity niet gebruikt voor training.
• Google-Extended heeft volgens Google geen invloed op opname of ranking in Google Zoeken.
• Een blokkade werkt per subdomein en alleen voor crawlers die robots.txt respecteren.

Veel ondernemers horen dat AI-bedrijven hun teksten gebruiken en blokkeren daarom in één keer alles wat met AI te maken heeft. Dat kan je zichtbaarheid kosten. De grote aanbieders werken namelijk met meerdere crawlers, elk met een eigen doel. De een verzamelt teksten om toekomstige modellen te trainen, de ander haalt pagina's op om een vraag van een gebruiker te beantwoorden en daarbij naar jouw site te linken.

Wie de verkeerde bot blokkeert, verdwijnt mogelijk uit de antwoorden van ChatGPT of Claude, terwijl dat nooit de bedoeling was. Wie niets blokkeert, accepteert dat de openbare teksten op de site kunnen bijdragen aan training. Beide zijn verdedigbare keuzes, zolang je ze bewust maakt.

Onderstaand overzicht is gebaseerd op de documentatie van de aanbieders zelf, geraadpleegd in oktober 2026. Namen en functies veranderen af en toe, dus controleer de bronpagina's voordat je regels aanpast.

Google-Extended is geen aparte crawler maar een token in robots.txt. Google schrijft dat het bepaalt of inhoud die Google crawlt gebruikt mag worden voor training van toekomstige Gemini-modellen en voor grounding, en dat het geen invloed heeft op je opname in Google Zoeken of op je ranking. Google noemt in die documentatie Gemini Apps en Vertex AI als betrokken producten.

AI Overviews en AI Mode zijn onderdeel van Google Zoeken. Wil je daar niet in verschijnen, dan verwijst Google naar de gewone instellingen zoals nosnippet, data-nosnippet, max-snippet of noindex. Die beperken ook je gewone zoekresultaten, dus voor een bedrijf dat klanten zoekt is dat zelden verstandig.

Een installateur, bouwbedrijf of dienstverlener wil vooral dat potentiële klanten het bedrijf vinden en dat antwoorden over prijzen, werkgebied en diensten kloppen. Voor die bedrijven is zichtbaarheid in AI-zoekfuncties meestal belangrijker dan het tegenhouden van training. Een uitgever, fotograaf of opleider die verdient aan unieke teksten of beelden heeft een ander belang en kan trainingscrawlers bewust weren.

• Maximale zichtbaarheid: niets blokkeren. Dit is ook de standaard als je niets instelt.
• Zichtbaar, maar geen training: GPTBot, ClaudeBot en Google-Extended blokkeren; OAI-SearchBot, Claude-SearchBot, Claude-User en PerplexityBot toestaan.
• Alles weren: alle bovenstaande namen blokkeren. Je verdwijnt dan grotendeels uit AI-antwoorden en houdt alleen je gewone Google-zichtbaarheid.
• Alleen bepaalde mappen weren: bijvoorbeeld een klantportaal of interne documenten. Die horen eigenlijk achter een login, niet alleen achter robots.txt.

Open jouwdomein.nl/robots.txt in je browser. Zoek naar regels met User-agent gevolgd door een van de namen uit de tabel en een Disallow-regel. Staat er User-agent: * met Disallow: /, dan blokkeer je alle crawlers die zich aan robots.txt houden, inclusief Google. Dat zien we soms na een websitelancering waarbij een testinstelling is blijven staan.

Let ook op plugins, hostingpartijen en beveiligingsdiensten. Sommige firewalls blokkeren AI-crawlers op serverniveau, los van je robots.txt. Je robots.txt ziet er dan open uit, terwijl bots in de praktijk een foutmelding krijgen. Vraag je hostingpartij of beheerder welke bots worden tegengehouden.

Anthropic wijst erop dat een blokkade per subdomein moet worden ingesteld. Heb je bijvoorbeeld een aparte offerte- of kennisbank-subdomein, controleer dan ook daar de robots.txt.

robots.txt is een verzoek, geen slot. Crawlers die zich er niet aan houden, lezen gewoon verder. Perplexity schrijft zelf dat Perplexity-User, de fetcher die een pagina ophaalt als een gebruiker erom vraagt, robots.txt in het algemeen negeert omdat de gebruiker het verzoek deed. Vertrouwelijke informatie hoort daarom nooit openbaar online, ook niet in een map die je via robots.txt afschermt.

Bij Next Growth stellen we robots.txt bij elke nieuwe website bewust in en lopen we het na bij livegang, zodat een testblokkade niet per ongeluk blijft staan. De keuze voor of tegen AI-training leggen we bij de eigenaar van de site, met uitleg over de gevolgen.

1. OpenAI: Overview of OpenAI crawlers
2. Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
3. Perplexity: Perplexity Crawlers
4. Google Search Central: Google's common crawlers (Google-Extended)
5. Google Search Central: AI features and your website