Moet je AI-crawlers blokkeren of toelaten? Sommige verzamelen inhoud om AI-modellen te trainen, andere halen je pagina's op voor AI-zoeken. Dit artikel legt uit wat elke crawler doet en wat je er zelf over kunt beslissen. Het hoort bij onze gids over een AI-klare website.
Het zijn aparte dingen, en je stelt ze elk apart in met een klein tekstbestand dat robots.txt heet. Details en een bestand om te kopiëren staan hieronder.
Wil je ook eerlijke gestructureerde data op je pagina's? Lees dan schema markup voor kleine bedrijven.
Wat is robots.txt?
Een tekstbestand in de root van je site, bijvoorbeeld jouwhotel.com/robots.txt. Het zegt crawlers welke delen van je site ze mogen bezoeken. Google omschrijft het als een hulpmiddel om crawlerverkeer te beheren (Google Search Central: inleiding op robots.txt). Het is geen manier om een pagina te verbergen. Google zegt ook dat nette crawlers zich eraan houden, maar dat het geen enkele crawler kan dwingen, en dat andere crawlers het kunnen negeren.
Wat doen de belangrijkste AI-crawlers?
Elk bedrijf publiceert zijn eigen lijst. Dit zeggen hun officiële pagina's.
- GPTBot crawlt inhoud die gebruikt kan worden om de generatieve AI-modellen van OpenAI te trainen. OpenAI zegt dat GPTBot weigeren aangeeft dat je inhoud daarvoor niet gebruikt mag worden.
- OAI-SearchBot is voor zoeken. OpenAI zegt dat hij websites toont in de zoekfuncties van ChatGPT. Sites die zich ervoor afmelden, verschijnen niet in ChatGPT-zoekantwoorden, al kunnen ze nog als navigatielink opduiken.
- ChatGPT-User bezoekt een pagina wanneer iemand ChatGPT iets vraagt. OpenAI zegt dat robots.txt-regels hier mogelijk niet gelden, omdat de gebruiker de actie start.
- OpenAI zegt dat elke instelling onafhankelijk is. Je kunt OAI-SearchBot toelaten en GPTBot weigeren. Volgens OpenAI kunnen wijzigingen voor zoeken ongeveer 24 uur duren.
- Googlebot bouwt Google Zoeken. Regels voor Googlebot hebben invloed op Zoeken.
- Google-Extended is een apart token. Google zegt dat het bepaalt of inhoud die Google crawlt, gebruikt mag worden om toekomstige Gemini-modellen te trainen en voor grounding in Gemini Apps en Grounding with Google Search op Vertex AI. Google zegt dat het geen invloed heeft op de opname van een site in Google Zoeken en geen rankingsignaal is.
- ClaudeBot verzamelt webinhoud die kan bijdragen aan training. Anthropic zegt dat een beperking aangeeft dat je toekomstige inhoud buiten de trainingsdata moet blijven.
- Claude-User haalt pagina's op wanneer iemand Claude een vraag stelt. Anthropic zegt dat uitzetten je zichtbaarheid voor door gebruikers gestuurd zoeken op het web kan verminderen.
- Claude-SearchBot helpt de kwaliteit van zoekresultaten te verbeteren. Anthropic zegt dat uitzetten je zichtbaarheid en nauwkeurigheid in zoekresultaten van gebruikers kan verminderen.
- Anthropic zegt: gebruik robots.txt en blokkeer geen IP-adressen, want dat kan beletten dat de crawler je robots.txt leest. Herhaal de regel ook voor elk subdomein.
Wat blokkeren wel en niet verandert
- Een trainingscrawler blokkeren (GPTBot, ClaudeBot, Google-Extended) is je manier om te zeggen: "gebruik mijn inhoud niet om je modellen te trainen". OpenAI, Google en Anthropic zeggen dat hun trainingscrawlers zich daaraan houden.
- Het verandert niet hoe je site in Google Zoeken staat. Google zegt dat Google-Extended daar geen effect heeft. Googlebot is wat telt voor Zoeken, dus blokkeer Googlebot niet.
- Een zoek- of gebruikerscrawler blokkeren (OAI-SearchBot, Claude-SearchBot, Claude-User) kan je minder zichtbaar maken in de AI-zoekfunctie van dat bedrijf. OpenAI en Anthropic zeggen dat op hun eigen pagina's.
- Niet bevestigd: we vonden geen officiële pagina die zegt dat een crawler blokkeren je Google-ranking verhoogt of verlaagt, of dat het verandert of je in een AI-antwoord genoemd wordt, buiten wat hierboven staat. Niemand kan je in beide richtingen een vermelding beloven.
- robots.txt is een verzoek, geen slot. Voor privé-inhoud gebruik je een wachtwoord.
Wie laat best toe, en wie blokkeert?
Dit is onze mening, geen regel van een aanbieder.
- Hotel, pension of surfcamp: gasten vragen AI-tools waar ze kunnen slapen. Laat de zoek- en gebruikerscrawlers toe. Of je trainingscrawlers toelaat, is jouw keuze. Je kamerpagina's en prijzen zijn toch openbaar. Meer over genoemd worden in deze antwoorden lees je in Niet gevonden in AI-zoekresultaten? Wat een B&B-eigenaar kan doen.
- Restaurant of café: hetzelfde. Menu, openingsuren en adres wil je correct herhaald zien. Laat de zoekcrawlers toe en zet je menu als tekst, niet alleen als pdf of afbeelding.
- Lokale winkel of webshop: zijn je productfoto's en beschrijvingen eigen werk en wil je niet dat ze voor training gebruikt worden, dan is de trainingscrawlers blokkeren een redelijke keuze. Laat de zoekcrawlers toe, zodat mensen je nog vinden.
- Twijfel je: laat de zoekcrawlers toe, blokkeer verder nog niets en kijk er over een paar maanden opnieuw naar. Je kunt het bestand altijd aanpassen.
Een kleine robots.txt om te kopiëren
Dit voorbeeld laat zoek- en gebruikerscrawlers toe en vraagt de trainingscrawlers om weg te blijven. Schrap de regels van crawlers die je wel wilt toelaten.
# Iedereen anders: toegelaten
User-agent: *
Disallow:
# AI-trainingscrawlers: gebruik mijn inhoud niet voor training
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
# AI-zoek- en gebruikerscrawlers: toegelaten
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
Sitemap: https://jouwwebsite.com/sitemap.xml
Vervang de sitemap-regel door je eigen adres. Gebruik je WordPress, dan kan een SEO-plugin of de instellingenpagina van je host je dit bestand laten aanpassen. Vraag het aan je webmaster voor je iets wijzigt.
Zo controleer je je eigen bestand
- Open
jouwwebsite.com/robots.txtin een browser. Je ziet gewone tekst. Krijg je een foutpagina, dan heb je geen bestand en is alles standaard toegelaten. - Zoek
Disallow: /onderUser-agent: *. Dat blokkeert elke crawler, ook Google. Haal het weg, tenzij je je site echt wilt verbergen. - Check of de namen van de crawlers exact zo gespeld zijn als hierboven.
- Open Google Search Console en zoek het robots.txt-rapport. Google toont het bestand dat het vond, fouten en waarschuwingen, en je kunt een nieuwe crawl aanvragen. Volgens de helppagina van Google is het rapport alleen beschikbaar voor domeineigenschappen, of URL-prefixeigenschappen zonder pad.
- Kijk naar je host of CDN. Onze ervaring: beveiligingsinstellingen kunnen bots blokkeren voor robots.txt gelezen wordt, en dat zie je niet in het bestand.
- Wacht even. OpenAI zegt dat wijzigingen voor zoeken ongeveer 24 uur kunnen duren; bij anderen kan het anders zijn.
Veelgemaakte fouten
User-agent: *metDisallow: /laten staan na een herbouw van de site.- Googlebot blokkeren terwijl je enkel Google-Extended wilde blokkeren.
- robots.txt gebruiken om privépagina's te verbergen. Google zegt dat een geblokkeerde URL toch getoond kan worden als andere sites ernaar linken. Gebruik een wachtwoord of een noindex-tag.
- IP-adressen blokkeren in plaats van robots.txt te gebruiken. Anthropic zegt dat dat kan beletten dat het je regels leest.
- Subdomeinen vergeten. Elk heeft zijn eigen robots.txt.
- Een crawlernaam verkeerd typen, waardoor de regel niets doet.
- Een garantie verwachten. Een geblokkeerde of toegelaten crawler belooft geen ranking of AI-vermelding.
Hulp nodig bij het nakijken van je site?
Bekijk onze dienst AI-zichtbaarheid of vraag een gesprek aan.