AI-automatisaties, SEO & webdesign/Ontvang de gratis checklist

AI & SEO ·

Moet een klein bedrijf AI-crawlers blokkeren? Een gewone robots.txt-gids

Sommige AI-crawlers verzamelen inhoud om AI-modellen te trainen. Andere halen je pagina's op voor AI-zoeken. Dit doet elk van hen, wie best blokkeert en een robots.txt om te kopiëren.

Lees het volledige artikel

Moet je AI-crawlers blokkeren of toelaten? Sommige verzamelen inhoud om AI-modellen te trainen, andere halen je pagina's op voor AI-zoeken. Dit artikel legt uit wat elke crawler doet en wat je er zelf over kunt beslissen. Het hoort bij onze gids over een AI-klare website.

Het zijn aparte dingen, en je stelt ze elk apart in met een klein tekstbestand dat robots.txt heet. Details en een bestand om te kopiëren staan hieronder.

Wil je ook eerlijke gestructureerde data op je pagina's? Lees dan schema markup voor kleine bedrijven.

Wat is robots.txt?

Een tekstbestand in de root van je site, bijvoorbeeld jouwhotel.com/robots.txt. Het zegt crawlers welke delen van je site ze mogen bezoeken. Google omschrijft het als een hulpmiddel om crawlerverkeer te beheren (Google Search Central: inleiding op robots.txt). Het is geen manier om een pagina te verbergen. Google zegt ook dat nette crawlers zich eraan houden, maar dat het geen enkele crawler kan dwingen, en dat andere crawlers het kunnen negeren.

Wat doen de belangrijkste AI-crawlers?

Elk bedrijf publiceert zijn eigen lijst. Dit zeggen hun officiële pagina's.

OpenAI

  • GPTBot crawlt inhoud die gebruikt kan worden om de generatieve AI-modellen van OpenAI te trainen. OpenAI zegt dat GPTBot weigeren aangeeft dat je inhoud daarvoor niet gebruikt mag worden.
  • OAI-SearchBot is voor zoeken. OpenAI zegt dat hij websites toont in de zoekfuncties van ChatGPT. Sites die zich ervoor afmelden, verschijnen niet in ChatGPT-zoekantwoorden, al kunnen ze nog als navigatielink opduiken.
  • ChatGPT-User bezoekt een pagina wanneer iemand ChatGPT iets vraagt. OpenAI zegt dat robots.txt-regels hier mogelijk niet gelden, omdat de gebruiker de actie start.
  • OpenAI zegt dat elke instelling onafhankelijk is. Je kunt OAI-SearchBot toelaten en GPTBot weigeren. Volgens OpenAI kunnen wijzigingen voor zoeken ongeveer 24 uur duren.

Google

  • Googlebot bouwt Google Zoeken. Regels voor Googlebot hebben invloed op Zoeken.
  • Google-Extended is een apart token. Google zegt dat het bepaalt of inhoud die Google crawlt, gebruikt mag worden om toekomstige Gemini-modellen te trainen en voor grounding in Gemini Apps en Grounding with Google Search op Vertex AI. Google zegt dat het geen invloed heeft op de opname van een site in Google Zoeken en geen rankingsignaal is.

Anthropic (Claude)

  • ClaudeBot verzamelt webinhoud die kan bijdragen aan training. Anthropic zegt dat een beperking aangeeft dat je toekomstige inhoud buiten de trainingsdata moet blijven.
  • Claude-User haalt pagina's op wanneer iemand Claude een vraag stelt. Anthropic zegt dat uitzetten je zichtbaarheid voor door gebruikers gestuurd zoeken op het web kan verminderen.
  • Claude-SearchBot helpt de kwaliteit van zoekresultaten te verbeteren. Anthropic zegt dat uitzetten je zichtbaarheid en nauwkeurigheid in zoekresultaten van gebruikers kan verminderen.
  • Anthropic zegt: gebruik robots.txt en blokkeer geen IP-adressen, want dat kan beletten dat de crawler je robots.txt leest. Herhaal de regel ook voor elk subdomein.

Wat blokkeren wel en niet verandert

  • Een trainingscrawler blokkeren (GPTBot, ClaudeBot, Google-Extended) is je manier om te zeggen: "gebruik mijn inhoud niet om je modellen te trainen". OpenAI, Google en Anthropic zeggen dat hun trainingscrawlers zich daaraan houden.
  • Het verandert niet hoe je site in Google Zoeken staat. Google zegt dat Google-Extended daar geen effect heeft. Googlebot is wat telt voor Zoeken, dus blokkeer Googlebot niet.
  • Een zoek- of gebruikerscrawler blokkeren (OAI-SearchBot, Claude-SearchBot, Claude-User) kan je minder zichtbaar maken in de AI-zoekfunctie van dat bedrijf. OpenAI en Anthropic zeggen dat op hun eigen pagina's.
  • Niet bevestigd: we vonden geen officiële pagina die zegt dat een crawler blokkeren je Google-ranking verhoogt of verlaagt, of dat het verandert of je in een AI-antwoord genoemd wordt, buiten wat hierboven staat. Niemand kan je in beide richtingen een vermelding beloven.
  • robots.txt is een verzoek, geen slot. Voor privé-inhoud gebruik je een wachtwoord.

Wie laat best toe, en wie blokkeert?

Dit is onze mening, geen regel van een aanbieder.

  • Hotel, pension of surfcamp: gasten vragen AI-tools waar ze kunnen slapen. Laat de zoek- en gebruikerscrawlers toe. Of je trainingscrawlers toelaat, is jouw keuze. Je kamerpagina's en prijzen zijn toch openbaar. Meer over genoemd worden in deze antwoorden lees je in Niet gevonden in AI-zoekresultaten? Wat een B&B-eigenaar kan doen.
  • Restaurant of café: hetzelfde. Menu, openingsuren en adres wil je correct herhaald zien. Laat de zoekcrawlers toe en zet je menu als tekst, niet alleen als pdf of afbeelding.
  • Lokale winkel of webshop: zijn je productfoto's en beschrijvingen eigen werk en wil je niet dat ze voor training gebruikt worden, dan is de trainingscrawlers blokkeren een redelijke keuze. Laat de zoekcrawlers toe, zodat mensen je nog vinden.
  • Twijfel je: laat de zoekcrawlers toe, blokkeer verder nog niets en kijk er over een paar maanden opnieuw naar. Je kunt het bestand altijd aanpassen.

Een kleine robots.txt om te kopiëren

Dit voorbeeld laat zoek- en gebruikerscrawlers toe en vraagt de trainingscrawlers om weg te blijven. Schrap de regels van crawlers die je wel wilt toelaten.

# Iedereen anders: toegelaten
User-agent: *
Disallow:

# AI-trainingscrawlers: gebruik mijn inhoud niet voor training
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# AI-zoek- en gebruikerscrawlers: toegelaten
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

Sitemap: https://jouwwebsite.com/sitemap.xml

Vervang de sitemap-regel door je eigen adres. Gebruik je WordPress, dan kan een SEO-plugin of de instellingenpagina van je host je dit bestand laten aanpassen. Vraag het aan je webmaster voor je iets wijzigt.

Zo controleer je je eigen bestand

  1. Open jouwwebsite.com/robots.txt in een browser. Je ziet gewone tekst. Krijg je een foutpagina, dan heb je geen bestand en is alles standaard toegelaten.
  2. Zoek Disallow: / onder User-agent: *. Dat blokkeert elke crawler, ook Google. Haal het weg, tenzij je je site echt wilt verbergen.
  3. Check of de namen van de crawlers exact zo gespeld zijn als hierboven.
  4. Open Google Search Console en zoek het robots.txt-rapport. Google toont het bestand dat het vond, fouten en waarschuwingen, en je kunt een nieuwe crawl aanvragen. Volgens de helppagina van Google is het rapport alleen beschikbaar voor domeineigenschappen, of URL-prefixeigenschappen zonder pad.
  5. Kijk naar je host of CDN. Onze ervaring: beveiligingsinstellingen kunnen bots blokkeren voor robots.txt gelezen wordt, en dat zie je niet in het bestand.
  6. Wacht even. OpenAI zegt dat wijzigingen voor zoeken ongeveer 24 uur kunnen duren; bij anderen kan het anders zijn.

Veelgemaakte fouten

  • User-agent: * met Disallow: / laten staan na een herbouw van de site.
  • Googlebot blokkeren terwijl je enkel Google-Extended wilde blokkeren.
  • robots.txt gebruiken om privépagina's te verbergen. Google zegt dat een geblokkeerde URL toch getoond kan worden als andere sites ernaar linken. Gebruik een wachtwoord of een noindex-tag.
  • IP-adressen blokkeren in plaats van robots.txt te gebruiken. Anthropic zegt dat dat kan beletten dat het je regels leest.
  • Subdomeinen vergeten. Elk heeft zijn eigen robots.txt.
  • Een crawlernaam verkeerd typen, waardoor de regel niets doet.
  • Een garantie verwachten. Een geblokkeerde of toegelaten crawler belooft geen ranking of AI-vermelding.

Hulp nodig bij het nakijken van je site?

Bekijk onze dienst AI-zichtbaarheid of vraag een gesprek aan.

Veelgestelde vragen

Haalt GPTBot blokkeren me uit ChatGPT?

OpenAI zegt dat GPTBot voor training is en OAI-SearchBot voor zoeken, en dat elke instelling onafhankelijk is. Alleen GPTBot blokkeren wordt niet beschreven als je uit ChatGPT-zoeken halen. OAI-SearchBot blokkeren wel.

Schaadt Google-Extended blokkeren mijn Google-ranking?

Google zegt van niet: Google-Extended heeft geen effect op de opname in Google Zoeken en is geen rankingsignaal.

Heb ik wel een robots.txt nodig?

Nee. Zonder bestand kunnen crawlers alles bezoeken. Je hebt er alleen een nodig als je crawlers instructies wilt geven.

Kan ik zorgen dat geen enkele AI-tool mijn site ooit leest?

Nee. robots.txt is een verzoek dat nette crawlers volgen. Sommige crawlers negeren het misschien, en bezoeken die een gebruiker start, zoals ChatGPT-User, volgen het volgens OpenAI mogelijk ook niet. Wat echt privé is, hoort achter een wachtwoord.

Twin Fin Studio

Samenwerken?

Vertel ons waar je uren naartoe gaan. We tonen je in een demo wat een assistent van je bord kan halen. Geen verplichting, geen harde verkoop.

Tips, af en toe

AI- en zichtbaarheidstips. Een paar keer per maand.

Praktische ideeën voor horeca en lokale zaken: wat AI van je bureau kan halen, en hoe je gevonden wordt op Google en door AI.

  • Wat AI van je bureau kan halen
  • Gevonden worden op Google en door AI
  • Wat nu werkt, en wat niet
  • Gratis, altijd opzegbaar

Geen spam. Altijd opzegbaar.