AgentKeurBot

versie 1.0 · 20 september 2026

AgentKeurBot is de crawler van agentkeur.nl. Hij bezoekt een website alleen wanneer iemand die website op agentkeur.nl laat keuren, en leest dan maximaal twaalf openbare pagina's (homepage, over, contact, diensten, tarieven, veelgestelde vragen).

User-agent AgentKeurBot/1.0 (+https://agentkeur.nl/bot)

Gedrag

  • Respecteert robots.txt (regels voor AgentKeurBot en voor *) en het TDM-voorbehoud.
  • Maximaal 12 pagina's, maximaal 1 MB per pagina, korte tijdsduur (enkele seconden), geen herhaalde bezoeken binnen 24 uur.
  • Voert geen JavaScript uit en logt niet in.
  • Bewaart de inhoud van je pagina's niet; wij bewaren alleen afgeleide kenmerken (bedrijfsnaam, categorie, plaats, technische instellingen).

Blokkeren Wil je niet dat wij je site keuren, dan kun je in robots.txt opnemen:

User-agent: AgentKeurBot
Disallow: /

Of gebruik het formulier op agentkeur.nl/optout; dan sluiten wij je domein permanent uit, ongeacht wie de keuring aanvraagt.

Contact bot@agentkeur.nl

Welke crawlers wij op agentkeur.nl toelaten

Andersom laten wij de crawlers van zoekmachines en AI-diensten toe op onze eigen site, ook die voor training: we willen dat zoekmachines en AI-modellen weten wat AgentKeur is, en onze pagina's zijn openbaar. Dit staat zo in onze robots.txt:

  • Googlebot (Google): Google Zoeken, ook de AI-overzichten en de AI-modus
  • Bingbot (Microsoft): Bing en Copilot
  • OAI-SearchBot (OpenAI): de zoekfunctie van ChatGPT
  • ChatGPT-User (OpenAI): een pagina die ChatGPT op verzoek van een gebruiker opent
  • GPTBot (OpenAI): training van de modellen van OpenAI
  • PerplexityBot (Perplexity): de zoekindex van Perplexity
  • Perplexity-User (Perplexity): een pagina die Perplexity op verzoek van een gebruiker opent
  • Claude-SearchBot (Anthropic): de zoekfunctie van Claude
  • Claude-User (Anthropic): een pagina die Claude op verzoek van een gebruiker opent
  • ClaudeBot (Anthropic): training van de modellen van Anthropic
  • Google-Extended (Google): gebruik door Gemini en training van de modellen van Google (geen aparte crawler, een robots.txt-token)
  • CCBot (Common Crawl): het open webarchief waar veel modellen op trainen

Uitgesloten voor alle crawlers: /api/ /keuring/ /bevestigen/ /optout/bevestigen/ /herhaalmeting/ (de API, de rapporten van keuringen en de pagina's met een persoonlijke link).