OpenAI fait tourner GPTBot pour les données d'entraînement et OAI-SearchBot pour les sources de la recherche de ChatGPT ; Anthropic, ClaudeBot ; Perplexity, PerplexityBot ; Google utilise Google-Extended comme interrupteur pour l'entraînement, tandis que son robot de recherche, Googlebot, alimente aussi les AI Overviews et l'AI Mode. Chacun publie son user agent et ses plages d'adresses.
Un site qui bloque OAI-SearchBot ne peut pas être cité par la recherche de ChatGPT ; un site qui bloque Googlebot disparaît de Google tout entier. Beaucoup de sites ont bloqué GPTBot en 2023 pour rester hors des données d'entraînement sans voir que les robots de recherche sont distincts. Le fichier robots.txt est l'endroit où cela se décide, robot par robot.