SeoGeoMap
Mon projet
SEO technique

robots.txt : qu'est-ce que c'est ?

Mis à jour le 6 novembre 2026

robots.txt est le fichier texte à la racine d'un site qui dit aux robots d'exploration quelles parties ils peuvent récupérer, robot par robot. Les robots honnêtes le respectent ; ce n'est pas une mesure de sécurité.

Le fichier nomme un user agent et liste les chemins qu'il est autorisé ou non à récupérer. Depuis 2023, c'est aussi là qu'un site décide quels robots d'IA il accepte : GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot et Google-Extended lisent chacun leur section. Un site qui veut être cité par les assistants y autorise leurs robots de recherche.

robots.txt bloque la récupération, pas l'indexation : une page bloquée peut encore apparaître dans les résultats si d'autres sites la lient, affichée sans description. Pour tenir une page hors de l'index, laissez-la s'explorer et ajoutez une règle noindex. Les erreurs dans ce fichier sont la façon la plus rapide de disparaître de la recherche, donc chaque changement mérite un test.

Questions fréquentes

robots.txt est-il la même chose que noindex ?

Non. robots.txt empêche le robot de lire une page ; noindex le laisse la lire et lui demande de ne pas la lister. Une page bloquée dans robots.txt ne peut pas montrer son noindex, donc les deux ne se combinent pas.

Bloquer GPTBot tient-il un site hors des réponses de ChatGPT ?

Non. GPTBot collecte des données d'entraînement ; la recherche de ChatGPT cite les pages récupérées par OAI-SearchBot. Bloquer l'un et autoriser l'autre garde le site citable et hors de l'entraînement.

Termes associés

AI crawlers (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot)

AI crawlers are the robots the assistant companies use to read websites, either to train models or to fetch sources for answers. Each has a name a site can allow or block in robots.txt.

Crawling

Crawling is the way a search engine discovers and reads pages: a robot follows links and sitemaps, fetches each page, and hands its content to indexing. What the crawler cannot reach does not exist for the engine.

llms.txt

llms.txt is a proposed text file placed at the root of a site to give AI assistants a short, curated guide to its content. It is a convention, not a standard that engines have committed to reading.

Retour aux définitions