Identifier les robots et leurs usages
Les éditeurs d’assistants IA peuvent exploiter plusieurs robots pour des usages distincts : exploration liée à la recherche, entraînement ou récupération ponctuelle. Les noms et comportements évoluent ; consultez leurs documentations officielles avant de modifier vos règles.
Une autorisation robots.txt ne garantit pas qu’une URL sera explorée, indexée ou citée.
Exemple de règle
Le fichier robots.txt permet d’indiquer des préférences d’exploration à des agents qui respectent ce protocole. Exemple de syntaxe générale :
User-agent: *
Disallow: /espace-prive/Cette règle concerne les chemins d’exploration ; elle ne protège pas des données confidentielles. Utilisez une authentification et des contrôles d’accès pour les contenus sensibles.
Vérifier avant de publier
Inventoriez les directives existantes, les ressources indispensables au rendu et les éventuels blocages hérités. Testez ensuite les réponses HTTP, les balises meta robots et la disponibilité des pages importantes.
Conservez un historique des changements pour distinguer les effets d’une règle robots.txt de ceux d’autres évolutions techniques.