Générateur Robots.txt
Créez un fichier robots.txt optimisé pour contrôler l'accès des crawlers IA et des moteurs de recherche traditionnels à votre site web.
Qu'est-ce que robots.txt ?
Le fichier robots.txt est un fichier standard qui permet aux propriétaires de sites web de communiquer avec les crawlers des moteurs de recherche et des modèles de langage (LLMs) comme ChatGPT, Gemini, Claude et Perplexity.
Le fichier robots.txt vous permet de :
- Autoriser ou bloquer l'accès à certaines parties de votre site
- Contrôler l'indexation par les crawlers IA (GPTBot, Google-Extended, CCBot, etc.)
- Spécifier les pages à indexer ou à ignorer
- Indiquer l'emplacement de votre sitemap
- Configurer les délais de crawl pour protéger vos serveurs
Pourquoi utiliser notre générateur ?
Notre outil crée un fichier robots.txt optimisé et conforme aux meilleures pratiques GEO.
Comment ça marche ?
Entrez votre URL
Saisissez l'URL de votre site web. Nous analyserons son contenu pour générer un fichier optimisé.
Personnalisez
Ajoutez des informations supplémentaires sur les pages à bloquer ou autoriser, sitemap, etc.
Téléchargez
Copiez le fichier généré et ajoutez-le à la racine de votre site (votresite.com/robots.txt).
Structure du fichier robots.txt
Voici un exemple de la structure générée par notre outil.
# robots.txt pour exemple.com # Généré par Mention.ma # Règles pour tous les crawlers User-agent: * Allow: / Disallow: /admin/ Disallow: /private/ Disallow: /api/ # Crawlers IA - Autoriser l'accès User-agent: GPTBot Allow: / User-agent: Google-Extended Allow: / User-agent: CCBot Allow: / User-agent: anthropic-ai Allow: / User-agent: Claude-Web Allow: / User-agent: PerplexityBot Allow: / # Sitemap Sitemap: https://exemple.com/sitemap.xml
Prêt à optimiser votre visibilité IA ?
Créez votre fichier robots.txt gratuitement et améliorez le contrôle de l'indexation de votre site. Pour un suivi continu, créez un compte Mention.ma.