Générateur Robots.txt

Créez un fichier robots.txt optimisé pour contrôler l'accès des crawlers IA et des moteurs de recherche traditionnels à votre site web.

Qu'est-ce que robots.txt ?

Le fichier robots.txt est un fichier standard qui permet aux propriétaires de sites web de communiquer avec les crawlers des moteurs de recherche et des modèles de langage (LLMs) comme ChatGPT, Gemini, Claude et Perplexity.

Le fichier robots.txt vous permet de :

  • Autoriser ou bloquer l'accès à certaines parties de votre site
  • Contrôler l'indexation par les crawlers IA (GPTBot, Google-Extended, CCBot, etc.)
  • Spécifier les pages à indexer ou à ignorer
  • Indiquer l'emplacement de votre sitemap
  • Configurer les délais de crawl pour protéger vos serveurs

Pourquoi utiliser notre générateur ?

Notre outil crée un fichier robots.txt optimisé et conforme aux meilleures pratiques GEO.

Optimisé pour les Crawlers IA
Générez un fichier robots.txt qui inclut les règles pour les crawlers IA modernes (GPTBot, Google-Extended, CCBot, Claude-Web, PerplexityBot).
Contrôle d'Accès Complet
Définissez précisément quelles parties de votre site les crawlers peuvent ou ne peuvent pas indexer.
Sitemap Intégré
Incluez automatiquement la référence à votre sitemap pour faciliter l'indexation de votre site.
Prêt à l'Emploi
Copiez le fichier généré et ajoutez-le à la racine de votre site en quelques secondes.

Comment ça marche ?

1

Entrez votre URL

Saisissez l'URL de votre site web. Nous analyserons son contenu pour générer un fichier optimisé.

2

Personnalisez

Ajoutez des informations supplémentaires sur les pages à bloquer ou autoriser, sitemap, etc.

3

Téléchargez

Copiez le fichier généré et ajoutez-le à la racine de votre site (votresite.com/robots.txt).

Structure du fichier robots.txt

Voici un exemple de la structure générée par notre outil.

robots.txt
# robots.txt pour exemple.com
# Généré par mention.ma

# Règles pour tous les crawlers
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/
Disallow: /api/

# Crawlers IA - Autoriser l'accès
User-agent: GPTBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: CCBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: PerplexityBot
Allow: /

# Sitemap
Sitemap: https://exemple.com/sitemap.xml
FAQs

Questions fréquemment posées

Des réponses claires pour prendre en main la plateforme rapidement.

Le GEO (Generative Engine Optimization), ou AEO (Answer Engine Optimization), consiste à améliorer la visibilité d'une marque dans les réponses générées par les intelligences artificielles telles que ChatGPT, Gemini, Claude, Perplexity et autres.

Arrière-plan de la section appel à l'action de mention.ma, plateforme GEO pour mesurer la visibilité de votre marque dans ChatGPT, Gemini et Perplexity

Votre marque est-elle visible dans les réponses IA ?

Rejoignez les entreprises qui mesurent et améliorent leur présence sur les IAs grâce à mention.ma

Commencer gratuitement