Blogger et le fichier robots.txt

Blogger et le fichier robots.txt

Depuis mars 2012, dans le pack SEO de Blogger, on retrouve l'option qui permet aux administrateurs de blogs, de personnaliser le fichier robots.txt.

Qu'est-ce que le fichier robots.txt ?

Un fichier robots.txt est un fichier enregistré au format texte qui indique aux robots des moteurs de recherche qui explorent le web d'accéder à votre blog.

Ces robots sont automatisés et, avant d'accéder aux pages de votre blog, ils vérifient le contenu du fichier robots.txt qui leur interdit d'accéder à certaines pages...
Ce fichier permet également d'indiquer aux moteurs, l'adresse du fichier sitemap.xml du blog.



Où se trouve le fichier robots.txt de votre blog ?

Tous les blogs Blogger possèdent un fichier robots.txt qui est hébergé à la racine de votre blog à cette adresse :

https://NOM_BLOG.blogspot.com/robots.txt

Par défaut, Blogger génère le contenu qui interdit aux robots d'explorer les pages de recherche du blog.

Lorsque vous autorisez l'exploration de votre blog aux moteurs, le fichier rajoutera le plan de site XML.


Fichier généré lorsque l'exploration du blog est refusée aux robots
User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Disallow: /

User-Agent: googlebot
Disallow: /search
Allow: /
Fichier généré lorsque l'exploration du blog est autorisée aux robots
User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://BLOG_NAME.blogspot.com/sitemap.xml


Réglages depuis l'interface Blogger et Outils pour les webmasters

La modification de ce fichier s'effectue depuis l'interface Blogger.

  • UI-2020
  • Paramètres
  • Robots d'exploration et indexation
  • Activer le fichier robots.txt personnalisé (OUI)
  • Fichier robots.txt personnalisé

N'ignorez pas l'avertissement émit par Blogger :

Veillez à utiliser cette fonction avec prudence. Une utilisation incorrecte peut amener les moteurs de recherche à ignorer votre blog.


Donc, en résumé, si vous n'y connaissez rien, Pas touche ! ;)

Le fichier robots.txt dans l'interface Blogger
Capture UI-2010

Si vous ne modifiez pas le fichier, et que vous laissez sur NON, le contenu du fichier sera généré automatiquement par Blogger (voir plus haut).

Si vous cliquez sur OUI et que vous enregistrez un document vide, vous indiquez aux moteurs de recherche qu'ils peuvent explorer et indexer toutes les pages de votre blog (déconseillé).

Si vous cliquez sur OUI et que vous souhaitez ajouter des nouvelles instructions, référez-vous aux explications fournies dans le centre d'aide pour webmasters.

Dès que vous aurez enregistré le nouveau contenu du fichier, celui-ci sera automatiquement mis en ligne.

Sur Outils pour webmasters, le fichier s'affichera tel que vous l'avez écrit, après quelques heures de patience.

  • Outils pour webmasters
  • Exploration
  • Outil de test du fichier robots.txt
Capture Ancien UI Outils pour Webmasters
Le fichier robots.txt sur Outils pour webmasters


Autres éléments SEO

Retourner à l'introduction

Spotlight

Populaires cette semaine

Ajouter des boutons à la barre de partage Blogger