Ajouter le fichier robots.txt à Blogger pour booster le référencement de votre blog

Le fichier robots.txt fournit un ensemble d'instructions permettant aux robots des moteurs de recherche de créer plus facilement un plan du site et de déterminer quelles pages doivent être affichées dans les résultats de recherche. Sans ce fichier, les moteurs de recherche indexeront tout le contenu, même les parties/pages que vous souhaitez masquer.

Les instructions de ce fichier sont assez claires et faciles à créer, le fichier robots.txt consiste seulement en une ou plusieurs règles pour bloquer ou autoriser l'exploration de pages spécifiées, ce fichier peut également être utilisé pour bloquer les robots malveillants qui peuvent avoir un impact négatif sur les performances du site.

Analysons ensemble le fichier Robots.txt créé par défaut dans Blogger

Pour créer un fichier robots.txt personnalisé. Tout d'abord, nous devons comprendre la structure d'un blog et analyser le fichier robots.txt généré par défaut.

Ce fichier ressemble à ceci :

User-agent: *
Allow: /
Disallow: /search

Sitemap: https:// votre-site.blogspot.com/sitemap.xml

Exemple avec plus d'une instruction de blocage :

User-agent : *
Autoriser : /
Disallow : /search
Refus : /p/contact.html
Disallow : /2023/02/post_title.html

Plan du site : https:// votre-site.blogspot.com/sitemap.xml

• User-agent, le nom du robot du moteur de recherche. Écrire * pour spécifier des règles qui s'appliquent à tous les types de user-agents.
• Allow, tous les user-agents sont autorisés à explorer l'ensemble du site. Ce paramètre peut être omis, car, par défaut, les agents utilisateurs sont autorisés à explorer l'ensemble de la page.
• Disallow, interdit ou bloque l'exploration de pages spécifiques par les agents utilisateurs. Dans l'exemple ci-dessus, l'agent utilisateur n'est pas autorisé à explorer les URL commençant par https://votre-site.blogspot.com/search.
• Sitemap, indique à l'agent utilisateur où se trouve le sitemap, à remplacer par l'URL de votre site.

Il s'agit d'un fichier presque parfait pour contrôler les robots des moteurs de recherche et fournir des instructions sur les pages à explorer. Veuillez noter que ce qui est autorisé à être exploré ne garantit pas que toutes vos pages seront indexées.

Ajouter un fichier robots.txt personnalisé dans les paramètres Blogger

1. Suivez ce guide pour activer le fichier robots.txt
2. Dans votre tableau de bord Blogger, allez dans Paramètres.
3. Faites défiler vers le bas jusqu'à ce que vous trouviez le groupe Robots d'exploration et indexation.
4. Cliquez sur le bouton basculant Activer le fichier robots.txt.
5. Collez le nouveau fichier robots.txt dans le champ robots.txt personnalisé, vous pouvez copier l'un des fichiers d'exemple ci-dessus.
6. Veillez à vérifier immédiatement les modifications apportées au fichier robots.txt en ajoutant /robots.txt à la fin de l'URL de votre blog, par exemple : https:// votre-site.blogspot.com/robots.txt