Tout savoir sur le fichier robots.txt pour WordPress

Il existe plusieurs techniques pour améliorer le trafic sur votre site internet, qu’il s’agisse de payer pour de la publicité ou une grande campagne de communication sur les réseaux sociaux. Mais, pour optimiser ce trafic et éviter de surcharger votre plateforme, vous aurez besoin de mettre en place un fichier robots.txt. De quoi s’agit-il ? Comment paramétrer le robots.txt sur un site sous WordPress ? Comment l’optimiser ?

Fichier robots.txt : quèsaco ?

Qu’est-ce qu’un fichier robots.txt ?

Afin de faciliter le référencement naturel de votre site internet, vous devez faire en sorte que ses différentes pages soient indexées correctement par les algorithmes des moteurs de recherche, pour qu’elles apparaissent lorsqu’un internaute tape les mots clés correspondants. Mais il peut arriver que certaines parties de votre site soient privées ou en construction. Vous ne voudrez pas alors qu’elles puissent être trouvées par une simple recherche.

C’est là qu’entre en jeu le fichier robots.txt. Placé à la racine de votre site, il vous permet d’autoriser ou non l’indexation de vos pages.

Quelle est son utilité ?

Plus précisément, le fichier robots.txt est destiné aux robots des moteurs de recherche, appelés spiders ou crawlers. Ceux-ci parcourent votre site internet à la recherche de pages à indexer sur leurs serveurs, ce qu’on appelle crawl. Mais avant de faire cela, ils vont chercher ce document et suivre ses instructions. Celles-ci lui indiquent quels registres de votre site sont autorisés à être « lus » et intégrés dans les recherches des internautes, et lesquels ne le sont pas.

Le fichier robots.txt fonctionne ainsi en complément du .htaccess. Vous pouvez y interdire l’accès des spiders à votre librairie contenant le plan intégral de votre site internet ou la page de connexion administrateur. Cela compliquera également  la tâche de toute personne malveillante souhaitant prendre le contrôle de votre plateforme.

Sachez enfin qu’en l’absence d’un robots.txt, les spiders vont lire et indexer l’intégralité de votre site internet, d’où son importance. La plupart des CMS en génèrent un automatiquement lors de la création d’une plateforme, que vous pouvez modifier si vous avez un accès FTP. Pour vérifier sa présence, tapez simplement dans la barre de recherche l’url « monsite.fr/robots.txt ». Si une erreur 404 s’affiche, vous devrez créer votre propre fichier robots.txt.

Comment paramétrer votre fichier robots.txt sur WordPress ?

Sa mise en place

WordPress génère automatiquement un robots.txt virtuel à la création de votre site web. Il s’agit d’un modèle basique, empêchant l’indexation de certaines pages sensibles, que vous ne pouvez pas modifier. Vous devrez alors en créer un vous-même. Pour cela, deux options s’ouvrent à vous.

Créer un robots.txt WordPress manuellement

Si vous avez un accès administrateur à la racine de votre site, vous pouvez créer votre propre robots.txt WordPress en utilisant un simple éditeur de texte comme le bloc-notes. Le titre du fichier doit très exactement être le suivant : « robots.txt ».

Une fois le document créé et rempli, connectez-vous à votre client FTP et ajoutez-le à la racine du site, au même endroit où vous allez placer votre .htaccess. S’il se retrouve dans un sous-répertoire, les spiders des moteurs de recherche ne le prendront pas en compte et exploreront votre site en entier.

Créer un robots.txt WordPress avec un plugin

Pour vous simplifier la vie, mais aussi si vous n’avez pas accès aux registres de votre site, vous pouvez créer et éditer votre robots.txt WordPress à l’aide d’un plugin. Yoast SEO, par exemple, la référence du référencement pour le CMS, vous propose cette fonctionnalité. Depuis votre tableau de bord, il vous suffit de le sélectionner, d’aller dans Outils, puis dans Editeur de fichiers, et choisir la création ou la modification de votre document.

Un simple éditeur de texte s’ouvrira et vous pourrez y écrire ce que vous souhaitez avant de l’enregistrer. Il s’agit d’une solution simple si vous n’avez pas le temps d’extraire puis de retélécharger le fichier à chaque fois que vous voulez le modifier.

À lire aussi : Les 7 plugins indispensables pour WordPress

Robots.txt WordPress : les paramètres de base

Lorsque vous créez votre fichier robots.txt WordPress, vous devez respecter trois règles :

• Le nom du fichier doit être « robots.txt ».
• Les instructions doivent toutes avoir la même syntaxe.
• Une seule instruction par ligne, et toutes les lignes de votre fichier doivent être remplies.

Ces instructions, ou balises, vous indiquent quelles parties de votre site internet peuvent ou non être lues par un robot d’indexation. Il en existe deux principales :

• User-agent, suivie du nom du ou des moteurs de recherche auxquels les règles s’appliquent. Si elle est suivie de « * », alors les directives s’appliquent à tous.
• Disallow, suivie du chemin vers un répertoire ou une page spécifique. Elle vous permet d’interdire la lecture d’une partie de votre site aux robots.

Il existe d’autres instructions utilisées uniquement par certains moteurs de recherche, comme Google et son Googlebot. Ainsi, « Allow » autorise spécifiquement la lecture d’un registre.

Tester votre fichier robot.txt

Pour être certain que votre fichier robots.txt WordPress fonctionne bien, n’attendez pas de retrouver vos pages privées au détour d’une simple recherche. Il existe des outils vous permettant de le valider. Ainsi, la Google Search Console vous propose de vérifier la syntaxe et l’agencement de votre document avant de l’envoyer sur votre serveur. Gratuit et très simple d’utilisation, nous ne pouvons que vous le conseiller.

Enfin, faites bien attention à ne pas faire un simple copier-coller du fichier d’un autre site internet. Vous n’avez très certainement pas les mêmes registres à protéger. Il existe toutefois quelques dossiers à intégrer dans votre document, comme /wp-admin, /wp-content/plugins ou encore /wp-login.php.

Le fichier robots.txt est essentiel pour tout site internet, quel qu’il soit. Grâce à WordPress, vous pouvez le modifier simplement comme vous le souhaitez, pour protéger vos dossiers au mieux. Faites toutefois attention à bien le personnaliser et à vérifier qu’il fonctionne correctement grâce aux outils à votre disposition.