Bien construire son fichier robots.txt
Le fichier robots.txt est un fichier au format texte, placé à la racine d’un site web
Interrogé par les robots des moteurs de recherche, il leur donne les instructions à faire ou ne pas faire sur votre site web.
Il est donc important de bien guider les robots pour qu’ils visitent les pages que vous les autorisez à voir, et qu’ils n’aillent pas voir les pages que seul vous voulez voir.
Pour autoriser les robots des moteurs de recherche à indexer votre site :
Insérer ces 2 lignes dans votre fichier robots.txt :
User-agent: *
Disallow:
User-agent: * signifie que vous donnez l’accès à tous les robots des moteurs de recherche.
Disallow: indique les pages, repertoire à bloquer. Ici rien est à bloquer comme rien est spécifié.
Un fichier robots.txt vide ou inexistant aura une conséquence identique.
Pour interdire totalement ou partiellement l’accès à votre site web :
Interdire à tous les robots de visiter votre site :
Insérer ces 2 lignes :
User-agent: *
Disallow: /
Interdire aux robots de visiter une page :
User-agent: *
Disallow: toto.html
Interdire aux robots de visiter le contenu d’un répertoire :
User-agent: *
Disallow: /perso
Pour interdire à certains et autoriser à d’autres :
User-agent: *
Disallow: /
User-agent: googlebot
Disallow:
Dans ce cas le robot de Google à tous les droits de visite sur votre site et les autres ne peuvent rien voir.
Localisation du fichier sitemap.xml :
Pour faire connaître la localisation de votre fichier sitemap vous pouvez rajouter cette ligne dans votre fichier robots.txt :
site: http://www.votresite.com/sitemap.xml
+ d’infos sur le fichier sitemap.xml ici
Si vous ne voulez pas vous prendre la tête avec ce fichier important ou avait peur de vous louper, vous pouvez utiliser des générateurs de robots.txt en ligne. En voici une petite liste :
http://outils.enaty.com/outils/generateur-robots.php
http://www.mcanerin.com/en/search-engine/robots-txt.asp
http://www.seochat.com/seo-tools/robots-generator/
et bien d’autres…
Même Google propose un outil de génération de robots.txt via GWT (https://www.google.com/webmasters/tools/)
Pour finir, vous pouvez doubler vos interdictions, par le biais de la balise <meta name= »robots » content= »noindex, nofollow »> par exemple dans les pages que vous ne souhaitez pas voir apparaitre.
