Support du fichier sitemap.xml dans robots.txt

Les trois géants de la recherche sur Internet, Google, Yahoo ! et Microsoft se sont mis d'accord il y a quelques temps pour supporter le même protocole Sitemap.

Une nouvelle entrée vient d'être ajoutée dans le fichier robots.txt.

Cette nouvelle entrée du fichier robots.txt permet de préciser où se trouve le fichier sitemap.xml, que l'on soumet habituellement auprès de Google Webmaster Tools.

Il suffit d'indiquer:

Sitemap: http://www.mysite.com/sitemap.xml

dans le fichier robots.txt.

Google ne précise cependant pas si cette entrée du fichier robots.txt doit être positionnée pour chaque moteur de recherche ou si elle peut résider dans la section générique:

User-agent: *

Personnellement, je préfère utiliser une entrée par moteur de recherche plus une entrée dans la section générique, car les crawlers ne lisent généralement pas la suite du fichier robots.txt lorsqu'ils ont trouvé la section qui leur correspond.

Par ailleurs, on a appris que le moteur de recherche Ask supporte désormais lui aussi le protocole Sitemap.