Entrées Sitemap et Crawl-delay dans le fichier robots.txt

Les Entrées 'Sitemap' et 'Crawl-delay' du fichier robots.txt permettent respectivement de spécifier auprès d'un moteur de recherche le fichier sitemap.xml du site et le délai minimal entre deux crawls successifs.

Je viens de me rendre compte que ces deux entrées dans robots.txt sont globales à tous les moteurs de recherche (entrée 'User-agent' de robots.txt).

En tous cas, c'est ce que me signale l'interface de Google Outils pour Webmasters.

Pour l'entrée 'Sitemap', cela parait logique, dans la mesure ou l'on ne va pas décliner des Sitemaps différents selon le moteur dont il s'agit.

Par contre, il est suprenant que l'entrée 'Crawl-delay' soit globale à tous les bots, parce que l'on peut vouloir limiter la fréquence de passage d'un moteur par rapport à un autre.

On pourra consulter le fichier robots.txt suivant pour en savoir plus.