Définition d’un crawler de moteur de recherche
Le terme crawler désigne un programme informatique conçu pour rechercher sur Internet et analyser des sites Web pour l’indexation des contenus sur Google. Les termes robot d’indexation, araignée ou moteur de recherche sont également utilisés comme synonymes pour les robots d’indexation. Pour Google, le robot s’appelle Google Bot.
L’user Agent de Googlebot se présente souvent ainsi : Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Comparables aux internautes, les robots d’exploration se déplacent sur Internet en utilisant des hyperliens pour passer d’un site Web à l’autre. Les moteurs de recherche adoptent notamment la fonction de crawlers pour maintenir l’index et ainsi trier les sites Internet selon certains critères pour certains termes de recherche.
Les liens marqués de l’attribut NoFollow sont ignorés par Google Bot.
En plus de cette fonction, les robots d’exploration peuvent également être utilisés pour d’autres fonctions comme récupérer des informations sur des sites (mails, données…).
