Devenir le leader sur internet
Nous développons votre présence et valorisons votre image sur internet.
Je veux être une référence sur internet

Crawler

Net Offensive

Mise à jour le

Qu’est-ce qu’un crawler ?

Le terme crawler désigne un programme informatique conçu pour rechercher sur Internet et analyser des sites Web. Les termes robot d’indexation, araignée ou moteur de recherche sont également utilisés comme synonymes pour les robots d’indexation. Pour Google, le robot s’appelle Google Bot.

Comparables aux internautes, les robots d’exploration se déplacent sur Internet en utilisant des hyperliens pour passer d’un site Web à l’autre. Les moteurs de recherche adoptent notamment la fonction de crawlers pour maintenir l’index et ainsi trier les sites Internet selon certains critères pour certains termes de recherche.

Les liens marqués de l’attribut NoFollow sont ignorés par Google Bot.

En plus de cette fonction, les robots d’exploration peuvent également être utilisés pour d’autres fonctions comme récupérer des informations sur des sites (mails, données…).

Autres définitions :

Crawl budget

Moteur de recherche

Search Console

User agent

Articles complémentaires à lire :

Quel est le processus d’indexation et de référencement d’un site web sur Google ?

Avez vous aimé cet article ?

Cliquez sur les étoiles pour donner une note

Note moyenne 5 / 5. Nombre de votes : 1

Pas de votes pour le moment, soyez le premier à voter.