Parlons de vos projets, appelez nous

Crawl Budget

Net Offensive

Mise à jour le

Qu’est-ce que le Crawl Budget ?

Chaque site reçoit une « allocation » du nombre de pages qu’un bot de moteur de recherche va parcourir sur ce site. C’est ce que l’on appelle le budget d’exploration ou budget de crawl.

Googlebot fixe une limite au nombre de pages qui seront explorées sur un site afin de ne pas dégrader l’expérience des utilisateurs qui visitent le site. La « limite du taux d’exploration » est le taux maximal d’extraction pour un site donné. Il détermine le nombre de connexions simultanées que le robot Google aura sur un site et la fréquence de crawl entre les récupérations.

Le taux de crawl est déterminé par :

  • La performance du site (vitesse et nombre d’erreurs).
  • La limite fixée dans la console de recherche Google.

La demande de crawl :

Non seulement le taux de crawl est important, mais les exigences de crawl déterminent également le nombre de pages qui seront indexées. La demande est basée sur les visites du site et même si la limite du taux de crawl n’est pas atteinte, il y aura une faible activité de Googlebot, s’il n’y a pas de demande d’indexation.

Il y a deux facteurs principaux qui influencent la demande de crawl :

  • La popularité du site : plus un site reçoit de liens et plus il est visité.
  • La popularité des URL : les URL les plus populaires sont indexées plus souvent pour garantir que les résultats sur Google sont à jour.
  • Modifications et soumissions : les modifications des URL et les soumissions à Google augmentent le nombre de pages explorées

Le budgt de crawl :

Le budget Crawl est donc déterminé par une combinaison du taux de Crawl et de la demande de Crawl.

Google Bot est programmé pour ne pas gaspiller de ressources (temps et calculs) sur des URL à faible valeur ajoutée.

Les facteurs susceptibles de faire baisser le budget Crawl sont donc les suivants :

  • Contenu de mauvaise qualité ou spam.
  • Duplication du contenu.
  • Sites web peu performants et lents.
  • Pages d’erreurs.
  • Pages piratées.

Autres définitions :

Google Search Console

Cache Google

Navigation à facette

Redirection 301

Spamdexing

Articles complémentaires à lire :

Optimisation du Budget de Crawl en référencement

Avez vous aimé cet article ?

Cliquez sur les étoiles pour donner une note

Note moyenne 5 / 5. Nombre de votes : 1

Pas de votes pour le moment, soyez le premier à voter.