Comprendre le fonctionnement d’un moteur de recherche
Les moteurs de recherche comme Google fonctionnent en parcourant des centaines de milliards de pages à l’aide de leurs propres crawlers. Ces crawlers sont communément appelés « robots » ou « araignées ».
Il navigue sur le web en téléchargeant des pages et en suivant des liens sur ces pages pour découvrir les nouvelles pages qui ont été mises à disposition.
Pour comprendre le référencement naturel et le processus de découverte et de classement d’un site internet dans les résultats, il est important de comprendre comment fonctionne un moteur de recherche.
Ils explorent des centaines de milliards de pages à l’aide de leurs propres robots d’indexation. Ces crawlers naviguent sur le Web en téléchargeant le contenu des pages et en suivant les liens sur ces pages, de page en page et de site en site.
Que se passe-t-il cependant lorsque vous tapez une requête et cliquez sur Rechercher ? Comment fonctionnent-ils en interne et comment décident-ils quoi afficher et dans quel ordre ?
En comprenant son fonctionnement, vous pourrez plus facilement comprendre les règles d’optimisation SEO (Qu’est ce que le référencement sur Google).
Table des matières
Qu’est-ce qu’un moteur de recherche ?
Un moteur de recherche est un logiciel, généralement accessible sur Internet, qui collecte et organise les contenus qu’il trouve. Les éléments récupérés peuvent être des textes, des images, des fichiers audio ou des fichiers vidéo…
L’ensemble de ces données collectées sont ensuite analysées et classées pour être restituées selon des critères propres à chaque moteur de recherche, dans le but de proposer les réponses les plus pertinents possible.
Ils font maintenant partie intégrante de notre vie quotidienne et sont utilisés chaque jour pour chercher de l’information, trouver des produits, effectuer des requêtes locales… Aujourd’hui, il en existe de nombreux et différents disponibles, chacun avec leurs propres capacités et fonctionnalités.
Les 5 plus grands moteurs de recherche au niveau mondial
Google écrase le top mondial avec environ 93 % de part de marché
- Bing
- Yahoo
- Yandex
- Baidu
Les 5 plus grands moteurs en France
Google domine également le classement français avec environ 93 % de part de marché
- Bing
- Yahoo
- Ecosia
- Qwant
- DuckDuckGo
Comment fonctionne un moteur de recherche ?
Avant même de vous permettre de saisir une requête et de rechercher sur le Web, les moteurs de recherche doivent réaliser de nombreuses opérations pour qu’il soi en mesure de vous présenter un ensemble de résultats précis et de qualité qui répondent à votre question ou et intentions de recherches.
Ils ont trois fonctions principales :
- L’exploration : des robots, appelés crawleurs, parcourent le web en naviguant de lien en lien. L’araignée se déplace de page en page et de site en site à l’aide de liens.
- L’indexation : stockage et analyse du contenu découvert durant l’exploration. Elle signifie essentiellement qu’ils les enregistrent dans les bases de données.
- Le classement : affichage des documents répondant à la requête d’un chercheur en fonction de formules secretes. Le moteur parcourt sa gigantesque base et les utilise pour filtrer ce qui est pertinent pour vous.
Comment les crawlers explorent ils le web ?
Les moteurs ont un certain nombre de programmes et logiciels appelés crawlers (appelés aussi araignées, bots ou spiders) qui sont chargés de trouver des informations accessibles au public. Le robot le plus connu de Google est appelé GoogleBot.
Ils visitent chaque site et en utilisant différentes techniques, que ce soit du contenu texte, des images, des vidéos ou tout autre format (CSS, HTML, javascript…), les sitemaps et robots.txt.
Lors de la visite d’un site , ils suivent tous les liens internes et externes, se déplacent de page en page et de site en site à l’aide des liens.. Si ils n’ont pas le temps de tout explorer, les robots reviennent plus tard finir le travail d’exploration.
Google attribue à chaque site, selon de nombreux critères, un budget de crawl qui limite le nombre de pages que ses robots viennent visiter sur une période donnée.
Les crawlers gardent également des traces des modifications apportées aux pages de savoir afin de pouvoir actualiser son analyse des contenus.
Comment les pages sont elles indexées ?
Les données identifiées lors de la phase d’exploration doivent être organisées, triées et stockées de manière à pouvoir être traitées plus tard.
Ce processus est appelé indexation et les informations trouvées sont ajoutées dans une structure appelée index.
Elle peut être stimulée par :
- L’ancienneté du site et sa popularité.
- L’envoi du sitemap au moteur.
- Une demande via des outils pour webmasters.
Vous pouvez vérifier l’indexation des pages d’un site avec des commandes spécifiques à effectuer sur Google.
Il existe un certain nombre de circonstances dans lesquelles une URL ne sera pas indexée.
- Exclusion de la page via le fichier Robots.txt.
- Directives sur la page indiquant de ne pas indexer cette page ou d’indexer une autre page canonique.
- Les algorithmes jugent la page de mauvaise qualité, comme un contenu dupliqué…
- L’URL de la page renvoie une page d’erreur, comme une erreur 404.
Comment Google fait-il le classement dans les SERP (search engine results page) ?
Les pages de résultats des moteurs de recherche (SERP) sont les pages affichées en réponse à une demande. La principale composante des SERP est la liste des réponses renvoyés en réponse à un mot-clé.
L’objectif est de présenter un ensemble pertinent de haute qualité qui répondront à la requête ou question le plus rapidement possible.
Suite à la saisie par un internaute, toutes les pages jugées pertinentes sont identifiées à partir de l’index. Les algorithmes sont utilisés pour classer hiérarchiquement les documents pertinents.
Les moteurs de recherche utilisent d’autres données pertinentes :
- Géolocalisation : certaines requêtes dépendent de la localisation de l’internaute.
- Langue détectée : ils renvoient des documents dans la langue de l’utilisateur.
- Historique de recherche : ils renverront des liens différents en fonction de ce que l’internaute a déjà recherché.
- Périphérique utilisé : en fonction de l’appareil utilisé (ordinateur ou mobile).
Comment comprendre le fonctionnement de Google vous aide t’il pour le SEO ?
Google a été lancé en 1998. Bien qu’il partage sur son fonctionnement, les détails sensibles sont un secret d’entreprise bien gardé. De nombreux critères sont connus, mais il existe de nombreux mythes et légendes autour du référencement.
Son but premier est de fournir une liste de réponses qui correspondent le mieux à ce que l’internaute essaie de trouver et de faire fonctionner sa régie publicitaire Google Ads.
Sur Google, la pertinence est déterminée par plus de 200 facteurs et prend en compte l’expérience utilisateur dans le choix.
C’est est le moteur de recherche numéro 1, loin devant ses challengers. Il est donc plus judicieux d’optimiser votre site pour lui.
Il détient régulièrement plus de 90 % de part de marché, ce qui représente environ 3,5 milliards de recherches individuelles sur leur plate-forme chaque jour.
Comment l’exploration joue t’elle sur le référencement ?
Google doit pouvoir explorer votre site facilement. La première préoccupation est de vérifier que les spiders peuvent découvrir facilement votre site, sans points de blocages. Que les sections qui ne doivent pas être référencées sont bien protégées.
L’importance est de simplifier au maximum le travail d’exploration.
À mettre en place pour le SEO :
- Utiliser le robots.txt.
- Mettre en place un plan de site.
- Éviter les technologies non adaptées (JavaScript, flash…).
- Créer une structure de site simple.
- Réaliser un maillage interne pertinent.
Comment l’indexation du site influe t’elle sur le SEO ?
L’index du site de Google contient des milliards de pages. L’organisation de ces informations se fait via un algorithme d’apprentissage automatique appelé RankBrain et une base de connaissances appelée Knowledge Graph.
Plus vous avez de pages présentes dans l’index principal, plus vous avez de chances d’apparaître dans les résultats de recherche.
À mettre en place pour le SEO :
- Créer des publications de qualité.
- Éviter le contenu dupliqué.
- Faire des demandes d’indexation via la search console.
Les classements sur Google
Tout ce qui se passe jusqu’à ce moment se fait en arrière-plan, avant qu’un utilisateur n’interagisse via la fonctionnalité de recherche. Le classement est l’action qui se produit en fonction de ce qui est recherché. Il doit renvoyer les meilleurs résultats possible de la manière la plus rapide possible.
Il affiche ses résultats en fonction de nombreux facteurs :
Les algorithmes de Google sont un système complexe utilisé pour récupérer les données de son index et fournir instantanément les meilleurs résultats possibles. Le moteur en utilise une combinaison et de nombreux signaux pour fournir des pages classées par pertinence sur ses SERP.
- Intention de recherche : Il analyse chaque requête à l’aide de modèles de langage complexes basés sur des recherches antérieures et un comportement d’utilisation. Son objectif est de comprendre exactement l’intention à partir des requêtes formulées par linternaute et de son historique de navigation.
- Pertinence : une fois qu’il a déterminé l’intention , il trouve dans son index les contenus les plus pertinents pour cet internaute.
- Qualité : il examine la qualité du contenu et hiérarchise suivant de nombreux facteurs.
- UX : Il accorde de l’importance à l’expérience utilisateur et à la rapidité des sites.
- Popularité du site : un site populaire et d’autorité dans son secteur d’activité aura plus de facilité à se placer en tête.
- Type d’appareil : ceux recherchant sur mobile se voient proposer des pages adaptées aux mobiles.
- Emplacement : ceux qui recherchent des informations locales verront des réponses liés à leur emplacement.
- Contexte et paramètres supplémentaires : personnalisation en fonction de l’historique de navigation et de paramètres spécifiques issus de la plateforme Google.
Importance pour le SEO :
- Créer des contenus de qualité compréhensible par le moteur (rédaction, sémantique, contenu de qualité…).
- Répondant à des intentions précises.
- Soigner l’UX (ergonomie, vitesse du site, arborescence…).
- Travailler le netlinking et la popularité du site.
- Avoir un site optimisé pour tous les supports.
Les pénalités Google peuvent influer sur les résultas
Si le trafic de votre site chute soudainement et que vous constatez une baisse correspondante de votre classement, il y a de fortes chances que vous soyez pénalisé par Google. En 2014, il a indiqué que plus de 400 000 actions manuelles sont menées chaque mois contre des sites par son équipe de lutte contre le spam, ce qui ne représente qu’une fraction du nombre total.
De nombreux autres sites sont pénalisés lorsque Google lance de nouvelles mises à jour algorithmiques pour Pingouin ou Panda.
En général, il pénalise les sites de deux manières : les pénalités manuelles et algorithmiques.
L’équipe chargée du spam peut identifier un problème sur votre site et prendre une mesure manuelle, ou vous pouvez subir une chute automatique en raison d’une mise à jour de l’algorithme. Dans les deux cas, vous devrez trouver la cause profonde de cette baisse.
Conclusion
En tant qu’éditeur de site, votre travail de référencement consiste à faciliter le travail d’exploration des spiders en créant des sites qui ont une structure simplifiée.
Les autres optimisations consisteront à créer des contenus, une expérience utilisateur et une popularité qui enverront les bons signaux pour aider leurs algorithmes à vous positionner en tête des pages de résultats sur vos mots clés cibles.
