Guerre des robots Qui va gagner?

Les vases communicants de l’indexation: Google en difficulté, Bing en cours!

Alors que Google peine depuis plusieurs années à corriger ses erreurs d’exploration et d’indexation en désactivant son outil de soumission d’URL rapide dans la Search Console, Bing progresse tranquillement et devient lentement un acteur majeur dans ce domaine, loin de ses erreurs du passé. Les deux robots se rapprochent lentement en termes de qualité. Qui gagnera? Peut-être les deux…

L’une des bases du fonctionnement des moteurs de recherche est l’exploration par des robots (Googlebot, Bingbot) de pages Web, qu’il s’agisse de la prise en compte de pages nouvelles ou récemment mises à jour. La qualité du suivi par les moteurs induira automatiquement la qualité de l’indice et donc, avec l’algorithme, la qualité des résultats.

Aujourd’hui, il existe deux technologies de moteurs de recherche dans le monde: Google et Bing (hormis les moteurs limités à une zone géographique stricte comme Yandex, Baidu, Seznam ou Naver). Et quand il s’agit de tracking, on peut observer une véritable inversion des courbes au niveau de la qualité du travail effectué par son araignée respective.

Bingbot en forte amélioration

Il faut dire… Bingbot est connu depuis longtemps pour être paresseux. Il y a quelques années, l’indexation d’une page dans Bing était comparable à un parcours du combattant et le moteur avait parfois plusieurs jours – semaines – mois de retard sur la vision que l’on pouvait avoir du web à un instant T. Cependant, il faut noter que la situation a beaucoup changé depuis longtemps et que les équipes gérant le crawling chez Microsoft (dirigées par le Français Fabrice Canel) ont fait un excellent travail , rendant l’exploration beaucoup plus efficace maintenant. Par conséquent, la situation évolue constamment à ce niveau chez Bing. Ce n’est toujours pas parfait, peut-être, mais ça s’améliore clairement.

Googlebot en panique

Google, en revanche, multiplie les erreurs d’indexation depuis 2 ans et semble souffrir énormément de l’exploration, domaine dans lequel elle était encore répandue il y a quelques années. Googlebot était autrefois un robot d’exploration et une machine d’indexation (à l’époque, nous étions plus préoccupés par la désindexation du contenu que le moteur avait trouvé et nous ne savions ni où ni comment), alors que maintenant, il a tous les problèmes du monde. à suivre.

El último percance a este nivel: a finales del año pasado, la herramienta de sumisión de URL en Search Console estuvo desactivada durante muchas semanas, luego se reactivó, pero desde entonces parece que no tiene casi efecto, y en todo caso es mucho menos efectiva avant. Bien sûr, cela a certainement fait l’objet de spams massifs de la part de certains référenceurs et c’est sans aucun doute l’une des principales raisons de son arrêt / désactivation plus ou moins partielle. Mais même ainsi, entre cette volonté de désactiver l’outil Search Console et les échecs répétés d’indexation, de nombreux référenceurs et éditeurs de sites Web ont remarqué que la qualité de l’exploration de Googlebot avait beaucoup baissé ces derniers temps.

Si l’on ajoute à cela la lente désindexation des URL qui auraient été passées en 404 ou redirigées en 301, mettez « noindex », etc. que nous continuons de trouver dans les résultats de recherche ou dans le rapport de la Search Console (pour « Couverture ») jours – semaines – mois (biffez ce qui est obligatoire) après votre traitement, le compte commence à devenir un peu salé pour nos amis de Mountain Vue.

C’est comme si Google ne pouvait pas suivre l’incroyable accélération du Web, le rythme de création de nouvelles pages, de modification des pages existantes et de disparition du contenu. Bref, Googlebot semble dépassé, surchargé par rapport à l’évolution d’Internet. Et cela pose de nombreux problèmes à de nombreux webmasters, en particulier à ceux pour qui le temps est important, voire crucial, comme les sites d’actualités par exemple.

De multiples causes expliquent le phénomène

Bien sûr, rien n’est simple et oui, la croissance exponentielle du web, la complexité technique de certains sites, le spam incessant (rappelons que Google découvre chaque jour 25 000 millions de pages de spam destinées à manipuler des algorithmes !!! ) et bien d’autres facteurs expliquent ces difficultés, qui devront être résolues un jour si Google veut maintenir sa suprématie dans le monde des moteurs de recherche .

Il semble que le crawl au niveau des principaux acteurs du secteur s’égale de plus en plus et que l’écart se rétrécit progressivement entre le leader et l’outsider , à la fois du fait des progrès de l’un et des préoccupations de l’autre. Les deux en sont certainement pleinement conscients. L’objectif de Bing devrait être de suivre le rythme, tandis que Google doit actuellement faire bouger le ciel et la terre pour améliorer ses performances actuelles, ce qui est clairement en deçà de ce que l’on peut attendre d’un moteur de cette taille. Une « spirale de l’excellence »dont les deux moteurs pourraient bénéficier. En tout cas, il sera très intéressant d’observer la suite de ce combat à distance entre les deux géants … De plus, il n’y a pas d’observatoire ni d’outil pour mesurer la qualité du crawl des deux moteurs, dans la mesure où je savoir, alors que les «Climate del Search», qui mesurent les changements d’algorithme, sont très nombreux.

Ne serait-ce pas une bonne idée?