Pendant des années, Google a dicté les règles de l’exploration et de l’organisation du web. Cependant, aujourd’hui, le terrain de jeu semble changer, et un nouvel acteur émerge dans le domaine de l’indexation en ligne : le bot GPT d’OpenAI. Selon une analyse réalisée par Hostinger, ce bot a désormais dépassé Google en termes de diffusion et d’activités. L’étude, qui a porté sur les logs d’accès de plus de cinq millions de sites, a révélé que le bot d’OpenAI a atteint 4,4 millions de domaines, représentant environ 88 % de l’échantillon étudié. En comparaison, le crawler de Google n’a touché que 3,9 millions de sites, soit 78 % de couverture.
Ce phénomène ne constitue pas un cas isolé, il reflète plutôt une tendance plus large : le trafic généré par les crawlers issus de l’intelligence artificielle connaît une hausse significative. En dehors du GPT, d’autres bots comme ClaudeBot d’Anthropic, les bots internes de Meta, ou même les scrapers de TikTok, comptent pour un volume total de plus de 1,4 milliard de requêtes par jour. En revanche, les moteurs de recherche traditionnels tels que Bing ou AppleBot, ainsi que les outils SEO d’Ahrefs, affichent une activité beaucoup plus modérée.
Hostinger précise qu’une couverture moins étendue ne signifie pas nécessairement un désintérêt. En effet, de nombreux bots varient les sites visités afin de ne pas surcharger les serveurs. Toutefois, la répartition géographique des crawlers raconte une autre histoire : environ 80 % de l’activité mondiale provient d’entreprises américaines, tandis que la Chine n’en représente que 10 %, le reste du monde étant proportionnellement moins en vue, ce qui met en lumière une centralisation croissante de l’écosystème informationnel.
Ce changement ne touche pas seulement la quantité de données collectées, mais aussi la manière dont elles sont utilisées. Les modèles d’IA, tels que ceux d’OpenAI ou d’Anthropic, s’appuient sur les contenus publics du web pour apprendre et créer des textes, des images et des réponses en langage naturel. Ainsi, ceux qui gèrent les crawlers d’IA ont une influence indirecte sur ce que les utilisateurs voient dans les résultats générés ou les réponses des chatbots.
Pour offrir un plus grand contrôle aux propriétaires de sites, Hostinger a lancé un nouvel outil d’audit AI, permettant de décider quels bots ont accès à leurs contenus et lesquels doivent être bloqués. Il s’agit d’une tentative de trouver un équilibre entre l’ouverture des données, la protection du travail des créateurs de contenus et la durabilité du trafic numérique.
Points à retenir
- Le bot GPT d’OpenAI est désormais dominant dans le domaine de l’indexation, dépassant Google.
- L’augmentation du trafic des crawlers issus de l’IA souligne une tendance significative sur le web.
- 80 % de l’activité des crawlers provient d’entreprises américaines, avec peu de représentativité pour d’autres régions.
- Les modèles d’IA influencent indirectement les résultats que les utilisateurs voient.
- Hostinger offre un nouvel outil permettant aux propriétaires de sites de contrôler l’accès des bots à leur contenu.
Ces évolutions soulèvent des questions essentielles sur la nature de l’information que nous consommons et qui a le pouvoir de la façonner. En tant qu’acteur de ce paysage numérique, la réflexion sur l’équilibre entre accessibilité et contrôle devient cruciale. Ces nouvelles dynamiques sont autant d’opportunités que de challenges, et j’ai hâte de voir comment elles façonneront l’avenir du web.