Google a récemment publié un article explicatif sur l’impact des Réseaux de Distribution de Contenu (CDN) sur l’exploration par les moteurs de recherche et l’optimisation SEO, tout en abordant les problèmes potentiels qui peuvent en découler.
Qu’est-ce qu’un CDN ?
Un Réseau de Distribution de Contenu (CDN) est un service qui met en cache une page web et l’affiche à partir d’un centre de données situé le plus près possible du navigateur qui en fait la demande. Le caching d’une page web signifie que le CDN crée une copie de celle-ci et la conserve. Cela permet d’accélérer la livraison de la page, car elle est désormais servie depuis un serveur plus proche de l’utilisateur, réduisant ainsi le nombre d’étapes nécessaires sur Internet entre le serveur d’origine et le navigateur du visiteur.
Les CDNs facilitent l’exploration
Un des avantages d’utiliser un CDN est que Google augmente automatiquement le taux d’exploration lorsqu’il détecte que les pages sont servies par ce biais. Cela rend l’utilisation des CDN attrayante pour les spécialistes SEO et les éditeurs qui souhaitent maximiser le nombre de pages explorées par Googlebot.
En temps normal, Googlebot limite l’exploration d’un serveur si un certain seuil est atteint, provoquant un ralentissement. Ce seuil de « throttling » est plus élevé lorsqu’un CDN est identifié, ce qui permet d’augmenter le nombre de pages explorées.
Il est important de noter que lors de la première demande d’une URL, celle-ci doit être servie directement depuis votre serveur. Google illustre ce point avec l’exemple d’un site comportant plus d’un million de pages :
« Cependant, lors de la première accessibilité d’une URL, le cache du CDN est “froid”, ce qui signifie que, puisque personne n’a encore demandé cette URL, son contenu n’a pas encore été stocké par le CDN. Votre serveur d’origine devra donc servir cette URL au moins une fois pour “réveiller” le cache du CDN. Cela fonctionne de manière similaire au caching HTTP. En résumé, même si votre boutique en ligne est soutenue par un CDN, votre serveur devra servir ces 1 000 007 URL au moins une fois. Ce fardeau sera conséquant pour votre “budget d’exploration” et le taux d’exploration sera probablement élevé pendant quelques jours ; cela est à garder à l’esprit si vous prévoyez de lancer de nombreuses URL simultanément. »
Quand les CDNs peuvent poser problème pour l’exploration
Google avertit qu’il peut arriver qu’un CDN place Googlebot sur une liste noire, bloquant ainsi l’exploration. Cet effet se divise en deux types de blocages :
1. Blocages durs
2. Blocages doux
Les blocages durs se produisent lorsqu’un CDN signale une erreur serveur. Un mauvais retour d’erreur serveur peut être un 500 (erreur interne du serveur), indiquant un problème majeur. Un autre retour défectueux est le 502 (mauvaise porte d’entrée). Ces réponses entraîneront une réduction du taux d’exploration par Googlebot. Les URL indexées sont conservées en interne chez Google, mais des réponses 500/502 répétées peuvent amener Google à retirer les URL de l’index de recherche.
La réponse préférée est un 503 (service indisponible), indiquant une erreur temporaire.
Un autre blocage dur à surveiller est ce que Google appelle des « erreurs aléatoires », où un serveur envoie un code de réponse 200, signalant que la réponse est bonne (bien qu’elle serve effectivement une page d’erreur). Google interprète ces pages d’erreur comme des doublons et les retire de l’index. Cela peut poser de sérieux problèmes, car il faut du temps pour se remettre de ce type d’erreur.
Un blocage doux peut se produire si le CDN affiche un de ces pop-ups de vérification “Êtes-vous humain ?” à Googlebot. Ces interstitiels devraient renvoyer un code de réponse 503 pour signaler que le contenu est temporairement indisponible.
La nouvelle documentation de Google explique :
« …lorsque l’interstitiel apparaît, c’est tout ce qu’ils voient, et non votre site exceptionnel. En cas de ces interstitiels de vérification de bot, nous recommandons vivement d’envoyer un signal clair sous la forme d’un code d’état 503 aux clients automatisés comme les explorateurs, afin que le contenu ne soit pas automatiquement retiré de l’index de Google. »
Diagnostiquer les problèmes avec l’outil d’inspection d’URL et les contrôles WAF
Google recommande d’utiliser l’outil d’inspection d’URL dans la Search Console pour vérifier comment le CDN sert vos pages web. Si le pare-feu du CDN, appelé pare-feu d’application web (WAF), bloque Googlebot par adresse IP, vous devriez pouvoir vérifier les adresses IP bloquées et les comparer à la liste officielle des IP de Google.
Les conseils de débogage à niveau CDN fournis par Google comprennent :
« Si vous souhaitez que votre site apparaisse dans les moteurs de recherche, nous recommandons fortement de vérifier si les explorateurs qui vous intéressent peuvent accéder à votre site. Rappelez-vous que les IP peuvent finir par être sur une liste noire automatiquement, sans que vous le sachiez, il est donc bon de vérifier ces listes de temps en temps pour le succès de votre site dans les recherches et au-delà. Si la liste noire est très longue, essayez de chercher juste les premiers segments des plages d’IP, par exemple, au lieu de chercher 192.168.0.101, vous pouvez simplement vérifier 192.168. »
Points à retenir
- Les CDN accélèrent la livraison des pages en servant le contenu depuis des serveurs localisés près de l’utilisateur.
- Un CDN peut augmenter le taux d’exploration de Googlebot lorsque les pages sont servies via ce système.
- Des erreurs serveur telles que 500 ou 502 peuvent nuire à l’indexation des pages.
- Il est essentiel de s’assurer que les IP de Googlebot ne sont pas bloquées par des pare-feux du CDN.
- En cas de problèmes d’exploration, l’outil d’inspection d’URL peut être un allié précieux.
La question de l’impact des CDN sur le SEO et l’exploration reste ouverte à discussion. L’efficacité d’un CDN peut-elle l’emporter sur les risques potentiels ? Les utilisateurs et les créateurs de contenu doivent peser les avantages et inconvénients d’une telle technologie dans le cadre de leur stratégie numérique.
L’utilisation des CDN semble apporter de nombreux bénéfices pour le SEO, mais il est crucial de surveiller les éventuels problèmes d’exploration pour éviter des surprises.