John Mueller, l’Avocat Recherche de Google, a partagé des conseils sur le diagnostic des problèmes de crawl généralisés.
Cette assistance a été fournie en réponse à une perturbation signalée par Adrian Schmidt sur LinkedIn. Selon lui, le crawler de Google a cessé d’accéder à plusieurs de ses domaines simultanément.
Malgré cette interruption, Schmidt a noté que les tests en direct via Search Console continuaient de fonctionner et ne rencontraient aucune erreur.
Les enquêtes n’ont révélé aucune augmentation des erreurs 5xx ni de problèmes avec les requêtes robots.txt.
Quelle pourrait être la source du problème ?
Réponse de Mueller
En abordant la situation, Mueller a mis en avant l’infrastructure partagée comme cause probable :
« Si elle est partagée entre plusieurs domaines et se concentre sur des éléments comme le crawl, il s’agit probablement d’un problème lié à une pièce d’infrastructure commune. Si cela se rétablit déjà, au moins ce n’est plus urgent et vous avez un peu de temps pour examiner les changements récents ou les journaux d’infrastructure. »
Investigation de l’Infrastructure
Tous les sites concernés utilisaient Cloudflare en tant que CDN, ce qui a suscité des interrogations.
Lorsque des questions ont été posées sur le débogage, Mueller a conseillé de vérifier les données de Search Console pour déterminer si des problèmes de DNS ou de requêtes échouées étaient en cause.
Mueller a précisé :
« Les statistiques de crawl dans Search Console fourniront également davantage d’informations, ce qui pourra aider à faire la distinction entre un problème de DNS et des demandes échouées. »
Il a également souligné que le timing était un indice clé :
« Si cela se produit à la même heure précisément, il ne s’agirait pas de robots.txt, et probablement pas de DNS. »
Impact sur les Résultats de Recherche
Concernant les préoccupations liées à la visibilité dans les résultats de recherche, Mueller a rassuré en affirmant que ce type de perturbation ne causerait pas de problèmes :
« Si cela s’est produit aujourd’hui et n’a duré que quelques heures, je ne m’attendrais pas à voir de problèmes visibles dans la recherche. »
Importance de la Situation
Lorsque Googlebot cesse soudainement d’explorer de nombreux sites en même temps, il peut être difficile de déterminer la cause principale.
Bien que des pauses temporaires dans le crawl n’impactent pas immédiatement les classements de recherche, elles peuvent perturber la capacité de Google à découvrir et indexer du nouveau contenu.
Cet incident met en lumière la vulnérabilité à laquelle les organisations peuvent faire face sans en avoir conscience, en particulier celles qui s’appuient sur une infrastructure partagée.
Comment Cela Peut Vous Aider
Si Googlebot cesse de crawler vos sites :
- Vérifiez si le problème touche plusieurs sites à la fois
- Examinez d’abord votre infrastructure partagée
- Utilisez les données de Search Console pour cerner la cause
- Ne rejetez pas l’hypothèse DNS simplement parce que le trafic habituel semble correct
- Surveillez vos journaux
Pour les personnes gérant plusieurs sites derrière un CDN, assurez-vous de :
- Avoir une bonne configuration des journaux
- Surveiller vos taux de crawl
- Savoir qui contacter en cas de soucis
- Garder un œil sur votre fournisseur d’infrastructure
Image mise en avant : PeopleImages.com – Yuri A/Shutterstock
Notre point de vue
Il est essentiel d’examiner les implications d’une telle interruption dans le processus de crawl de Google. Les organisations doivent être conscientes que leur reliance sur des solutions d’infrastructure partagée peut les rendre vulnérables à des problèmes inattendus. Une approche proactive dans la surveillance et la gestion de ces infrastructures pourrait potentiellement éviter des pertes de visibilité sur le web. Cela souligne l’importance d’une communication fluide entre les responsables techniques et les équipes marketing pour assurer la continuité de la découverte et de l’indexation de leur contenu.
- Source image(s) : www.searchenginejournal.com
- Source : https://www.searchenginejournal.com/google-on-diagnosing-multi-domain-crawling-issues/530826/