Le Crawl Budget de Google : comment il influence la visibilité de votre site web

C’est le Googlebot qui s’occupe de ça. Cependant, le bot ne possède qu’un budget limité pour l’exploration. Pour s’assurer qu’un site web est optimisé et indexé, le crawl budget doit être dépensé de manière optimale.

Qu’est-ce que le « Crawl Budget » ?

Le crawl budget, budget du crawl ou encore budget d’exploration est défini par Google comme la somme de la fréquence et de la demande d’exploration. Le budget lui-même se compose donc d’un nombre déterminé d’URL que le Googlebot veut et peut explorer. Gary Illyes, de Google, propose une définition plus précise du crawl budget dans son article bien connu intitulé « What the Crawl Budget Means for the Googlebot » (« Ce que le budget d’exploration veut dire pour le Googlebot« ), publié le 16 janvier 2017 sur le Google Webmaster Central. Conseils et explications sont divulgués progressivement et l’un après l’autre.

Comment les sites web sont explorés et indexés

Le Googlebot se réfère à un programme qui collecte les documents sur le web, suit les URL et indexe les documents web des sites visités. En général, le travail du Googlebot se compose de quatre étapes principales :

1. Google trouve une URL, par exemple grâce à des liaisons internes, un sitemap.XML ou des liens détaillés.

2. Une liste est créée à partir de ces liens et les URL sont priorisées pour le crawl.

3. Enfin, le Googlebot obtient un soi-disant « budget de crawl » : il détermine la rapidité à laquelle les URL d’un site web peuvent être analysées.

4. Un programme appelé « planificateur » contrôle le Googlebot et permet aux URL d’être traitées en fonction de leur priorité et du budget d’analyse.

Tout ce processus se déroule en continu. Cela signifie que de plus en plus d’URL sont placées sur la liste alors que le Googlebot est dans le même temps en train d’explorer et d’indexer les URL. Le budget d’exploration est donc réajusté à tout moment.

C’est important que le Googlebot n’épuise pas la totalité du budget d’exploration. En plus de la fréquence du crawl, la demande du crawl joue également un rôle. Si Google ne donne pas la priorité à certaines URL, il pourrait ne pas les explorer, ce qui libère et dégage plus de ressources pour d’autres URL.

Pourquoi l’exploration et l’indexation sont importantes

Avant que les sites web ne soient classés, ils doivent d’abord être explorés et indexés. Ils doivent donc recevoir une visite du Googlebot avant qu’ils n’apparaissent dans les résultats de recherche.

De cette façon, le webmaster doit s’assurer que les URL peuvent être trouvées et Google doit estimer que l’URL a suffisamment de valeur pour justifier une priorité élevée sur sa liste d’exploration. Il faut se rappeler que la priorité de Google est d’explorer moins fréquemment les sites qui reçoivent peu de visites et dont le contenu est faible et d’explorer plus souvent les sites web de haute qualité.

Néanmoins, il est important de noter que Google peut explorer en profondeur des sites possédant moins de 1 000 URL, indépendamment du crawl budget dont il dispose. Par conséquent, il est encore plus important pour les sites web possédant plus de 1 000 URL que tous leurs contenus et URL soient tenus à jour. En effet, même si Google permet le plus grand budget d’exploration possible, il se concentrera quand même sur les URL principales recevant le plus de trafic.

Limite du Crawl Rate de Google

Le Googlebot est limité, entre autres, par la « limite du crawl rate » quand il analyse les URL. Le Googlebot définit lui-même cette limite. On considère qu’il ajuste la vitesse du crawl selon les réponses du serveur et les messages d’erreurs possibles dus à trop de requêtes simultanées ou rapides. L’étendue de cette limite dépend des deux facteurs suivants :

• Nombre de requêtes serveurs simultanées que le bot peut effectuer sur un site web.
• Temps entre les requêtes individuelles du serveur.

Exemple :

Google a décidé que le budget de crawl est de 10 connexions simultanées et de 3 secondes entre les requêtes. Dans ce cas, Google peut explorer 200 URL en une minute.

Ce qui influence la vitesse d’exploration

Changer les paramètres sur le Google Search Console : les webmasters peuvent contrôler la vitesse du crawl directement depuis le Google Search Console. Dans les paramètres du site web, il est possible de choisir un crawl plus lent ou plus rapide.

Illustration 1 : fixer la vitesse du crawl via Search Console

Il est important de ne pas choisir une fréquence du crawl trop élevée pour que le serveur ne se voit pas ralenti. Google ne précise pas combien de temps le Googlebot agit sur le site web.

Optimiser la vitesse du serveur : indépendamment des paramètres de Search Console, le webmaster doit s’assurer que le serveur répond rapidement. De cette façon, le crawl rate peut s’en voir considérablement amélioré. Google recommande de régler le délai de réponse à moins de 200 millisecondes. Ceci ne signifie cependant pas la « vitesse de la page ». La vitesse du serveur dépend du temps de réaction du serveur et du nombre possible de connexions simultanées. Le temps de chargement du site dépend néanmoins de facteurs supplémentaires tels que le code source, les scripts et les fichiers CSS.

Vérifier les erreurs du serveur : dans Google Search Console, les erreurs de serveur au cours du crawl peuvent être vérifiées dans un rapport séparé (Exploration -> Erreurs d’exploration).

Illustration 2 : les erreurs du serveur peuvent être affichées via le Search Console depuis Google.

Demander une exploration de Google

Le taux d’exploration d’un site web par le Googlebot est limité par des aspects technologiques. Mais même sans ces limites, le Googlebot peut explorer beaucoup moins de sites que ce que la limite le prévoit. La soi-disant « demande de crawl » ou “demande d’exploration” est responsable de ce fait. En bref, le Googlebot décide de si ça vaut la peine d’explorer un site web ou si le budget de crawl devrait plutôt être économisé.

Dans l’article de blog susmentionné au sujet du budget du crawl, Google indique que les sites les plus fréquentés sont le plus souvent explorés. La hiérarchisation des priorités joue également un rôle décisif : elle permet de savoir à quel point la demande d’exploration est élevée. Le planificateur classe les URL sur sa liste en fonction de la priorité. Voici quelques gradations possibles :

• L’URL est-elle une page d’accueil ou une sous-page ? Il faut supposer que la page d’accueil a une plus haute priorité pour le Googlebot. Elle sera toujours placée plus haut sur la liste des URL.
• L’URL a-t-elle de la valeur et est-elle populaire ? Vraisemblablement, les sites web avec beaucoup de liens détaillés, un trafic élevé et un faible taux de rebond sont explorés plus souvent que les sites web au contenu insuffisant. Google n’a pas encore publié quels facteurs jouent exactement un rôle. On peut juste supposer que les facteurs de classement sont consultés pour la hiérarchisation des priorités.
• Le contenu de l’URL change-t-il souvent ? En cas de mises à jour fréquentes, le Googlebot désignera un besoin d’exploration plus élevé que celui des URL qui ne changent pas souvent.
• Quand l’URL a-t-elle été explorée pour la dernière fois ? Si une URL de la liste n’a pas été crawlée pendant un long moment, la chance est plus élevée qu’elle se verra attribuée une priorité plus élevée, car Google souhaite conserver son index actuel.

Vous pouvez obtenir un aperçu plus précis des demandes aux Googlebot dans l’évaluation des fichiers journaux du serveur.

S’assurer que les bons sites web sont rapidement explorés

Éviter les sites web abandonnés : les sites abandonnés sont des URL qui ne peuvent pas être atteintes sur le site web par le biais de ses liens internes. Ils sont aussi inutiles pour le Googlebot que pour les utilisateurs.

Lister les URL dans le sitemap.XML : un sitemap.XML permet aux webmasters d’insérer toutes les URL importantes d’un domaine dans Google Search Console. De cette façon, le Googlebot peut reconnaître quelles URL sont accessibles et peut les transmettre au planificateur.

Utiliser les fichiers robots.txt : à l’aide du fichier robots.txt, l’exploration de tous les sites web importants peut être facilitée pour le Googlebot. Les fichiers robots.txt permettent par exemple d’éviter les formulaires de contact pour l’exploration et l’indexation.

Vérifier le cache des sites : en utilisant Google Site Search, chaque URL d’un domaine peuvent être ouverte. En cliquant sur “cache”, vous pouvez vérifier quand le site a été enregistré pour la dernière fois dans l’index. Si le cache a été configuré il y a longtemps et que des contenus importants sur le site ont changé, l’URL peut aussi être envoyée manuellement à l’index via le Search Console.

Illustration 3 : envoyer des URL à l’index de Google

Vérifier la navigation à facette : une navigation à facettes peut générer d’innombrables URL grâce à des possibilités de filtrage. Ces « URL de filtrage » ont pour la plupart peu de valeur pour le Googlebot. Par conséquent, la navigation à facettes réduit fréquemment le crawl budget. Pour éviter cela, la structure de la navigation doit être vérifiée et définie aussi précisément que possible. Par exemple, les URL superflues peuvent être dotées d’une balise canonique qui pointe vers le site original. De même, il est possible d’insérer une metadonnée « noindex, nofollow » dans la zone de l’URL inutile. En utilisant l’outil de paramètres de Google Search Console, il est aussi possible d’exclure de l’exploration et de l’indexation les paramètres de recherche des URL.

Éviter les URL sans fin : ce type d’URL peut provenir des fonctions de recherche du site ainsi que des liens dits « supplémentaires » qui peuvent aussi se trouver sur le site. L’exclusion des résultats de recherche internes peut générer d’importantes économies dans le crawl budget.

Utiliser les sites aux erreurs 404 : pour éviter un crawl répété et sans fin de sites aux erreur Soft-404, les URL non disponibles devraient se voir attribuer le code de statut 404 (not found). De cette façon, vous pouvez empêcher le Googlebot d’accéder à ces URL et donc préserver votre budget de crawl.

Conclusion

Le Googlebot ne dispose que d’un temps limité pour explorer votre site. Vous pouvez améliorer le crawl en remédiant aux erreurs techniques. Dans le même temps, il est important que Google reconnaissance correctement une demande d’exploration, et c’est à ce moment-là que le budget de crawl devient un sujet central en termes d’optimisation du référencement. Après tout, c’est la qualité de votre site qui détermine la fréquence avec laquelle le Googlebot rend visite à votre site. Grâce à un contenu unique et de haute qualité, vous pouvez vous assurer que le budget d’exploration est utilisé de la manière la plus efficace possible.