Crawl budget

Le crawl budget fait référence à la quantité de ressources qu'un moteur de recherche, comme Google, alloue à l'exploration (ou "crawl") d'un site web pendant une période donnée. Ce budget détermine combien de pages d'un site un robot d'exploration peut visiter et indexer. Plusieurs facteurs influencent ce budget, notamment la vitesse de chargement du site, son architecture, la qualité des pages et la fréquence des mises à jour.

Un crawl budget bien géré permet d'optimiser l'exploration du site et d'assurer que les pages importantes sont indexées rapidement, tandis que les pages moins pertinentes ou dupliquées peuvent être moins souvent explorées. Par exemple, un site avec une structure claire, des pages rapides et un contenu de qualité aura un crawl budget plus efficace, ce qui permet une meilleure couverture dans les résultats de recherche.

La gestion du crawl budget devient particulièrement cruciale pour les sites de grande taille, où l’exploration complète du site par les robots peut prendre beaucoup de temps et de ressources. Il est donc important de réduire les erreurs d'exploration et de prioriser les pages essentielles pour le référencement.