Le crawl de la structure d'un site est l'exploration automatique de toutes ses pages par un programme-crawler, avec construction de l'arborescence complète des rubriques et des URL. Le crawler se comporte comme un robot d'indexation : il suit les liens internes, enregistre chaque page, son code de réponse, sa profondeur de clic et les liens entre les rubriques. Au final, vous voyez le site tel que le voient Google ou Bing — avec tous les doublons, les liens cassés et les pages « orphelines ».
Cet article fait partie de notre série sur le web scraping appliqué au SEO. Voyons à quoi sert une telle exploration, ce qu'elle révèle et avec quels outils la réaliser.
Pourquoi crawler la structure
Un site de plusieurs centaines de milliers de pages ne se vérifie pas à la main. Or ce sont précisément les problèmes structurels qui freinent le plus souvent le référencement : le robot gaspille son budget de crawl sur des doublons et des URL parasites, des pages importantes se retrouvent au cinquième niveau de profondeur et s'indexent mal, des liens internes pointent vers des 404. Le crawl de la structure répond aux questions suivantes :
- Combien de pages réelles compte le site et comment sont-elles réparties entre les rubriques.
- Quelles pages renvoient des erreurs (404, 5xx) et où mènent les redirections.
- Où se sont formés des doublons d'URL et de contenu.
- À quelle profondeur sont « enterrées » les rubriques importantes (niveau de profondeur de clic).
- Comment est organisé le maillage interne et s'il existe des pages « pendantes ».
Ces données servent de base au cahier des charges technique des corrections et aident à concevoir une structure logique et plate, pratique aussi bien pour l'utilisateur que pour le robot.
Ce que collecte le crawler
Lors de l'exploration, pour chaque URL le programme enregistre le code de réponse du serveur, l'adresse elle-même, la profondeur de clic, les liens internes entrants et sortants, ainsi que les métadonnées de la page — Title, Description, balises de titre. En pratique, le crawl de la structure et le scraping des balises et des titres s'effectuent en une seule exploration : vous obtenez à la fois l'arborescence du site et le tableau des métadonnées.
Un autre point fort des crawlers modernes est la construction d'une arborescence visuelle. Vous pouvez voir la structure sous forme graphique, évaluer la répartition des pages par niveaux et repérer immédiatement les anomalies : rubriques surchargées, branches sans issue, pages sans liens entrants.
Quels outils pour crawler la structure : panorama des programmes
Screaming Frog SEO Spider — le standard mondial. Il scanne le site en suivant les liens internes, collecte les métadonnées, les codes de réponse, le maillage interne et reconstruit la structure. Il sait visualiser l'arborescence de plusieurs manières (Crawl Tree Graph, Directory Tree, etc.), exécuter le JavaScript pour crawler les sites JS et extraire des données arbitraires via XPath grâce à la section Custom Extraction. Un mode de comparaison de deux crawls permet de suivre facilement les changements après des corrections.
Netpeak Spider — un puissant crawler de bureau avec des rapports de synthèse, de structure du site et de scraping. Il exporte la structure complète à partir des URL, affiche la profondeur de clic, se paramètre finement selon les besoins du scan et prend en charge plusieurs proxys. De nombreux spécialistes SEO soulignent sa rapidité et son confort d'utilisation sur les grandes boutiques en ligne.
ComparseR — un programme de bureau d'Alexandre Alaev. Outre l'exploration du site, il construit l'arborescence de la structure et sait, sur cette base, vérifier l'indexation des pages dans Yandex et Google par un parcours rubrique par rubrique — une fonctionnalité absente de la plupart des outils concurrents.
SiteAnalyzer — un programme gratuit, une bonne option pour un audit de base lorsqu'un « couteau suisse » payant n'est pas nécessaire.
Le choix entre ces outils dépend de l'échelle et du budget : pour des audits ponctuels et de petits sites, les solutions gratuites suffisent ; pour un travail régulier sur de grands projets, on opte pour Screaming Frog ou Netpeak Spider.
Crawler la structure des sites concurrents
Le crawler peut être lancé non seulement sur votre propre site, mais aussi sur celui d'un concurrent — par exemple pour exporter la structure d'un grand catalogue ou d'une boutique en ligne. Via des requêtes XPath (par exemple sur le balisage des fils d'Ariane), on collecte l'arborescence des catégories, ce qui aide à concevoir sa propre structure et à repérer les rubriques manquantes. C'est une tâche voisine du scraping sémantique : la structure du concurrent révèle les groupes de requêtes que vous n'avez pas couverts.
Si en revanche vous cherchez à savoir non pas comment est structuré un site précis, mais qui occupe le top des résultats sur vos requêtes, il s'agit alors de l'extraction de SERP Yandex et de l'extraction de SERP Google — des prestations à part entière de notre agence.