Comment collecter les données d'un ou plusieurs sites web : le guide pour les non-initiés

Internet est, au fond, une gigantesque base de données, simplement très mal rangée. Les prix sont mélangés aux images et aux boutons, les statistiques sont cachées dans des tableaux, les annonces sont éparpillées sur des centaines de pages. « Collecter les données d'un site » signifie transformer cette bouillie visuelle en un tableau ou un fichier propre, avec lequel on peut travailler : calculer, comparer, tracer des graphiques.

Cet article est une carte du territoire. Il explique quels types de données existent, par quels moyens on les extrait (de la copie manuelle aux programmes-robots), où passent les limites juridiques et éthiques, et détaille des scénarios concrets pour différents types de données. Le tout sans données personnelles — nous verrons pourquoi un peu plus loin.

Partie 1. Un peu de théorie d'abord — sans prise de tête

Comment un site web est construit

Quand vous ouvrez une page, le navigateur reçoit un fichier texte écrit en HTML — un balisage, un ensemble de « boîtes » imbriquées et étiquetées. Le titre se trouve dans une boîte marquée « titre », le prix dans une boîte « prix », et ainsi de suite. Vous voyez une belle page, mais dessous, il y a du texte structuré.

La collecte de données (en anglais web scraping, « raclage ») est précisément ce processus : un programme lit ce texte, trouve les bonnes boîtes et en extrait le contenu. La grande révélation pour le débutant : ce que vous voyez à l'écran est presque toujours disponible sous forme de texte, il suffit d'y accéder.

Deux mondes : HTML et API

Il existe deux façons fondamentalement différentes pour un site de livrer ses données.

Via la page HTML. Les données sont « fondues » dans la page même qui s'affiche pour l'humain. Pour les extraire, il faut analyser (parser) le HTML — chercher ces fameuses boîtes. Cela fonctionne presque toujours, mais la méthode est plus fragile : si le designer modifie la mise en page, votre scraper se casse.

Via une API. Beaucoup de sites disposent d'une « entrée de service » — une interface de programmation (Application Programming Interface), spécialement conçue pour les machines. Vous envoyez une requête du type « donne-moi la météo à Paris » et vous recevez en retour des données propres dans un format net (généralement JSON — un texte fait de paires « clé : valeur »). C'est la méthode la plus fiable et la plus polie, quand elle est disponible. Météo, taux de change, cartes, finance, statistiques — tout cela dispose en général d'une API.

Règle de base : cherchez d'abord une API, et parsez le HTML seulement s'il n'y en a pas.

Données structurées et non structurées

• Structurées — déjà bien rangées : tableaux, grilles tarifaires, catalogues. Ce sont les plus faciles à collecter.
• Non structurées — du texte brut : articles, avis, posts. Récupérer le texte lui-même est simple, mais pour en extraire du sens (tonalité d'un avis, entreprises mentionnées), il faut un traitement supplémentaire, souvent à l'aide de l'IA.

Partie 2. Le cadre juridique et éthique

Ce n'est pas une formalité à survoler. Ignorer les limites est le moyen le plus courant de s'attirer des ennuis.

Le fichier robots.txt. Presque chaque site héberge, à l'adresse site.com/robots.txt, un fichier texte où le propriétaire indique les sections qu'il demande aux robots de ne pas toucher. Ce n'est pas une loi, plutôt des « règles de politesse », mais les ignorer est de mauvais goût — et parfois un motif de blocage.

Les conditions d'utilisation (Terms of Service). Beaucoup de sites interdisent explicitement la collecte automatisée dans leurs conditions générales. Les enfreindre relève déjà du droit contractuel, et les grandes plateformes (marketplaces, réseaux sociaux) portent l'affaire en justice.

La charge sur le serveur. Si votre robot envoie des milliers de requêtes par seconde, vous infligez de fait au site un mini-DDoS. Une collecte polie, ce sont des pauses entre les requêtes et un travail aux heures creuses.

Le droit d'auteur. Les faits bruts (prix d'un produit, température de l'air) ne sont pas protégés par le droit d'auteur. En revanche, les textes d'articles, les photos, les tests le sont. Collecter pour analyser est une chose ; republier chez soi en est une autre.

Les données personnelles — la zone à part, et la plus dangereuse. Noms, téléphones, adresses, visages sur les photos, correspondance : tout cela est régi par les lois sur la protection des données (le RGPD en Europe et leurs équivalents ailleurs). Collecter des données personnelles sans base légale peut se solder par de lourdes amendes, voire des poursuites pénales. C'est pourquoi cet article parle délibérément des seules données anonymisées, généralement publiques et factuelles : prix, météo, statistiques, assortiment, titres d'actualité, etc.

Un critère de bon sens : est-ce que je collecte des faits accessibles à tous, à des fins d'analyse, sans surcharger le serveur ni m'approprier le contenu d'autrui ? Si oui, vous êtes très probablement en zone sûre. S'il s'agit de données personnelles ou de revente du contenu d'autrui — arrêtez-vous et demandez conseil.

Partie 3. Les outils — du plus simple au plus puissant

Il existe tout un éventail de façons de collecter des données. Le choix dépend du volume dont vous avez besoin, de la fréquence, et de votre envie (ou non) de programmer.

Niveau 0. La copie manuelle

Cela semble primitif, mais s'il vous faut 20 lignes une seule fois, sélectionnez simplement le tableau à la souris et collez-le dans Excel. Ne construisez pas une fusée pour aller chercher le pain. L'automatisation devient rentable quand les données sont nombreuses ou qu'il faut les collecter régulièrement.

Niveau 1. Des fonctions directement dans les tableurs

Google Sheets sait récupérer des données de sites avec des fonctions intégrées, sans la moindre programmation :

• =IMPORTHTML("url"; "table"; 1) — extrait le premier tableau de la page (fonctionne à merveille, par exemple, avec les tableaux de Wikipédia).
• =IMPORTXML("url"; "requête") — récupère des éléments précis grâce à leur adresse au sein de la page.
• =IMPORTDATA("url") — charge un fichier de données prêt à l'emploi (CSV).

C'est le point de départ idéal pour un non-programmeur : tout se passe dans un tableur familier, et les données peuvent se mettre à jour automatiquement.

Niveau 2. Les extensions de navigateur

Des plugins gratuits qui transforment la collecte en « montrez à la souris ce qu'il faut récupérer » :

• Web Scraper (extension pour Chrome) — vous cliquez sur les éléments directement sur la page, vous expliquez au robot « ceci est le nom, ceci est le prix », et il parcourt toutes les pages tout seul.
• Instant Data Scraper — détecte automatiquement les tableaux et les listes de la page et propose de les télécharger en un clic. Très rapide pour les cas simples.

Ils conviennent quand le site est simple et que la collecte reste occasionnelle.

Niveau 3. Les plateformes no-code (sans code, mais plus puissantes)

De vrais services à interface visuelle, pensés pour des volumes sérieux :

• Octoparse, ParseHub — vous configurez la collecte à la souris, et la plateforme gère elle-même les sites complexes, la pagination, la planification automatique.
• Apify — une marketplace de scrapers prêts à l'emploi pour les sites populaires : ce qu'il vous faut a souvent déjà été écrit, il ne reste qu'à le lancer.
• Bright Data, Octoparse Cloud — des solutions cloud d'échelle industrielle, contournement des blocages compris (on y revient plus bas). Là, on parle d'offres payantes pour les entreprises.

Avantage : pas besoin de programmer. Inconvénient : le confort et l'échelle se paient, et la flexibilité reste malgré tout inférieure à celle de votre propre code.

Niveau 4. La programmation (flexibilité maximale)

Quand il faut un contrôle total, on écrit du code. Le langage le plus populaire pour cela est Python, en grande partie grâce à ses bibliothèques de collecte très pratiques. Les principaux outils :

• requests — le « téléchargeur » de pages : il demande le HTML au site et le reçoit.
• BeautifulSoup — le « décortiqueur » : il trouve les bonnes boîtes dans le HTML reçu. Le duo requests + BeautifulSoup est la panoplie classique du débutant.
• Scrapy — un framework complet pour les projets sérieux : il suit les liens tout seul, parcourt des milliers de pages, range le résultat dans des fichiers. Pour les grandes tâches.
• Selenium et Playwright — pilotent un vrai navigateur comme un robot-humain : ils cliquent sur les boutons, font défiler, remplissent les champs. Indispensables pour les sites « capricieux » (voir plus bas la partie JavaScript).
• pandas — pas pour la collecte, mais pour le traitement : il met les données récoltées en tableau, les nettoie, calcule.

Pas besoin d'écrire le code vous-même : les assistants IA modernes rédigent ces scripts à partir d'une description de la tâche en langage courant. Le ticket d'entrée a fortement baissé ces dernières années.

Le niveau « zéro collecte » : les données déjà prêtes

Avant de scraper quoi que ce soit, vérifiez si quelqu'un n'a pas déjà tout collecté :

• Jeux de données ouverts — Kaggle, portails open data des administrations (data.gov, data.gouv.fr), instituts de statistique.
• Flux RSS — beaucoup de sites d'actualité et de blogs publient encore leurs derniers contenus sous forme de flux prêt à l'emploi, lisible par les machines. Simple et légal.
• API officielles — répétons-le : quand elle existe, c'est la meilleure option.

Partie 4. Les principales difficultés et comment les contourner

Les sites en JavaScript

Beaucoup de sites modernes livrent d'abord une page presque vide, puis en « dessinent » le contenu via des scripts, directement dans le navigateur. Un simple requests ne verra que du vide. La solution : des outils qui lancent un vrai navigateur (Selenium, Playwright) et attendent que tout soit chargé. C'est plus lent, mais ils voient tout ce que voit un humain.

Pagination et défilement

Les données tiennent rarement sur une seule page — le plus souvent, c'est « 1, 2, 3 … 500 » en bas de page ou un défilement infini. Il faut apprendre au scraper à passer de page en page ou à faire défiler vers le bas jusqu'à épuisement des enregistrements.

Les protections anti-bots

Les sites n'aiment pas être scrapés intensivement et dressent des obstacles : CAPTCHA (« prouvez que vous êtes humain »), blocage de l'adresse IP en cas de requêtes trop fréquentes, connexion obligatoire. On les contourne par des pauses entre les requêtes, la rotation d'adresses (serveurs proxy), le camouflage en navigateur ordinaire. Gardez ceci en tête : plus le contournement des protections est agressif, plus vous vous rapprochez d'une violation des conditions du site. C'est une zone grise, où la ligne est vite franchie.

Le nettoyage des données

Ce qu'on collecte n'est presque jamais parfait : espaces superflus, devise mélangée aux chiffres (« 1 990 € » au lieu de 1990), doublons, trous. Le traitement et le nettoyage représentent en général une part du travail au moins égale à la collecte elle-même.

Partie 5. Des scénarios pour chaque type de données

Passons au plus concret. Voyons comment aborder chaque type de données en particulier.

Prix et produits (veille tarifaire, assortiment)

Pourquoi : suivre les prix des concurrents, repérer les promotions, analyser le marché, comparer les offres.

Particularités : les marketplaces sont les sites les mieux protégés d'Internet et interdisent en général explicitement le scraping dans leurs conditions. Les données sont chargées par des scripts, les prix bougent, et des systèmes anti-bots sérieux montent la garde.

Comment s'y prendre : pour une tâche ponctuelle — les extensions de navigateur. Pour une veille régulière — les plateformes no-code (Apify propose souvent des scrapers prêts à l'emploi pour les grandes boutiques) ou votre propre code avec automatisation du navigateur. Beaucoup de grandes plateformes disposent d'API partenaires ou produits — c'est la voie légale. Soyez particulièrement attentif aux règles des plateformes : le scraping y vaut des bannissements et des procès.

Actualités et articles (textes, titres)

Pourquoi : surveiller les mentions d'une marque ou d'un sujet, constituer un corpus pour analyse, suivre l'agenda médiatique.

Comment s'y prendre : en priorité, les flux RSS : c'est légal et simple. À défaut de flux, les API d'actualités prêtes à l'emploi (NewsAPI, GDELT et consorts) font l'affaire. Pour des sites isolés — le duo requests + BeautifulSoup. N'oubliez pas le droit d'auteur : collecter pour analyser, oui ; republier les textes d'autrui, non.

Tableaux et statistiques (Wikipédia, données publiques, annuaires)

Pourquoi : population des villes, statistiques sportives, séries historiques, données scientifiques.

Comment s'y prendre : c'est le genre le plus facile. Un tableau de Wikipédia s'extrait en une minute avec la seule fonction IMPORTHTML de Google Sheets. En Python, la bibliothèque pandas sait lire tous les tableaux d'une page en une seule commande (read_html). Et pensez aussi aux portails open data — beaucoup de choses y sont déjà disponibles en fichier prêt à l'emploi.

Annonces (immobilier, auto, offres d'emploi)

Pourquoi : analyser le marché locatif, les salaires moyens par métier, l'évolution des prix automobiles.

Particularités : ces annonces se comptent par milliers, réparties sur une multitude de pages, et les plateformes se défendent souvent. Important : les annonces contiennent fréquemment des données personnelles (coordonnées du vendeur) — inutile de les collecter, et c'est souvent illégal. Ne prenez que l'anonyme : prix, surface, quartier, caractéristiques.

Comment s'y prendre : plateformes no-code avec gestion de la pagination, ou Scrapy pour les gros volumes. Beaucoup de plateformes proposent des API à leurs partenaires.

Avis et notes

Pourquoi : comprendre ce qu'on loue et ce qu'on reproche à un produit, comparer les réputations, repérer les points de friction.

Particularités : récupérer le texte d'un avis est facile ; la valeur est dans l'analyse. L'approche moderne : collecter les avis, puis les passer dans un modèle d'IA qui détermine la tonalité (positif/négatif) et dégage les thèmes. On ne collecte pas les noms des auteurs — seulement le texte, la note et la date.

Finance (cours de Bourse, taux de change, crypto)

Pourquoi : analyse de marché, suivi de portefeuille, données historiques pour les backtests.

Comment s'y prendre : ici, il y a presque toujours des API, souvent gratuites ou freemium : Yahoo Finance, Alpha Vantage, API des places boursières, API des banques centrales pour les taux de change. Parser du HTML n'est presque jamais nécessaire ici — ce sont des données financières, on les sert exprès aux machines sous forme propre.

Météo et données scientifiques ou environnementales

Pourquoi : prévisions, relevés historiques, analyse climatique, croisement avec d'autres données.

Comment s'y prendre : exclusivement via des API (OpenWeatherMap, Open-Meteo, services des instituts météo). Parser des sites météo n'a aucun sens — l'API est plus pratique et plus fiable. Beaucoup d'entre elles sont gratuites pour un usage modéré.

Images et médias

Pourquoi : jeux de données pour entraîner l'IA, collections à analyser, archivage.

Particularités : techniquement, récupérer des images est simple (leurs adresses figurent dans le HTML). Juridiquement, c'est le terrain le plus glissant : les photos sont protégées par le droit d'auteur, et si des personnes y figurent, les données personnelles s'y ajoutent. La voie sûre : travailler avec des jeux de données spécialisés sous licence ouverte (Unsplash, Wikimedia Commons, collections avec autorisation d'utilisation explicite).

Cartes et géodonnées

Pourquoi : points sur une carte (cafés, stations-service), itinéraires, coordonnées, superficies de quartiers.

Comment s'y prendre : via les API des services cartographiques (OpenStreetMap est entièrement ouvert et gratuit ; les grandes plateformes cartographiques proposent des API payantes). À part, il existe OpenStreetMap en tant qu'immense base ouverte de géodonnées, que l'on peut télécharger par régions entières.

Données sportives

Pourquoi : statistiques de matchs, résultats, compositions d'équipes, historiques de performances.

Comment s'y prendre : il existe des API sportives spécialisées (certaines gratuites pour les données de base). Les tableaux de résultats se récupèrent aussi facilement depuis Wikipédia et les sites de référence via IMPORTHTML ou pandas.

Réseaux sociaux (métriques publiques, pas de données personnelles)

Pourquoi : analyse des tendances, popularité des hashtags, mentions d'un sujet.

Particularités : la catégorie la plus sensible après les données personnelles directes. Les réseaux sociaux sont verrouillés techniquement et juridiquement, le scraping y est presque toujours interdit par les règles, et la plupart des données y sont personnelles. La seule voie sûre : les API officielles des plateformes, et uniquement des indicateurs agrégés et anonymisés (nombre de posts sur un sujet, tonalité générale), sans collecter les profils de personnes précises.

Partie 6. Comment choisir son approche : l'antisèche express

Parcourez les questions de haut en bas — et arrêtez-vous au premier « oui » :

1. Les données ont-elles déjà été collectées quelque part ? → Vérifiez Kaggle, les portails open data, les flux RSS.
2. Le site propose-t-il une API officielle ? → Utilisez-la. C'est la meilleure option.
3. Besoin de très peu de données, une seule fois ? → Copiez à la main ou avec une extension de navigateur.
4. C'est un tableau ? → IMPORTHTML dans Google Sheets ou pandas en Python.
5. Collecte régulière, mais sans envie de coder ? → Une plateforme no-code (Octoparse, ParseHub, Apify).
6. Contrôle total ou tâche non standard ? → Python : requests + BeautifulSoup, Playwright/Selenium pour les sites complexes, Scrapy pour l'échelle.

Et à chaque étape, gardez en tête les trois garde-fous : robots.txt et règles du site, charge sur le serveur, et catégoriquement — aucune donnée personnelle.

Conclusion

La collecte de données sur les sites web est un éventail, pas une technologie unique. À une extrémité : sélectionner un tableau à la souris et le coller dans Excel ; à l'autre : un framework qui parcourt des milliers de pages selon un calendrier. Entre les deux : fonctions de tableur, extensions de navigateur, plateformes no-code et bibliothèques logicielles. Le bon outil se détermine selon le volume, la régularité et votre aisance à programmer (qui, grâce aux assistants IA, n'est aujourd'hui plus une vraie barrière).

L'essentiel à retenir : cherchez d'abord des données prêtes à l'emploi et des API, ne parsez le HTML que lorsqu'il n'y a pas d'autre solution, respectez les règles et les serveurs des sites, et tenez-vous à l'écart des données personnelles. Techniquement, on peut collecter presque n'importe quoi — mais un bon travail sur les données commence non par la question « comment extraire », mais par la question « en ai-je le droit, et est-ce que cela en vaut la peine ».