La mission
Les données du groupe étaient éparpillées sur plusieurs dizaines de sources — sites, exports, formats et structures variés. Il fallait un flux XML unique, régulièrement actualisé et au format homogène, à remettre aux systèmes connectés sans réassemblage manuel.
Ce que nous avons fait et les données collectées
Nous avons collecté les données de toutes les sources — sites, fichiers et exports de formats divers — et les avons ramenées à un schéma unique. En complément, nous avons monté l'assemblage du flux XML final avec validation et actualisation régulière, la livraison étant organisée en DaaS / données via API.
Difficultés et solutions
La difficulté principale : l'hétérogénéité. Plusieurs dizaines de sources, ce sont des dizaines de structures : ici du JSON, là des tableaux et du CSV, ailleurs des documents, parfois seulement des pages web. Nous avons décrit un schéma cible unique et y avons rattaché chaque source.
Deuxième : la fraîcheur. Les sources s'actualisent à des rythmes différents ; la collecte suivait donc un calendrier et les changements étaient repris automatiquement.
Troisième : la validité du flux. Le XML final était validé structurellement avant publication et dédupliqué, pour que les consommateurs du flux ne reçoivent jamais d'enregistrements cassés ou en double.
Le résultat
Le groupe dispose d'un flux XML unique, assemblé automatiquement et selon un calendrier à partir de dizaines de sources — au lieu d'une consolidation manuelle d'exports épars.
Services dans ce projet : DaaS et données via API · Extraction de données web (web scraping) · Surveillance des changements de sites et de données
Ressources utiles : Parsing XML · Parsing JSON · Parsing de documents · Normalisation des données