Crawl et scraping : définitions
Le crawl consiste à parcourir automatiquement des sites web pour découvrir et lire des pages ; le scraping (ou extraction) consiste à transformer le contenu de ces pages en données structurées — un prix, une caractéristique, un document. Les deux sont le socle de la donnée produit : c'est ainsi que les fiches fabricants, les catalogues et les fiches concurrentes deviennent exploitables.
Crawler n'est pas extraire
Les deux mots sont souvent confondus. Le crawl répond à « où est l'information ? » : découvrir la page produit, la fiche technique PDF, le catalogue. Le scraping répond à « que dit-elle ? » : en extraire des valeurs structurées, au bon format. Un système sérieux fait les deux — et garde pour chaque valeur le lien vers la page d'où elle vient : sans cette traçabilité, une donnée extraite est invérifiable.
Ce que les agents IA changent
Historiquement, extraire un site demandait un développement dédié — un « crawler par site », fragile à chaque refonte. Les agents changent l'économie du problème : un agent navigue, comprend la page comme un humain, trouve la donnée même quand la structure change, et peut découvrir de lui-même où un produit est vendu. L'extraction passe d'un problème de code par site à un problème de jugement par page — voir le matching produit et l'enrichissement.
Le cadre à respecter en France
Collecter des données publiquement accessibles est une pratique établie — c'est le socle de la veille tarifaire et de la donnée produit — mais elle s'exerce dans un cadre. Les points d'attention connus : le droit des bases de données (l'extraction d'une partie substantielle de la base d'autrui est protégée par le Code de la propriété intellectuelle), les conditions d'utilisation des sites, le RGPD dès qu'une donnée personnelle est en jeu — ce qui n'est pas le cas d'une caractéristique produit —, et la loyauté de la collecte (fréquences raisonnables, pas de désorganisation du site visité). Une collecte sérieuse se conçoit avec ces contraintes dès le départ, pas après coup ; en cas de doute sur un usage précis, la réponse relève d'un conseil juridique, pas d'un prestataire technique.