Crawling y scraping: definiciones
El crawling consiste en recorrer automáticamente sitios web para descubrir y leer páginas. El scraping, o extracción web, transforma su contenido en datos estructurados: un precio, una característica o un documento. Las dos tareas permiten convertir páginas de fabricantes, catálogos y ofertas públicas en información utilizable.
Recorrer no es extraer
El crawling responde a «¿dónde está la información?»: descubre la página de producto, la ficha técnica o el catálogo. El scraping responde a «¿qué contiene?»: convierte la página en valores con un formato definido. Un sistema trazable conserva para cada dato la URL o el documento del que procede; de lo contrario, la extracción no puede verificarse.
Qué cambian los agentes de IA
Históricamente, cada sitio requería un extractor específico que podía romperse al cambiar el diseño. Un agente puede interpretar la página y localizar un dato aunque su estructura varíe. Esto no elimina la necesidad de límites, formatos y controles mecánicos: desplaza parte del problema desde el código específico por sitio hacia el criterio aplicado a cada página. Véanse el matching y el enriquecimiento.
Marco que debe respetarse en Francia y Europa
La recogida de datos públicamente accesibles se utiliza en inteligencia de precios y datos de producto, pero debe diseñarse dentro de un marco jurídico y operativo. Los puntos de atención incluyen el derecho de las bases de datos, las condiciones de uso, el RGPD cuando existe información personal y la lealtad de la recogida —frecuencias razonables y sin desorganizar el sitio consultado—. Una característica de producto no es un dato personal, pero otros conjuntos pueden contenerlo. Para un uso concreto dudoso, la respuesta corresponde a un asesor jurídico, no al proveedor técnico.