Scraping
Extraemos y organizamos datos de sitios web de forma responsable: precios, catálogos y directorios convertidos en información estructurada.
PEDIR DIAGNÓSTICOQué es el scraping
El scraping es la recogida automática de información publicada en sitios web. Un programa visita las páginas, localiza los datos que interesan y los guarda de forma estructurada, de manera que se pueden consultar, comparar o cargar en otro sistema sin copiarlos a mano.
En qué se diferencia
De una API
Una API es la vía que el propio sitio ofrece para acceder a sus datos: estable y autorizada. Si existe y cubre lo que necesitas, es preferible al scraping.
Del crawling
El crawling recorre un sitio siguiendo enlaces para descubrir páginas. El scraping extrae campos concretos de esas páginas. Un proyecto suele necesitar los dos.
Scraping responsable
Respeta las indicaciones del sitio, mantiene un ritmo que no sobrecarga el servidor, no elude bloqueos ni medidas de seguridad y no recoge datos personales sin base legal.
Qué datos recogemos
Precios
Precios publicados en tiendas online y marketplaces.
Catálogos
Fichas de producto, referencias y características.
Directorios
Listados de empresas, centros o recursos publicados en fuentes públicas.
Ejemplos de lo que ya hemos hecho
Precios
Recoger los precios de catálogos públicos para compararlos con los propios de forma periódica.
Directorios
Convertir un directorio público en una tabla ordenada, sin recoger datos personales sin base legal.
Novedades
Seguir lo que se publica en una web, como convocatorias o licitaciones, y recibirlo ordenado.
Disponibilidad de proveedores
Seguir el stock y los plazos de varios proveedores en una sola vista.
Fichas de producto
Recoger datos técnicos de fichas públicas para completar un catálogo.
Opiniones públicas
Reunir reseñas y menciones públicas de un producto para analizarlas.
Cuándo ayuda
Cuando alguien del equipo revisa webs a mano de forma periódica para seguir precios, catálogos o listados, y esa información acaba copiada en una hoja de cálculo.
Qué conviene saber
- No todos los datos se pueden recoger. Depende de las condiciones de uso del sitio y de la normativa, sobre todo si hay datos personales.
- Cuando el sitio de origen cambia su estructura, el extractor hay que ajustarlo.
- Los datos reflejan el momento en que se recogieron. Su vigencia depende de la frecuencia de recogida.
- Que un dato personal esté publicado no significa que se pueda recoger y usar libremente: el RGPD se aplica igual.
- Un catálogo o un directorio puede estar protegido como base de datos. Extraer una parte sustancial sin permiso puede vulnerar los derechos de quien lo ha elaborado.
- Muchos sitios usan protección contra bots. Eludir bloqueos o medidas de seguridad aumenta el riesgo legal.
PREGUNTAS FRECUENTES
¿Qué es el scraping?
Es la recogida automática de información publicada en sitios web: un programa visita las páginas, localiza los datos que interesan y los guarda de forma estructurada.
¿Qué datos se pueden extraer con scraping?
Datos publicados, como precios, catálogos y directorios. No todos se pueden recoger: depende de las condiciones de uso del sitio y de la normativa, sobre todo si hay datos personales.
¿Qué pasa si la web de origen cambia?
Cuando el sitio de origen cambia su estructura, el extractor hay que ajustarlo.
¿Es legal hacer scraping en España?
Depende de qué se recoge, cómo y para qué. No es ilegal por sí mismo. Los datos personales, el contenido protegido, las bases de datos y los sitios que exigen registro cambian el análisis. Los casos dudosos conviene revisarlos con un abogado.
¿Se pueden recoger datos personales publicados en una web?
No libremente. Aunque sean accesibles, siguen siendo datos personales y el RGPD exige una base legal para tratarlos y, con carácter general, informar a las personas afectadas.
¿Cómo trabaja Devontic el scraping?
Procuramos respetar las indicaciones del sitio, no sobrecargarlo y no recoger datos personales sin base legal. Si un cliente necesita algo distinto, estudiamos su caso antes de decidir.
¿Qué valor tiene el archivo robots.txt?
No es una norma legal, sino la forma en que un sitio indica qué no quiere que recorra un programa. Respetarlo forma parte de un scraping responsable.
¿Cuánto mantenimiento necesita un extractor?
Es continuo. Los sitios cambian su estructura y sus protecciones, y cada cambio puede dejar el extractor sin funcionar hasta que se ajusta. Es el coste que más se subestima.
¿Qué hace falta para empezar?
La lista de sitios y de campos, la frecuencia con la que necesitas los datos y el formato en que quieres recibirlos. Lo primero que se comprueba es si el sitio ofrece una API y qué dicen sus condiciones de uso.
De la web al dato
Empezamos con una prueba de concepto sobre datos reales y solo escalamos si hay valor demostrado.