Scraper: vigilar páginas web
Crea scrapers que recorren páginas web públicas, guardan su contenido y te señalan qué ha cambiado entre revisiones; prográmalos y exporta lo recogido.
Actualizado el . 7 min de lectura
Incluido en el plan Avanzado. Ver precios
El Scraper lee páginas web de forma automática y guarda su contenido. En lugar de entrar a mano en una web, copiar lo que pone y pegarlo en un documento, configuras una vez qué web quieres vigilar y UTILIA OS la recorre por ti, guarda lo que encuentra y, en cada revisión, te señala qué páginas son nuevas, cuáles han cambiado y cuáles han desaparecido.
Sirve, por ejemplo, para vigilar a la competencia, seguir páginas de precios o de novedades, o recopilar la información pública de un sitio.
Depende del plan
Scraper es un aplicativo que solo incluye el plan Avanzado. Si tu organización no lo tiene, no aparece en el menú, aunque tengas los permisos.
Conceptos
- Scraper: la configuración de una web que quieres vigilar: la dirección de partida y las reglas para recorrerla. Se crea una vez y se reutiliza.
- Ejecución: cada vez que el scraper recorre la web. Genera un conjunto de resultados con su fecha.
- Resultado: cada página leída en una ejecución, con su texto, su dirección y si ha cambiado respecto a la revisión anterior.
Antes de empezar
- El Scraper recoge contenido público. No sustituye a ningún acuerdo con el propietario del sitio: úsalo con responsabilidad y respetando las condiciones de cada web.
- Por defecto respeta el archivo robots.txt de la web, donde cada sitio dice qué se puede recorrer de forma automática. Puedes desactivarlo, pero lo recomendable es dejarlo.
- Lo que recoge un scraper es de tu organización y no lo ve nadie de fuera.
- Crear un scraper exige el permiso «Crear scrapers» y lanzarlo, «Ejecutar scrapers». De partida, crear solo pueden el Super Administrador y el Gerente; el resto de permisos está en Permisos.
Crear un scraper
En Scraper, necesitas entrar con tu cuenta, pulsa Nuevo Scraper. Tienes tres caminos:
- Crear scraper rápido: solo necesitas un nombre, la dirección (URL) y el tipo de sitio. Puedes marcar Ejecutar inmediatamente al crear.
- Plantillas: configuraciones ya preparadas para cada tipo de sitio (contenido, comercio, datos...).
- Asistente avanzado: cuatro pasos para ajustarlo todo.
El asistente avanzado
Información básica
Nombre del Scraper, descripción, grupo, la dirección de partida (con
https://) y el Tipo de Scraper (ver más abajo).Filtrado
Hasta dónde llega: Número Máximo de Páginas y Profundidad de Exploración (cuántos clics puede alejarse de la página de partida siguiendo enlaces). Si solo te interesa una parte del sitio, usa Solo visitar páginas que coincidan con e Ignorar páginas que coincidan con. Aquí también están Respetar robots.txt, Seguir enlaces externos y Usar sitemap.xml para descubrir páginas.
Extracción
El Formato de Salida del texto guardado: Markdown (por defecto, texto limpio y con estructura), Texto Plano, HTML o JSON. Puedes activar la extracción del contenido principal, que quita menús, barras laterales, pies y anuncios, y Eliminar contenido duplicado.
Avanzado
Ajustes técnicos (peticiones simultáneas, tipo de navegador, cabeceras) y la programación con Habilitar Programación.
Empieza sencillo: deja casi todo por defecto, con pocas páginas, ejecuta, mira el resultado y afina después.
Al guardar, el scraper queda en Borrador: configurado, pero sin recorrer nada. Un borrador no se puede ejecutar; pulsa Publicar en su ficha y aparecerá Ejecutar. Es el paso que más se olvida.
Tipos de scraper
Tres tipos de scraper
Por defecto, el más rápido
Estático
Como un navegador
Dinámico
Decide al empezar
Híbrido
Aunque elijas Estático, si la página de partida necesita ejecutar código para mostrar su contenido, esa ejecución pasa sola al modo dinámico y el registro lo anota. No tienes que acertar de antemano.
Ejecutar y seguir el proceso
Desde la ficha del scraper, pulsa Ejecutar. La web se recorre en segundo plano y no tienes que esperar delante de la pantalla. Mientras se ejecuta puedes pausarlo y reanudarlo donde se quedó, o detenerlo; cada acción tiene su permiso. Cuando termina, el scraper queda listo para la siguiente ejecución.
Estados de una ejecución
Ejecutando
RUNNING
Recorre la web; ves cuántas páginas lleva.Se llega desde Ejecutando cuando: Pulsas pausar
Pausado
PAUSED
Se queda donde estaba.Se llega desde Ejecutando cuando: Algo impide terminar
Fallido
FAILED
Estado final
El registro dice qué pasó.Se llega desde Ejecutando cuando: Lo detienes a mano
Detenido
STOPPED
Estado final
No sigue recorriendo.
Se llega desde Ejecutando cuando: Termina el recorrido
Completado
COMPLETED
Estado final
Los resultados ya se comparan con la revisión anterior.
Otras transiciones
- Pausado pasa a Ejecutando: Lo reanudas y sigue donde se quedó.
Cada ejecución guarda un registro con las páginas leídas, los avisos y los errores. Si algo no ha salido como esperabas, es lo primero que hay que mirar.
Ver qué ha cambiado
En cada ejecución, el scraper compara lo que encuentra con la revisión anterior y marca cada página:
| Marca | Qué significa |
|---|---|
| Nuevo | La página no existía en la revisión anterior. |
| Modificado | Ya existía, pero su contenido ha cambiado. |
| Sin cambios | Igual que la vez anterior. |
| Eliminado | Existía y ya no aparece o da error. |
Abre una ejecución
En la ficha del scraper, abre el historial de ejecuciones y elige una. Verás el resumen de cambios y la lista de páginas.
Filtra lo que te interesa
Filtra por tipo de cambio y busca por texto dentro del contenido. La búsqueda no distingue tildes.
Compara
En una página modificada puedes ver la comparación con su versión anterior, y con Comparar ejecuciones comparas dos recorridos completos.
Para vigilar a un competidor: crea un scraper sobre su web, prográmalo y mira en cada ejecución solo las páginas nuevas y modificadas. Sabrás cuándo cambian precios, lanzan un producto o retiran una sección sin entrar a comprobarlo.
Programarlo
En la programación del scraper eliges la Frecuencia de Ejecución: cada hora, todos los días a una hora, un día concreto de la semana o un día concreto del mes, en la zona horaria de tu organización. A partir de ahí se ejecuta solo, y cada ejecución vuelve a comparar con la anterior.
Organizar y exportar
- Grupos: agrupa scrapers bajo un nombre común (por ejemplo, «Competencia») desde Scraper › Grupos, necesitas entrar con tu cuenta. Necesitas el permiso «Gestionar grupos».
- Responsables: asigna un scraper a personas o departamentos, con su papel (responsable principal, asignado o de apoyo), para que quede claro quién vigila cada web.
- Exportar: descarga los resultados de una ejecución en CSV (para abrir en Excel), JSON (para procesarlos con otra herramienta) o un ZIP con un archivo por página. Necesitas el permiso «Exportar datos extraídos» y la exportación queda registrada.
Permisos
Scraper: qué puede hacer cada rol de partida
| Permiso | Super Administrador | Gerente | Vendedor | Asistente | Visualizador | Comercial Externo |
|---|---|---|---|---|---|---|
| Ver scrapersConsultar scrapers, ejecuciones y resultados. | Sí | Sí | Sí | Sí | Sí | No |
| Crear scrapers | Sí | Sí | No | No | No | No |
| Editar scrapersProgramación, grupo y responsables incluidos. | Sí | Sí | No | No | No | No |
| Eliminar scrapersBorra también sus resultados. | Sí | Sí | No | No | No | No |
| Ejecutar scrapersLanzar un recorrido. | Sí | Sí | Sí | Sí | No | No |
| Pausar, reanudar y detenerTres permisos: Pausar scrapers, Reanudar scrapers y Detener scrapers. | Sí | Sí | No | No | No | No |
| Ver logs de scraperConsultar el registro de una ejecución. | Sí | Sí | Sí | Sí | Sí | No |
| Exportar datos extraídos | Sí | Sí | Sí | No | No | No |
| Gestionar grupos | Sí | Sí | No | No | No | No |
- Ver scrapersConsultar scrapers, ejecuciones y resultados.Sí
- Crear scrapersSí
- Editar scrapersProgramación, grupo y responsables incluidos.Sí
- Eliminar scrapersBorra también sus resultados.Sí
- Ejecutar scrapersLanzar un recorrido.Sí
- Pausar, reanudar y detenerTres permisos: Pausar scrapers, Reanudar scrapers y Detener scrapers.Sí
- Ver logs de scraperConsultar el registro de una ejecución.Sí
- Exportar datos extraídosSí
- Gestionar gruposSí
- Ver scrapersConsultar scrapers, ejecuciones y resultados.Sí
- Crear scrapersSí
- Editar scrapersProgramación, grupo y responsables incluidos.Sí
- Eliminar scrapersBorra también sus resultados.Sí
- Ejecutar scrapersLanzar un recorrido.Sí
- Pausar, reanudar y detenerTres permisos: Pausar scrapers, Reanudar scrapers y Detener scrapers.Sí
- Ver logs de scraperConsultar el registro de una ejecución.Sí
- Exportar datos extraídosSí
- Gestionar gruposSí
- Ver scrapersConsultar scrapers, ejecuciones y resultados.Sí
- Crear scrapersNo
- Editar scrapersProgramación, grupo y responsables incluidos.No
- Eliminar scrapersBorra también sus resultados.No
- Ejecutar scrapersLanzar un recorrido.Sí
- Pausar, reanudar y detenerTres permisos: Pausar scrapers, Reanudar scrapers y Detener scrapers.No
- Ver logs de scraperConsultar el registro de una ejecución.Sí
- Exportar datos extraídosSí
- Gestionar gruposNo
- Ver scrapersConsultar scrapers, ejecuciones y resultados.Sí
- Crear scrapersNo
- Editar scrapersProgramación, grupo y responsables incluidos.No
- Eliminar scrapersBorra también sus resultados.No
- Ejecutar scrapersLanzar un recorrido.Sí
- Pausar, reanudar y detenerTres permisos: Pausar scrapers, Reanudar scrapers y Detener scrapers.No
- Ver logs de scraperConsultar el registro de una ejecución.Sí
- Exportar datos extraídosNo
- Gestionar gruposNo
- Ver scrapersConsultar scrapers, ejecuciones y resultados.Sí
- Crear scrapersNo
- Editar scrapersProgramación, grupo y responsables incluidos.No
- Eliminar scrapersBorra también sus resultados.No
- Ejecutar scrapersLanzar un recorrido.No
- Pausar, reanudar y detenerTres permisos: Pausar scrapers, Reanudar scrapers y Detener scrapers.No
- Ver logs de scraperConsultar el registro de una ejecución.Sí
- Exportar datos extraídosNo
- Gestionar gruposNo
- Ver scrapersConsultar scrapers, ejecuciones y resultados.No
- Crear scrapersNo
- Editar scrapersProgramación, grupo y responsables incluidos.No
- Eliminar scrapersBorra también sus resultados.No
- Ejecutar scrapersLanzar un recorrido.No
- Pausar, reanudar y detenerTres permisos: Pausar scrapers, Reanudar scrapers y Detener scrapers.No
- Ver logs de scraperConsultar el registro de una ejecución.No
- Exportar datos extraídosNo
- Gestionar gruposNo
Quien puede ver scrapers ve todos los de su organización: hoy el listado no se recorta por departamento ni por responsable.
Siguiente paso
Lo que recoge el Scraper cobra sentido cuando lo usas en el resto de UTILIA OS: por ejemplo, para preparar el mensaje de tu próxima campaña con lo que sabes del mercado.
Ponlo en práctica
Lo encontrarás en Scraper. Para abrirlo, entra con tu cuenta de UTILIA OS.