Data Quality Developer

Capitole; Almería; Presencial; EUR 70.000 - 90.000; Jornada completa

Descripción de la vacante

Capitole está buscando un Data Engineer Senior para diseñar y operar la plataforma de datos que alimenta un sistema de pricing dinámico e inteligencia de negocio en retail de alto volumen. Serás referente técnico de la arquitectura de datos, desde ingesta hasta la capa Gold, asegurando calidad y desempeño.

Se valorará experiencia sólida en Databricks, Delta Lake, PySpark y SQL, con enfoque en mantenimiento de pipelines y colaboración estrecha con ML y BI.

Formación

• 5+ años de experiencia en ingeniería de datos en entornos productivos.
• Experiencia sólida con Databricks, Delta Lake y Unity Catalog.
• Conocimiento de Azure Data Factory para orquestación de pipelines.
• Modelado de datos dimensional y pipelines de ingesta.
• Colaboración con ML y equipos de BI para garantizar calidad de datos.

Responsabilidades

• Definición de tablas de hechos y dimensiones: POS, catálogo, tiendas y calendario.
• Colaboración con ML para designar y mantener el feature store en Gold.
• Documentación del modelo de datos en un catálogo semántico accesible a negocio.
• Construcción de pipelines de ingesta desde ERP, POS, APIs y feeds de Retail.
• Testing de pipelines: schema, checks y regresión de datos.
• Soporte a incidencias de datos en producción (on‑call).
• Trabajo cercano con analistas para métricas y KPIs de Gold.
• Participación en code reviews y estándares de calidad del equipo.

Conocimientos

Databricks

Delta Lake

PySpark

SQL

Azure Data Factory

Unity Catalog

Great Expectations

Data modeling

Git

DataOps

Herramientas

dbt

Kafka

Purview

Descripción del empleo

Buscamos un/a Data Engineer Senior para diseñar y operar la plataforma de datos que alimenta un sistema de pricing dinámico e inteligencia de negocio en entornos retail de alto volumen. La persona seleccionada será el referente técnico de la arquitectura de datos: desde la ingesta de fuentes operacionales (ERP, POS, e-commerce, footfall) hasta la exposición de datos listos para consumo por modelos de ML y herramientas de BI. El rol requiere dominio profundo de Databricks como plataforma central y sólido conocimiento de la arquitectura Medallion (Bronze / Silver / Gold), así como experiencia en modelado de datos dimensional y capacidad para trabajar con Azure Data Factory como orquestador de pipelines. Gobierno de la plataforma: Unity Catalog, gestión de permisos, linaje de datos y calidad (Great Expectations o similar).

• Definición de tablas de hechos y dimensiones: transacciones POS, catálogo de productos, maestro de tiendas, calendario promocional.
• Colaboración con el equipo de ML para diseñar y mantener el feature store sobre la capa Gold.
• Documentación del modelo de datos en un catálogo semántico accesible para usuarios de negocio y analítica.
• Construcción de pipelines de ingesta desde fuentes heterogéneas: ERP (SAP u otros), POS, APIs de e-commerce, feeds de Retail Media, NPS.
• Uso de Azure Data Factory para orquestación de movimientos de datos entre sistemas origen y el lakehouse — con preferencia por mantener la lógica de transformación en Databricks (PySpark / SQL).>
• Testing de pipelines: validaciones de schema, checks de completitud y pruebas de regresión sobre datos.
• Soporte a incidencias de datos en producción (on-call rotatorio con el equipo).
• Trabajo estrecho con Data Scientists para garantizar que el feature store cubra los requisitos de los modelos de pricing y recomendación.
• Acompañamiento a analistas de negocio en la definición de métricas y KPIs sobre la capa Gold.
• Participación en code reviews, definición de convenciones de nombrado y estándares de calidad del equipo.

5+ años de experiencia en ingeniería de datos en entornos productivos.

• Experiencia sólida con Databricks como plataforma principal; Delta Lake, Databricks Workflows, Unity Catalog.
• PySpark y SQL avanzado (window functions, CTEs, optimización de queries).
• Azure Data Factory: conocimiento funcional para orquestación y movimiento de datos.
• Experiencia con patrones de ingesta incremental: CDC, watermark, Delta Merge / upsert.
• Familiaridad con control de versiones (Git) y prácticas de DataOps básicas.
• Experiencia en retail, travel retail o sectores con datos transaccionales de alto volumen.
• Conocimiento de herramientas de calidad de datos: Great Expectations, Soda o similar.
• Experiencia con dbt (data build tool) para transformaciones SQL sobre la capa Silver/Gold.
• Familiaridad con eventos en streaming: Kafka, Event Hubs o Databricks Structured Streaming.
• Conocimiento de herramientas de catálogo y linaje: Purview, Alation o Unity Catalog avanzado.
• Experiencia colaborando con equipos de ML en el diseño de feature stores (Feast, Tecton o solución custom).

Data Quality Developer Almería, almería (comarca); provincia de almería; andalucía, Spain