Senior Data Engineer — Databricks & Medallion Lakehouse

Capitole; Badajoz; Presencial; EUR 60.000 - 90.000; Jornada completa

Descripción de la vacante

Capitole busca un Data Engineer Senior para diseñar y operar la plataforma de datos que alimenta un sistema de pricing dinámico e inteligencia de negocio en entornos retail de alto volumen. Liderarás la arquitectura de datos desde ingesta (ERP, POS, e-commerce) hasta la exposición para ML y BI, con Databricks como plataforma central y Unity Catalog.

Se valorará dominio de Delta Lake, arquitectura Medallion y orquestación con Azure Data Factory; colaborarás estrechamente con ML y analistas para

Formación

• 5+ años de experiencia en ingeniería de datos en entornos productivos.
• Databricks: experiencia sólida con Databricks como plataforma principal; Delta Lake, Databricks Workflows, Unity Catalog.
• Arquitectura Medallion: diseño e implementación de capas Bronze / Silver / Gold con criterios claros de granularidad, particionado y SLA por capa.
• Modelado de datos: dominio de modelado dimensional (Kimball); diseño de esquemas estrella y copo de nieve; definición de claves surrogadas, SCDs y tablas de hechos.
• Lenguajes: PySpark y SQL avanzado (window functions, CTEs, optimización de queries).
• Azure Data Factory: conocimiento funcional para orquestación y movimiento de datos; no es necesario dominio profundo.
• Experiencia con patrones de ingesta incremental: CDC, watermark, Delta Merge / upsert.
• Familiaridad con control de versiones (Git) y prácticas de DataOps básicas.

Responsabilidades

• Arquitectura y plataforma de datos.
• Diseño y evolución de la arquitectura Medallion (Bronze -> Silver -> Gold) sobre Databricks / Delta Lake.
• Definición de estándares de ingesta, particionado, compactación y versionado de tablas Delta.
• Gobierno de la plataforma: Unity Catalog, gestión de permisos, linaje de datos y calidad (Great Expectations o similar).
• Evaluación y decisión de patrones de procesamiento: batch, micro-batch (Structured Streaming) y near real-time según el caso de uso.
• Modelado de datos
• Diseño de modelos dimensionales (esquemas estrella y copo de nieve) orientados a pricing, forecasting y personalización.
• Definición de tablas de hechos y dimensiones: transacciones POS, catálogo de productos, maestro de tiendas, calendario promocional.
• Colaboración con el equipo de ML para diseñar y mantener el feature store sobre la capa Gold.
• Documentación del modelo de datos en un catálogo semántico accesible para usuarios de negocio y analítica.
• Pipelines e ingesta
• Construcción de pipelines de ingesta desde fuentes heterogéneas: ERP (SAP u otros), POS, APIs de e-commerce, feeds de Retail Media, NPS.
• Uso de Azure Data Factory para orquestación de movimientos de datos entre sistemas origen y el lakehouse — con preferencia por mantener la lógica de transformación en Databricks (PySpark / SQL).
• Implementación de patrones de ingesta incremental (CDC, watermark, upsert con Delta Merge) para minimizar latencia y coste.
• Testing de pipelines: validaciones de schema, checks de completitud y pruebas de regresión sobre datos.

Conocimientos

Databricks

Delta Lake

Unity Catalog

PySpark

SQL Avanzado

Azure Data Factory

CDC / upsert

Git

DataOps

Herramientas

dbt

Great Expectations

Soda

Purview/Alation

Kafka

Feast

Descripción del empleo

Capitole busca un Data Engineer Senior para diseñar y operar la plataforma de datos que alimenta un sistema de pricing dinámico e inteligencia de negocio en entornos retail de alto volumen. Liderarás la arquitectura de datos desde ingesta (ERP, POS, e-commerce) hasta la exposición para ML y BI, con Databricks como plataforma central y Unity Catalog.

Se valorará dominio de Delta Lake, arquitectura Medallion y orquestación con Azure Data Factory; colaborarás estrechamente con ML y analistas para