Senior Databricks Data Engineer (Medallion Architect)

Capitole; Murcia; Presencial; EUR 60.000 - 90.000; Jornada completa

Descripción de la vacante

Capitole busca un Data Engineer Senior para diseñar y operar la plataforma de datos que alimenta un sistema de pricing dinámico y BI en retail de alto volumen. Serás referente técnico de la arquitectura de datos, abarcando ingesta de ERP/POS/e-commerce y exposición para modelos de ML y BI.

Se requiere dominio profundo de Databricks, Delta Lake y Unity Catalog, así como experiencia en modelado dimensional y orquestación con Azure Data Factory.

Formación

• 5+ años de experiencia en ingeniería de datos en entornos productivos.
• Databricks: plataforma principal; Delta Lake, Databricks Workflows, Unity Catalog.
• Arquitectura Medallion: Bronze/Silver/Gold con particionado y SLA por capa.
• Modelado dimensional (Kimball); esquemas estrella/snowflake; claves surrogate, SCDs.
• Python (PySpark) y SQL avanzado; uso de funciones window, CTE y optimización.
• Azure Data Factory: orquestación de movimientos de datos; transformación mayormente en Databricks.
• Patrones de ingesta incremental: CDC, watermark, Delta Merge/upsert.
• Control de versiones (Git) y prácticas de DataOps.

Responsabilidades

• Diseñar y evolucionar la arquitectura Medallion en Databricks/Delta Lake.
• Definir estándares de ingesta, particionado y versionado de tablas.
• Gobierno de la plataforma: Unity Catalog, linaje de datos y calidad (Great Expectations).
• Definir patrones de procesamiento: batch, micro-batch y near real-time.
• Modelar datos para pricing, forecasting y personalización (esquemas estrella/snowflake).
• Colaborar con ML para feature store en la capa Gold.
• Desarrollar pipelines de ingesta desde ERP, POS y APIs de e‑commerce.
• Monitorizar Databricks Workflows, gestionar alertas y coste.

Conocimientos

Databricks

Delta Lake

PySpark

SQL avanzado

Azure Data Factory

Data governance

Modelado dimensional

Great Expectations

DataOps

Whole pipeline orchestration

Herramientas

Databricks

Azure Data Factory

Delta Lake

Git

Great Expectations

dbt

Kafka

Descripción del empleo

Capitole busca un Data Engineer Senior para diseñar y operar la plataforma de datos que alimenta un sistema de pricing dinámico y BI en retail de alto volumen. Serás referente técnico de la arquitectura de datos, abarcando ingesta de ERP/POS/e-commerce y exposición para modelos de ML y BI.

Se requiere dominio profundo de Databricks, Delta Lake y Unity Catalog, así como experiencia en modelado dimensional y orquestación con Azure Data Factory.