Databricks Data Engineer — Medallion Platform Expert

Capitole; Ares; Presencial; EUR 70.000 - 90.000; Jornada completa

Descripción de la vacante

Capitole busca un Data Engineer Senior para diseñar y operar la plataforma de datos que alimenta un sistema de pricing dinámico e BI, trabajando con Databricks y Delta Lake en una arquitectura Medallion. Serás referente técnico en ingesta, modelado y orquestación de pipelines.

Colaborarás con ML para el feature store y con analistas para definir KPIs. Se espera experiencia en PySpark, SQL y herramientas de gobierno de datos; trabajo cercano a equipos de negocio.

Formación

• 5+ años de experiencia en ingeniería de datos en entornos productivos.
• Databricks: experiencia sólida con Databricks como plataforma principal; Delta Lake, Databricks Workflows, Unity Catalog.
• Arquitectura Medallion: diseño e implementación de Bronze/Silver/Gold con escalabilidad y SLA definidos.
• Modelado de datos: experiencia en Kimball y esquemas estrella y copo de nieve; claves surrogate.
• Lenguajes: PySpark y SQL avanzado (ventanas, CTEs, optimización de queries).
• Azure Data Factory: conocimientos para orquestación de datos (básico).
• Patrones de ingesta incremental: CDC, watermark, Delta Merge / upsert.
• Control de versiones (Git) y prácticas de DataOps.

Responsabilidades

• Diseño y evolución de la arquitectura Medallion (Bronze → Silver → Gold) sobre Databricks / Delta Lake.
• Definición de estándares de ingesta, particionado y versionado de tablas Delta.
• Gobierno de la plataforma: Unity Catalog, permisos, linaje y calidad de datos.
• Elección de patrones de procesamiento: batch, micro-batch y near real-time según el caso de uso.
• Diseño de modelos dimensionales para pricing, forecasting y personalización.
• Colaboración con ML para el feature store sobre la capa Gold y documentación en catálogo semántico.
• Construcción de pipelines desde ERP, POS, APIs y feeds de Retail.
• Testing de pipelines: validar schema, checks de completitud y pruebas de regresión.

Conocimientos

Databricks

Delta Lake

PySpark

SQL avanzado

Azure Data Factory

Modelado dimensional

Medallion architecture

Git

CDC / Delta Merge

DataOps

Herramientas

dbt

Purview

Alation

Kafka

Descripción del empleo

Capitole busca un Data Engineer Senior para diseñar y operar la plataforma de datos que alimenta un sistema de pricing dinámico e BI, trabajando con Databricks y Delta Lake en una arquitectura Medallion. Serás referente técnico en ingesta, modelado y orquestación de pipelines.

Colaborarás con ML para el feature store y con analistas para definir KPIs. Se espera experiencia en PySpark, SQL y herramientas de gobierno de datos; trabajo cercano a equipos de negocio.