Senior Databricks Data Engineer — Delta Lake & Medallion

Capitole; Málaga; Presencial; EUR 55.000 - 85.000; Jornada completa

Descripción de la vacante

Capitole busca un Data Engineer Senior para diseñar y operar una plataforma de datos capaz de alimentar pricing dinámico e inteligencia de negocio en retail de alto volumen.

El/la candidato/a ideal tendrá dominio de Databricks, Delta Lake y la arquitectura Medallion, con experiencia en ingesta, modelado y orquestación de pipelines con ADF y Spark. Colaborará con ML y analítica para maximizar valor de los datos.

Formación

• 5+ años de experiencia en ingeniería de datos en entornos productivos.
• Databricks: experiencia sólida con Databricks como plataforma principal; Delta Lake, Databricks Workflows, Unity Catalog.
• Arquitectura Medallion: diseño e implementación de Bronze/Silver/Gold.
• Modelado dimensional (Kimball); esquemas estrella y copo de nieve; claves surrogadas; SCDs.
• Lenguajes: PySpark y SQL avanzado; funciones de ventana, CTEs, optimización de queries.
• Azure Data Factory: conocimiento funcional para orquestación de datos.
• Ingesta incremental: CDC, watermark, Delta Merge/upsert.
• Control de versiones (Git) y DataOps.

Responsabilidades

• Diseño y evolución de la arquitectura Medallion sobre Databricks/Delta Lake.
• Definición de ingesta, particionado y versionado de tablas Delta.
• Gobierno de la plataforma: Unity Catalog, linaje y calidad de datos.
• Patrones de procesamiento: batch, micro-batch y near real-time.
• Diseño de modelos dimensionales para pricing, forecasting y personalización.
• Colaboración con ML para feature store en la capa Gold.
• Documentación del modelo de datos en un catálogo semántico.

Conocimientos

Databricks

Delta Lake

Medallion architecture

PySpark

SQL avanzado

Azure Data Factory

CDC / Delta Merge

Git / DataOps

Structured Streaming

Unity Catalog

Herramientas

dbt

Purview / Alation / Unity Catalog

Kafka / Event Hubs

Purview / Alation

Descripción del empleo

Capitole busca un Data Engineer Senior para diseñar y operar una plataforma de datos capaz de alimentar pricing dinámico e inteligencia de negocio en retail de alto volumen.

El/la candidato/a ideal tendrá dominio de Databricks, Delta Lake y la arquitectura Medallion, con experiencia en ingesta, modelado y orquestación de pipelines con ADF y Spark. Colaborará con ML y analítica para maximizar valor de los datos.