Senior Databricks Engineer - Delta Lake & Feature Store

Capitole; Nava; Presencial; EUR 55.000 - 85.000; Jornada completa

Descripción de la vacante

Capitole busca un Data Engineer Senior para diseñar y operar la plataforma de datos que alimenta un sistema de pricing dinámico e inteligencia de negocio en entornos retail de alto volumen.

Serás el referente técnico de la arquitectura de datos: desde la ingesta de fuentes operacionales (ERP, POS, e-commerce) hasta la exposición de datos para modelos de ML y herramientas de BI, con Databricks y Delta Lake como base.

Formación

• 5+ años de experiencia en ingeniería de datos en entornos productivos.
• Databricks: experiencia sólida como plataforma principal; Delta Lake, Databricks Workflows, Unity Catalog.
• Arquitectura Medallion: diseño e implementación de Bronze/Silver/Gold con criterios de granularidad y SLA.
• Modelado de datos: dominio de Kimball, estrellas y copos de nieve, claves surrogate, SCDs y hechos.
• Lenguajes: PySpark y SQL avanzado (ventanas, CTEs, optimización de consultas).
• Azure Data Factory: conocimiento funcional para orquestación y movimiento de datos.
• Patrones de ingesta incremental: CDC, watermark, Delta Merge/upsert.
• Control de versiones (Git) y prácticas básicas de DataOps.

Responsabilidades

• Diseño y evolución de la arquitectura Medallion (Bronze → Silver → Gold) sobre Databricks/Delta Lake.
• Definición de estándares de ingesta, particionado, compactación y versionado de tablas Delta.
• Gobierno de la plataforma: Unity Catalog, permisos, linaje y calidad de datos.
• Evaluación de patrones de procesamiento: batch, micro-batch y near real-time.
• Diseño de modelos dimensionales para pricing, forecasting y personalización.
• Colaboración con ML para el feature store y documentación en un catálogo semántico.
• Desarrollo de pipelines de ingesta desde ERP/POS/API de e-commerce y otros.

Conocimientos

Databricks

Delta Lake

Medallion architecture

PySpark

SQL avanzado

Azure Data Factory

DataOps

Git

Herramientas

dbt

Great Expectations

Soda

Purview

Descripción del empleo

Capitole busca un Data Engineer Senior para diseñar y operar la plataforma de datos que alimenta un sistema de pricing dinámico e inteligencia de negocio en entornos retail de alto volumen.

Serás el referente técnico de la arquitectura de datos: desde la ingesta de fuentes operacionales (ERP, POS, e-commerce) hasta la exposición de datos para modelos de ML y herramientas de BI, con Databricks y Delta Lake como base.