Senior Data Engineer — Databricks & Medallion Platform

Capitole; Barcelona; Presencial; EUR 85.000 - 120.000; Jornada completa

Descripción de la vacante

Capitole busca un Data Engineer Senior para diseñar y operar una plataforma de datos que alimenta un sistema de pricing dinámico e inteligencia de negocio en retail de alto volumen. Serás referente técnico de la arquitectura de datos, desde ingesta de ERP/POS/e-commerce hasta exposición para ML y BI.

Requerimos dominio de Databricks, Delta Lake y arquitectura Medallion, con experiencia en Kimball, modelado dimensional y pipelines en PySpark/SQL.

Formación

• 5+ años de experiencia en ingeniería de datos en entornos productivos.
• Experiencia sólida con Databricks como plataforma principal; Delta Lake, Databricks Workflows, Unity Catalog.
• Diseño e implementación de capas Bronze / Silver / Gold, granularidad, particionado y SLA por capa.
• Dominio de modelado dimensional (Kimball); diseño de esquemas estrella y copo de nieve; claves surrogadas, SCDs y tablas de hechos.
• PySpark y SQL avanzado (window functions, CTEs, optimización de queries).
• Azure Data Factory: conocimiento funcional para orquestación y movimiento de datos
• Experiencia con patrones de ingesta incremental: CDC, watermark, Delta Merge / upsert.
• Familiaridad con control de versiones (Git) y prácticas de DataOps básicas.

Responsabilidades

• Diseño y evolución de la arquitectura Medallion (Bronze → Silver → Gold) sobre Databricks / Delta Lake.
• Definición de estándares de ingesta, particionado, compactación y versionado de tablas Delta.
• Gobierno de la plataforma: Unity Catalog, gestión de permisos, linaje de datos y calidad (Great Expectations o similar).
• Evaluación y decisión de patrones de procesamiento: batch, micro-batch (Structured Streaming) y near real-time según el caso de uso.
• Diseño de modelos dimensionales (esquemas estrella y copo de nieve) orientados a casos de uso de pricing, forecasting y personalización.
• Definición de tablas de hechos y dimensiones: transacciones POS, catálogo de productos, maestro de tiendas, calendario promocional.
• Colaboración con el equipo de ML para diseñar y mantener el feature store sobre la capa Gold.
• Documentación del modelo de datos en un catálogo semántico accesible para usuarios de negocio y analítica.
• Construcción de pipelines de ingesta desde fuentes heterogéneas: ERP (SAP u otros), POS, APIs de e-commerce, feeds de Retail Media, NPS.
• Uso de Azure Data Factory para orquestación de movimientos de datos entre sistemas origen y el lakehouse — con preferencia por mantener la lógica de transformación en Databricks (PySpark / SQL).
• Implementación de patrones de ingesta incremental (CDC, watermark, upsert con Delta Merge) para minimizar latencia y coste.
• Testing de pipelines: validaciones de schema, checks de completitud y pruebas de regresión sobre datos.
• Monitorización de jobs en Databricks Workflows: alertas, reintentos y gestión de dependencias.
• Optimización de costes de cómputo: sizing de clusters, uso de Photon, Auto Loader y optimizaciones de Delta (OPTIMIZE / ZORDER).
• Soporte a incidencias de datos en producción (on-call rotatorio con el equipo).

Conocimientos

Databricks

PySpark

SQL Avanzado

Modelado dimensional

DataOps

Git

Medallion Architecture

Herramientas

Delta Lake

Unity Catalog

Azure Data Factory

Structured Streaming

Delta Merge

Photon

Auto Loader

Descripción del empleo

Capitole busca un Data Engineer Senior para diseñar y operar una plataforma de datos que alimenta un sistema de pricing dinámico e inteligencia de negocio en retail de alto volumen. Serás referente técnico de la arquitectura de datos, desde ingesta de ERP/POS/e-commerce hasta exposición para ML y BI.

Requerimos dominio de Databricks, Delta Lake y arquitectura Medallion, con experiencia en Kimball, modelado dimensional y pipelines en PySpark/SQL.