Senior Data Engineer - Databricks & Medallion Platform

Capitole; Arbo; Presencial; EUR 70.000 - 90.000; Jornada completa

Descripción de la vacante

Capitole está buscando un/a Data Engineer Senior para diseñar y operar una plataforma de datos que alimenta pricing dinámico e inteligencia de negocio en entornos retail de alto volumen. Serás referente técnico de la arquitectura de datos, desde ingesta de ERP/POS/e-commerce hasta exponer datos para ML y BI.

Se requiere dominio de Databricks, arquitectura Medallion, Delta Lake y experiencia con Azure Data Factory para orquestar pipelines; la mayor parte de la transformación se realizará en

Formación

• 5+ años de experiencia en ingeniería de datos en entornos productivos.
• Databricks como plataforma principal; Delta Lake, Databricks Workflows, Unity Catalog.
• Modelado de datos: dominio de modelado dimensional (Kimball); diseño de esquemas estrella y copo de nieve; definición de claves surrogadas, SCDs y tablas de hechos.
• PySpark y SQL avanzado.
• Azure Data Factory: conocimiento funcional para orquestación y movimiento de datos; no es necesario dominio profundo.
• Experiencia con patrones de ingesta incremental: CDC, watermark, Delta Merge / upsert.
• Familiaridad con control de versiones (Git) y prácticas de DataOps básicas.

Responsabilidades

• Diseño y evolución de la arquitectura Medallion en Databricks.
• Diseño de modelos dimensionales para pricing, forecasting y personalización.
• Construcción de pipelines de ingesta desde ERP, POS, APIs de e-commerce y feeds de Retail Media.
• Uso de Azure Data Factory para orquestación; mayor parte de la transformación en Databricks (PySpark/SQL).
• Implementación de patrones de ingesta incremental (CDC, watermark, Delta Merge).
• Testing de pipelines: validaciones de schema, checks de completitud y pruebas de regresión.

Conocimientos

Databricks

Delta Lake

Medallion architecture

PySpark

SQL avanzado

Azure Data Factory

Data modeling

Git

DataOps

Unity Catalog

Herramientas

Unity Catalog

Great Expectations

dbt

Delta Merge

Descripción del empleo

Capitole está buscando un/a Data Engineer Senior para diseñar y operar una plataforma de datos que alimenta pricing dinámico e inteligencia de negocio en entornos retail de alto volumen. Serás referente técnico de la arquitectura de datos, desde ingesta de ERP/POS/e-commerce hasta exponer datos para ML y BI.

Se requiere dominio de Databricks, arquitectura Medallion, Delta Lake y experiencia con Azure Data Factory para orquestar pipelines; la mayor parte de la transformación se realizará en