Ingeniero de Datos Senior - Databricks & Lakehouse

Capitole; Arbo; Presencial; EUR 70.000 - 100.000; Jornada completa

Descripción de la vacante

Capitole busca un Data Engineer Senior para diseñar y operar su plataforma de datos que alimenta un sistema de pricing dinámico e inteligencia de negocio en retail de alto volumen. Serás referente técnico de la arquitectura de datos, desde ingesta hasta exponer datos para ML y BI, con foco en Databricks, Unity Catalog y Delta Lake.

Trabajarás con ML y analistas para definir métricas, realizar pruebas de pipelines y asegurar calidad de datos, con on-call rotatorio y colaboración estrecha con

Formación

• Mínimo 5 años de experiencia en ingeniería de datos en entornos productivos.
• Dominio de Databricks y Delta Lake para pipelines y lakehouse.
• Conocimiento avanzado de PySpark y SQL (ventanas, CTEs, optimización).
• Experiencia con orquestación de pipelines (Azure Data Factory).
• Gestión de catálogo y linaje de datos (Unity Catalog, Purview).
• Conocimiento de herramientas de calidad de datos (Great Expectations).
• Experiencia con herramientas de transformación como dbt y flujos de streaming (Kafka).
• Colaboración con ML para diseño de feature stores y métricas de negocio.

Responsabilidades

• Diseñar y operar una plataforma de datos para pricing dinámico e inteligencia de negocio.
• Gestión de ingesta de ERP, POS, e-commerce y otras fuentes hacia un lakehouse Databricks.
• Orquestar movimientos de datos con Azure Data Factory y mantener transformaciones en Databricks (PySpark/SQL).
• Definir y gestionar tablas de hechos y dimensiones para BI y ML.
• Asegurar calidad, trazabilidad y gobernanza de datos (Unity Catalog, Great Expectations).
• Trabajar con ML y analistas para asegurar requisitos de modelos de pricing y recomendaciones.

Conocimientos

Databricks

Medallion architecture

PySpark

SQL avanzado

Unity Catalog

Great Expectations

dbt

Kafka / Stream processing

Azure Data Factory

Purview / Alation

Feast / Tecton

Herramientas

Databricks

Azure Data Factory

Delta Lake

Databricks Workflows

Unity Catalog

Purview

dbt

Kafka

Descripción del empleo

Capitole busca un Data Engineer Senior para diseñar y operar su plataforma de datos que alimenta un sistema de pricing dinámico e inteligencia de negocio en retail de alto volumen. Serás referente técnico de la arquitectura de datos, desde ingesta hasta exponer datos para ML y BI, con foco en Databricks, Unity Catalog y Delta Lake.

Trabajarás con ML y analistas para definir métricas, realizar pruebas de pipelines y asegurar calidad de datos, con on-call rotatorio y colaboración estrecha con