Senior Data Engineer - Databricks & Delta Lake Architect

Atmira; Valencia; Presencial; EUR 65.000 - 90.000; Jornada completa

Descripción de la vacante

Atmira busca un/a Data Engineer Senior para diseñar y operar la plataforma de datos que alimenta un sistema de pricing dinámico e inteligencia de negocio en retail de alto volumen. Serás el referente técnico de la arquitectura de datos, desde ingesta de ERP/POS hasta exposición para ML y BI.

Necesitas dominio de Databricks, Delta Lake y Unity Catalog, y experiencia con Azure Data Factory para orquestación. Se valoran experiencia en modelado dimensional y patrones de ingesta incremental.

Formación

• Más de 5 años de experiencia en ingeniería de datos en entornos productivos.
• Experiencia sólida con Databricks como plataforma principal; Delta Lake, Unity Catalog.
• Diseño e implementación de capas Bronze / Silver / Gold y SLA por capa.
• Domínio de modelado dimensional (Kimball); diseño de esquemas estrella y copo de nieve, claves surrogadas y tablas de hechos.
• PySpark y SQL avanzado (window functions, CTEs, optimización de queries).
• Azure Data Factory: movimiento y orquestación de datos.
• Experiencia con patrones de ingesta incremental: CDC, watermark, Delta Merge / upsert.
• Familiaridad con control de versiones (Git) y prácticas de DataOps básicas.

Responsabilidades

• Diseño y evolución de la arquitectura Medallion (Bronze → Silver → Gold) en Databricks/Delta Lake.
• Definición de estándares de ingesta, particionado y versionado de tablas Delta.
• Gobierno de la plataforma: Unity Catalog, permisos, lineage y calidad de datos.
• Evaluación de patrones de procesamiento: batch, micro-batch y near real-time según el caso.
• Diseño de modelos dimensionales orientados a pricing, forecasting y personalización.
• Colaboración con ML para el feature store en la capa Gold.
• Documentación del modelo de datos en catálogo semántico accesible para negocio.

Conocimientos

Databricks

PySpark

SQL avanzado

Dimensional modeling

Azure Data Factory

Delta Lake

Kimball modeling

CDC/Upsert

Git/DataOps

Unity Catalog

Herramientas

dbt

Purview

Alation

Kafka

Databricks Workflows

Descripción del empleo

Atmira busca un/a Data Engineer Senior para diseñar y operar la plataforma de datos que alimenta un sistema de pricing dinámico e inteligencia de negocio en retail de alto volumen. Serás el referente técnico de la arquitectura de datos, desde ingesta de ERP/POS hasta exposición para ML y BI.

Necesitas dominio de Databricks, Delta Lake y Unity Catalog, y experiencia con Azure Data Factory para orquestación. Se valoran experiencia en modelado dimensional y patrones de ingesta incremental.