Apache Superset · Oracle · Sql | Freelance - €39.000 - €46.000 Al Año

Atmira; Valencia; Presencial; EUR 65.000 - 90.000; Jornada completa

Descripción de la vacante

Atmira busca un/a Data Engineer Senior para diseñar y operar la plataforma de datos que alimenta un sistema de pricing dinámico e inteligencia de negocio en retail de alto volumen. Serás el referente técnico de la arquitectura de datos, desde ingesta de ERP/POS hasta exposición para ML y BI.

Necesitas dominio de Databricks, Delta Lake y Unity Catalog, y experiencia con Azure Data Factory para orquestación. Se valoran experiencia en modelado dimensional y patrones de ingesta incremental.

Formación

• Más de 5 años de experiencia en ingeniería de datos en entornos productivos.
• Experiencia sólida con Databricks como plataforma principal; Delta Lake, Unity Catalog.
• Diseño e implementación de capas Bronze / Silver / Gold y SLA por capa.
• Domínio de modelado dimensional (Kimball); diseño de esquemas estrella y copo de nieve, claves surrogadas y tablas de hechos.
• PySpark y SQL avanzado (window functions, CTEs, optimización de queries).
• Azure Data Factory: movimiento y orquestación de datos.
• Experiencia con patrones de ingesta incremental: CDC, watermark, Delta Merge / upsert.
• Familiaridad con control de versiones (Git) y prácticas de DataOps básicas.

Responsabilidades

• Diseño y evolución de la arquitectura Medallion (Bronze → Silver → Gold) en Databricks/Delta Lake.
• Definición de estándares de ingesta, particionado y versionado de tablas Delta.
• Gobierno de la plataforma: Unity Catalog, permisos, lineage y calidad de datos.
• Evaluación de patrones de procesamiento: batch, micro-batch y near real-time según el caso.
• Diseño de modelos dimensionales orientados a pricing, forecasting y personalización.
• Colaboración con ML para el feature store en la capa Gold.
• Documentación del modelo de datos en catálogo semántico accesible para negocio.

Conocimientos

Databricks

PySpark

SQL avanzado

Dimensional modeling

Azure Data Factory

Delta Lake

Kimball modeling

CDC/Upsert

Git/DataOps

Unity Catalog

Herramientas

dbt

Purview

Alation

Kafka

Databricks Workflows

Descripción del empleo

Buscamos un/a Data Engineer Senior para diseñar y operar la plataforma de datos que alimenta un sistema de pricing dinámico e inteligencia de negocio en entornos retail de alto volumen. La persona seleccionada será el referente técnico de la arquitectura de datos: desde la ingesta de fuentes operacionales (ERP, POS, e-commerce, footfall) hasta la exposición de datos listos para consumo por modelos de ML y herramientas de BI. Es esencial asegurarse de que cumple con los requisitos como solicitante para este puesto; por favor, lea atentamente la información a continuación. El rol requiere dominio profundo de Databricks como plataforma central y sólido conocimiento de la arquitectura Medallion (Bronze / Silver / Gold), así como experiencia en modelado de datos dimensional y capacidad para trabajar con Azure Data Factory como orquestador de pipelines.

Responsabilidades principales

• Diseño y evolución de la arquitectura Medallion (Bronze → Silver → Gold) sobre Databricks / Delta Lake.
• Definición de estándares de ingesta, particionado, compactación y versionado de tablas Delta.
• Gobierno de la plataforma: Unity Catalog, gestión de permisos, linaje de datos y calidad (Great Expectations o similar).
• Evaluación y decisión de patrones de procesamiento: batch, micro-batch (Structured Streaming) y near real-time según el caso de uso.
• Diseño de modelos dimensionales (esquemas estrella y copo de nieve) orientados a casos de uso de pricing, forecasting y personalización.
• Definición de tablas de hechos y dimensiones: transacciones POS, catálogo de productos, maestro de tiendas, calendario promocional.
• Colaboración con el equipo de ML para diseñar y mantener el feature store sobre la capa Gold.
• Documentación del modelo de datos en un catálogo semántico accesible para usuarios de negocio y analítica.
• Construcción de pipelines de ingesta desde fuentes heterogéneas: ERP (SAP u otros), POS, APIs de e-commerce, feeds de Retail Media, NPS.
• Uso de Azure Data Factory para orquestación de movimientos de datos entre sistemas origen y el lakehouse — con preferencia por mantener la lógica de transformación en Databricks (PySpark / SQL).
• Implementación de patrones de ingesta incremental (CDC, watermark, upsert con Delta Merge) para minimizar latencia y coste.
• Testing de pipelines: validaciones de schema, checks de completitud y pruebas de regresión sobre datos.
• Monitorización de jobs en Databricks Workflows: alertas, reintentos y gestión de dependencias.
• Optimización de costes de cómputo: sizing de clusters, uso de Photon, Auto Loader y optimizaciones de Delta (OPTIMIZE / ZORDER).
• Soporte a incidencias de datos en producción (on-call rotatorio con el equipo).

Colaboración

• Trabajo estrecho con Data Scientists para garantizar que el feature store cubra los requisitos de los modelos de pricing y recomendación.
• Acompañamiento a analistas de negocio en la definición de métricas y KPIs sobre la capa Gold.
• Participación en code reviews, definición de convenciones de nombrado y estándares de calidad del equipo.

Requisitos imprescindibles

• 5+ años de experiencia en ingeniería de datos en entornos productivos.
• Experiencia sólida con Databricks como plataforma principal; Delta Lake, Databricks Workflows, Unity Catalog.
• Diseño e implementación de capas Bronze / Silver / Gold, granularidad, particionado y SLA por capa.
• Dominio de modelado dimensional (Kimball); diseño de esquemas estrella y copo de nieve; claves surrogadas, SCDsy tablas de hechos.
• PySpark y SQL avanzado (window functions, CTEs, optimización de queries).
• Azure Data Factory: conocimiento funcional para orquestación y movimiento de datos.
• Experiencia con patrones de ingesta incremental: CDC, watermark, Delta Merge / upsert.
• Familiaridad con control de versiones (Git) y prácticas de DataOps básicas.

Valorables

• Experiencia en retail, travel retail o sectores con datos transaccionales de alto volumen.
• Conocimiento de herramientas de calidad de datos: Great Expectations, Soda o similar.
• Experiencia con dbt (data build tool) para transformaciones SQL sobre la capa Silver/Gold.
• Familiaridad con eventos en streaming: Kafka, Event Hubs o Databricks Structured Streaming.
• Conocimiento de herramientas de catálogo y linaje: Purview, Alation o Unity Catalog avanzado.
• Experiencia colaborando con equipos de ML en el diseño de feature stores (Feast, Tecton o solución custom).