Hybrid Data Engineer: Spark/Scala for DataHub

Aubay Spain; Madrid; Híbrido; EUR 50.000 - 75.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

Contrato indefinido

Trabajo híbrido (50% teletrabajo)

Ubicación Madrid Río

Formación a medida

Retribución flexible

Seguro médico

Ticket restaurante

Cheque guardería

Descripción de la vacante

Aubay Spain busca un/a Data Engineer para unirse a nuestro equipo y dar soporte, mantenimiento y evolución técnica de una plataforma DataHub clave. Diseñar e implementar pipelines escalables con Scala, Spark y Hadoop, integrando datos de múltiples fuentes y trasladándolos a la capa Raw del DataHub, con controles de calidad.

Participarás en DevOps, Airflow, CI/CD y migración a Cloud. Contrato indefinido en un entorno internacional, modalidad híbrida y oficina en Madrid Río.

Formación

• Experiencia en diseño e implementación de pipelines de datos con Scala y Spark.
• Conocimiento de Hadoop, HDFS y Apache Airflow, Oozie y almacenamiento de objetos (S3/COS).
• Operaciones: Shell scripting y manejo de herramientas CI/CD (GitLab, Jenkins).
• Experiencia demostrable creando y optimizando pipelines de datos, ETL y pruebas de integración continua.
• Conocimiento del SDLC y trabajo en marcos Agile.

Responsabilidades

• Diseñar e implementar pipelines de procesamiento escalables utilizando Scala, Spark, Hadoop y almacenamiento cloud (COS/S3).
• Realizar modelado de datos para ingesta, transformación y enriquecimiento de grandes volúmenes con reglas de negocio complejas.
• Integrar datos de múltiples fuentes y formatos en la capa Raw del DataHub, asegurando calidad y consistencia con controles.
• Dar soporte a producción, resolver incidencias y garantizar disponibilidad de procesos.
• Implementar orquestación y scheduling con Apache Airflow; configurar CI/CD y ejecutar pruebas unitarias e de validación.
• Participar en la migración de Hadoop hacia arquitecturas Cloud (Kubernetes, COS, Spark as a Service, Airflow as a Service).
• Elaborar documentación técnica y operativa; trabajar con un stacks Big Data.

Conocimientos

Scala

Spark

SQL

CI/CD

Herramientas

GitLab

Jenkins

Airflow

Oozie

Hadoop

Descripción del empleo

Aubay Spain busca un/a Data Engineer para unirse a nuestro equipo y dar soporte, mantenimiento y evolución técnica de una plataforma DataHub clave. Diseñar e implementar pipelines escalables con Scala, Spark y Hadoop, integrando datos de múltiples fuentes y trasladándolos a la capa Raw del DataHub, con controles de calidad.

Participarás en DevOps, Airflow, CI/CD y migración a Cloud. Contrato indefinido en un entorno internacional, modalidad híbrida y oficina en Madrid Río.