Data engineer - Hibrido (Madrid)

Aubay Spain; Madrid; Híbrido; EUR 60.000 - 90.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

Hybrid work 50%

Desarrollo profesional en un entorno I

Descripción de la vacante

Aubay Spain busca un/a Data Engineer Senior para integrar un equipo de datos y contribuir al mantenimiento y evolución de la plataforma DataHub. Participarás en el diseño y optimización de pipelines y en proyectos de migración a la nube, combinando desarrollo con soporte en producción y buenas prácticas de DevOps.

Se requiere al menos 6 años de experiencia en Data Engineering, con fuerte dominio de Scala, Apache Spark y Hadoop/HDFS, así como experiencia en CI/CD y herramientas como Airflow u

Formación

• Experiencia mínima de 6 años como Data Engineer o similar.
• Experiencia sólida en Scala y Apache Spark.
• Conocimientos de Hadoop, HDFS y SQL.
• Experiencia en ETL/ELT y procesamiento de grandes volúmenes de datos.

Responsabilidades

• Mantenimiento, soporte y evolución de la plataforma DataHub.
• Diseño, desarrollo y optimización de pipelines de datos.
• Migraciones hacia entornos cloud y modernización de infraestructuras.
• Automatización y orquestación de procesos con Airflow y Oozie.
• Gestión de entornos CI/CD y monitorización en producción.

Conocimientos

Scala

Apache Spark

SQL

Airflow

Oozie

CI/CD

GitLab

Jenkins

Educación

Titulación universitaria en Ingeniería, Informática o similar

Herramientas

Hadoop

HDFS

Cloud Storage (S3)

Descripción del empleo

Buscamos un/a Data Engineer Senior para incorporarse a un equipo de datos, participando en el mantenimiento y evolución de la plataforma DataHub, así como en el diseño, desarrollo y optimización de pipelines de datos.

La persona seleccionada combinará tareas de desarrollo con mantenimiento y soporte de plataformas en producción, participando también en proyectos de modernización y migración de infraestructuras hacia entornos cloud.

Funciones principales

• Mantenimiento, soporte y evolución de la plataforma DataHub.
• Resolución de incidencias y problemas en entornos de producción (BAU).
• Diseño, desarrollo y optimización de pipelines de datos mediante Scala y Apache Spark.
• Desarrollo de procesos ETL/ELT e integración de datos de diferentes fuentes.
• Procesamiento y transformación de grandes volúmenes de información.
• Gestión y optimización de entornos Hadoop y HDFS.
• Automatización y orquestación de procesos mediante Apache Airflow y Oozie.
• Configuración y mantenimiento de pipelines CI/CD.
• Participación en migraciones de infraestructuras de datos hacia entornos cloud.
• Implementación de controles de calidad y validación de datos.
• Elaboración de documentación técnica y colaboración con equipos multidisciplinares.
• Experiencia profesional mínima de 6 años como Data Engineer o en posiciones similares.
• Al menos 3 años de experiencia en el entorno tecnológico específico del puesto.
• Experiencia sólida en desarrollo con Scala y Apache Spark.
• Conocimientos de Hadoop, HDFS y SQL.
• Experiencia en desarrollo de pipelines ETL/ELT y procesamiento de grandes volúmenes de datos.
• Conocimientos de Apache Airflow y Oozie.
• Experiencia con herramientas CI/CD (GitLab, Jenkins o similares).
• Conocimientos de almacenamiento S3 / Cloud Object Storage.
• Experiencia en mantenimiento y soporte de plataformas de datos en producción.
• Experiencia en automatización de procesos y buenas prácticas de desarrollo.

Conocimientos valorables

• Experiencia en migraciones de plataformas de datos a entornos cloud.
• Conocimientos de Kubernetes y contenerización.
• Experiencia con Dremio, Kafka, Elasticsearch y Kibana.
• Conocimientos de HashiCorp Vault y Dataiku.
• Experiencia en el sector bancario o financiero.
• Conocimientos de metodologías Agile y ciclo de vida del desarrollo de software (SDLC).

Condiciones

• Proyecto estable
• Modalidad híbrido: teletrabajo 50%
• Formación a medida (certificaciones, idiomas...)
• Desarrollo profesional en ambiente internacional