DATA ENGINEER SPARK Y SCALA

Aubay Spain; Madrid; Híbrido; EUR 45.000 - 65.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

Contrato indefinido

Modalidad híbrida de trabajo (50% tele

Ubicación: Madrid Río

Descripción de la vacante

Aubay Spain busca un Data Engineer para dar soporte, mantener y evolucionar una plataforma DataHub en Madrid. Se trabajará en pipelines de ingesta y transformación de datos, usando Scala, Spark y tecnologías de Big Data. El rol incluye migraciones hacia cloud, pruebas y automatización con Airflow y CI/CD.

La posición es híbrida (50% teletrabajo) y ubicada en Madrid Río, con salario a negociar y desarrollo profesional en un entorno internacional.

Formación

• Requisitos técnicos obligatorios: Scala y Spark, SQL y bases de datos estructuradas.
• Experiencia con Hadoop/HDFS y Apache Airflow.
• Conocimientos de Oozie, almacenamiento de objetos S3/COS y herramientas CI/CD.
• Experiencia creando pipelines de datos, pruebas y control de calidad.
• Conocimientos de SDLC y metodologías ágiles.

Responsabilidades

• Dar soporte, mantenimiento y evolución de DataHub y sus pipelines.
• Modificar y optimizar código para rendimiento y mantenibilidad.
• Diseñar e implementar pipelines eficientes para ingesta y transformación de grandes volúmenes.
• Configurar CI/CD y pruebas unitarias para automatizar despliegues y validaciones.
• Participar en migraciones hacia arquitecturas cloud basadas en Kubernetes y servicios de datos.

Conocimientos

Scala

Spark

SQL

Hadoop

HDFS

Shell scripting

Data pipelines

SDLC

Agile

Testing unitario

Herramientas

Apache Airflow

Oozie

GitLab

Jenkins

COS/S3

Kubernetes

Descripción del empleo

Funciones

En Aubay estamos buscando un/a Data engineer para participar en el soporte, mantenimiento, y evolución técnica de una plataforma DataHub.

Provincia : Madrid

Nº Vacantes (puestos) : 1

Entre sus principales responsabilidades estarán:

• Dar soporte a producción y realizar el mantenimiento del DataHub, resolviendo incidencias, anomalías y problemas relacionados con los datos, garantizando la estabilidad y disponibilidad de los procesos.
• Modificar y optimizar el código existente según las necesidades de negocio, buscando mejorar su rendimiento y mantenibilidad.
• Garantizar el rendimiento y la seguridad de la infraestructura de datos siguiendo buenas prácticas de Data Engineering.
• Realizar modelado de datos y desarrollar pipelines eficientes y escalables para la ingesta, transformación y enriquecimiento de grandes volúmenes de datos con reglas de negocio complejas.
• Diseñar e implementar pipelines de procesamiento utilizando principalmente Scala, Spark, Hadoop y almacenamiento de objetos cloud (COS/S3).
• Integrar datos procedentes de múltiples fuentes y formatos en la capa Raw del DataHub.
• Implementar procesos de transformación y controles de calidad que garanticen la consistencia y precisión de los datos.
• Configurar pipelines de CI/CD para automatizar despliegues, testing y gestión del desarrollo.
• Desarrollar y ejecutar pruebas unitarias y de validación para garantizar la calidad e integridad del código.
• Implementar procesos de orquestación y scheduling mediante Apache Airflow para automatizar la ejecución de pipelines.
• Participar en la migración de la infraestructura Hadoop hacia una arquitectura cloud basada en Kubernetes, almacenamiento de objetos (COS), Spark as a Service y Airflow as a Service.
• Elaborar documentación técnica y operativa para garantizar la transferencia y conservación del conocimiento.

Requisitos

Requisitos técnicos obligatorios:

• Experiencia con Scala y Spark
• SQL y bases de datos estructuradas
• Hadoop y HDFS
• Apache Airflow
• Oozie
• Almacenamiento de objetos S3/COS
• Shell scripting
• Herramientas CI/CD: GitLab, Jenkins o similares
• Experiencia desarrollando y optimizando pipelines de datos
• Procesos de transformación, enriquecimiento y calidad de datos
• Integración de datos procedentes de distintas fuentes y formatos
• Testing unitario y de validación
• Conocimiento del ciclo de vida de desarrollo de software (SDLC)
• Experiencia trabajando bajo metodologías Agile

Requisitos deseables:

• Kubernetes y containerización
• Dremio
• Elasticsearch y Kibana
• Kafka y/o procesamiento de datos en streaming
• HashiCorp Vault
• Dataiku
• Experiencia en migraciones de Hadoop hacia arquitecturas cloud
• Conocimiento del sector bancario
• Francés B1/B2 solo valorable

Se ofrece

• Contrato indefinido y proyecto estable
• Modalidad híbrida de trabajo (50% teletrabajo)
• Ubicación: Madrid Río
• Salario a negociar
• Formación a medida (certificaciones, idiomas...)
• Desarrollo profesional en ambiente internacional
• Retribución flexible (seguro médico, cheque guardería, ticket restaurante)