Data engineer Spark/Scala - Híbrido (Madrid)

Aubay Spain; Comunidad de Madrid; Híbrido; EUR 52.000 - 82.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

Contrato indefinido

Modalidad híbrida (50% teletrabajo)

Plan de formación a medida

Plan de retribución flexible

Descripción de la vacante

Aubay Spain busca un Data Engineer para apoyar, mantener y evolucionar una plataforma DataHub clave. Diseñarás pipelines escalables con Scala/Spark/Hadoop, modelarás datos masivos y asegurarás su calidad.

También liderarás migraciones hacia entornos Cloud, orquestación con Airflow y prácticas CI/CD, todo en un entorno internacional. Buscamos experiencia en SDLC, metodologías Agile y capacidad de trabajar en un equipo híbrido en Madrid.

Formación

• Conocimiento sólido de Scala, Spark, SQL y bases de datos estructuradas.
• Experiencia en Hadoop, HDFS y almacenamiento de objetos (S3/COS).
• Shell scripting y herramientas CI/CD (GitLab, Jenkins o similares).
• Experiencia diseñando pipelines de datos, ETL y testing.
• Conocimiento SDLC y entornos Agile.

Responsabilidades

• Diseñar e implementar pipelines escalables con Spark, Hadoop y almacenamiento en la nube.
• Modelar datos para ingesta, transformación y enriquecimiento de grandes volúmenes.
• Integrar datos de múltiples fuentes y asegurar calidad con controles.
• Dar soporte a producción, solucionar incidencias y optimizar rendimiento.
• Participar en migración Hadoop hacia Cloud (Kubernetes, COS).
• Redactar documentación técnica y operativa del proyecto.

Conocimientos

Scala

Spark

SQL

Hadoop

Airflow

Kubernetes

Dremio

Elasticsearch

Kafka

Vault

Dataiku

Herramientas

Apache Airflow

GitLab

Jenkins

COS/S3

Hadoop

Kubernetes

Descripción del empleo

En Aubay estamos buscando un/a Data Engineer para unirse a nuestro equipo y ser una pieza clave en el soporte, mantenimiento y evolución técnica de una importante plataforma DataHub.

Tus principales responsabilidades

Arquitectura y Desarrollo de Datos:

• Diseñar e implementar pipelines de procesamiento escalables utilizando Scala, Spark, Hadoop y almacenamiento cloud (COS/S3).
• Realizar el modelado de datos para la ingesta, transformación y enriquecimiento de grandes volúmenes de datos con reglas de negocio complejas.
• Integrar datos procedentes de múltiples fuentes y formatos en la capa Raw del DataHub, asegurando la calidad y consistencia mediante controles exhaustivos.

Mantenimiento, Soporte y Optimización:

• Dar soporte a producción y mantener el DataHub: resolución de incidencias, anomalías y garantía de disponibilidad de los procesos.
• Modificar y optimizar el código existente para mejorar su rendimiento, seguridad y mantenibilidad aplicando buenas prácticas.

DevOps, Automatización y Cloud:

• Implementar orquestación y scheduling mediante Apache Airflow.
• Configurar pipelines de CI/CD para automatizar despliegues, testing y gestión del desarrollo.
• Desarrollar y ejecutar pruebas unitarias y de validación.
• Participar en la migración de la infraestructura Hadoop hacia arquitecturas Cloud (Kubernetes, COS, Spark as a Service, Airflow as a Service).
• Elaborar documentación técnica y operativa del proyecto.

¿Qué buscamos en ti? (Requisitos Imprescindibles)

• Stack Tecnológico: Sólida experiencia con Scala, Spark, SQL y bases de datos estructuradas.
• Ecosistema Big Data: Conocimiento en Hadoop, HDFS, Apache Airflow, Oozie y almacenamiento de objetos (S3/COS).
• Operaciones: Shell scripting y manejo de herramientas CI/CD (GitLab, Jenkins o similares).
• Habilidades técnicas: Experiencia demostrable creando y optimizando pipelines de datos, procesos ETL/calidad, testing unitario e integración continua.
• Metodología: Conocimiento del ciclo de vida del software (SDLC) y experiencia trabajando bajo marcos Agile.

¿Valoraremos muy positivamente (Deseables)

• Experiencia previa en migraciones de Hadoop hacia arquitecturas Cloud.
• Conocimientos en: Kubernetes/containerización, Dremio, Elasticsearch, Kibana, Kafka (streaming), HashiCorp Vault o Dataiku.
• Experiencia o conocimiento del sector bancario.
• Nivel de francés B1/B2.

¿Qué te ofrecemos?

• Contrato indefinido en un proyecto estable y de larga duración.
• Modalidad de trabajo híbrida (50% teletrabajo / 50% presencial).
• Ubicación: Oficinas en Madrid Río.
• Salario a negociar según la experiencia aportada.
• Plan de formación a medida (certificaciones técnicas, idiomas, etc.).
• Desarrollo profesional continuo dentro de un ambiente de trabajo internacional.
• Plan de Retribución Flexible (seguro médico, ticket restaurante, cheque guardería).