Senior Data Engineer - Spark & Scala | Data Lake & Hybrid

May Business Consulting; Madrid; Hybrid; EUR 60,000 - 90,000; Full time

Benefits offered by this job

Paquete retributivo abierto

Seguro médico y cheques restaurante

Formación gratuita y clases de inglés

Proyectos internacionales

Job summary

May Business Consulting busca un Senior Data Engineer – Spark & Scala para su equipo en Madrid, orientado a proyectos en el sector financiero. El rol implica diseñar y optimizar pipelines ETL, trabajar con Apache Spark, Scala y arquitecturas Data Lake, así como asegurar la calidad y rendimiento de soluciones de datos.

El candidato ideal tiene experiencia en Hive, AWS (S3) y herramientas de BI. Se valoran habilidades en CI/CD y colaboración con equipos internacionales, con una ubicación híbrida

Qualifications

• Diseño e implementación de procesos ETL y pipelines de datos.
• Experiencia en Spark y Scala aplicados a grandes volúmenes de datos.
• Modelado de datos y arquitecturas Data Lake para entornos empresariales.

Responsibilities

• Diseñar, desarrollar e implementar procesos ETL para integración y transformación de datos a gran escala.
• Desarrollar y optimizar procesamiento distribuido con Spark y Scala.
• Trabajar con Data Lake, Hive, S3 y AWS para almacenamiento y consulta de datos.
• Desarrollar y optimizar consultas SQL para extracción y análisis de datos.
• Garantizar calidad e integridad de datos mediante pruebas y control de calidad.
• Colaborar con equipos multidisciplinares y aplicar CI/CD en despliegues.

Skills

ETL

Spark

Scala

SQL

Data modeling

CI/CD

Data governance

Education

Bachelor's degree in Computer Science

Tools

Databricks

Power BI

Starburst

Apache Hive

Amazon S3

AWS

Job description

May Business Consulting busca un Senior Data Engineer – Spark & Scala para su equipo en Madrid, orientado a proyectos en el sector financiero. El rol implica diseñar y optimizar pipelines ETL, trabajar con Apache Spark, Scala y arquitecturas Data Lake, así como asegurar la calidad y rendimiento de soluciones de datos.

El candidato ideal tiene experiencia en Hive, AWS (S3) y herramientas de BI. Se valoran habilidades en CI/CD y colaboración con equipos internacionales, con una ubicación híbrida