Big Data Developer: Data Lake, Spark + Flexible Hours

METRICA; Spain; Hybrid; EUR 42,000 - 64,000; Full time

Benefits offered by this job

Job summary

METRICA busca un/a Big Data Developer con experiencia en diseño, desarrollo y mantenimiento de pipelines de datos en entornos cloud y arquitecturas Data Lake. Te unirás a un proyecto tecnológico de alto impacto en el sector bancario y riesgos de mercado.

Diseñarás y mantendrás pipelines Data Lake con Spark, Scala y SQL; orquestarás procesos con Control-M y Airflow; implementarás ingesta, transformación, validación y publicación de datos, optimizando rendimiento y costes.

Qualifications

• Más de 2 años de experiencia en Big Data, Data Lake o plataformas cloud.
• Experiencia práctica con Apache Spark, Scala y SQL para procesamiento de datos a gran escala.
• Conocimiento de arquitecturas Data Lake, pipelines productivos, calidad de datos y linaje.

Responsibilities

• Diseñar, desarrollar y mantener pipelines de Data Lake utilizando Spark, Scala y SQL.
• Orquestar procesos batch, dependencias y flujos de trabajo con Control-M y Apache Airflow.
• Implementar procesos de ingesta, transformación, validación y publicación de datos.
• Optimizar rendimiento, escalabilidad, fiabilidad y costes de cargas de trabajo Spark.
• Aplicar controles de calidad, trazabilidad y linaje de datos en procesos productivos.
• Analizar incidencias técnicas y funcionales, identificar causas raíz y proponer mejoras.
• Dar soporte a procesos en producción y colaborar en la mejora operativa.
• Participar en la planificación, estimación y entrega de desarrollos.
• Colaborar con equipos Agile, negocio, soporte y áreas funcionales.

Skills

Big Data

Data Lake

Spark

Scala

SQL

Tools

Control-M

Apache Airflow

Databricks

Azure

AWS

GitHub

Jenkins

ServiceNow

Job description

METRICA busca un/a Big Data Developer con experiencia en diseño, desarrollo y mantenimiento de pipelines de datos en entornos cloud y arquitecturas Data Lake. Te unirás a un proyecto tecnológico de alto impacto en el sector bancario y riesgos de mercado.

Diseñarás y mantendrás pipelines Data Lake con Spark, Scala y SQL; orquestarás procesos con Control-M y Airflow; implementarás ingesta, transformación, validación y publicación de datos, optimizando rendimiento y costes.