Desarrollador/a big Data ( Spark, Scala y SQL)

METRICA; Spain; Hybrid; EUR 42,000 - 64,000; Full time

Benefits offered by this job

Job summary

METRICA busca un/a Big Data Developer con experiencia en diseño, desarrollo y mantenimiento de pipelines de datos en entornos cloud y arquitecturas Data Lake. Te unirás a un proyecto tecnológico de alto impacto en el sector bancario y riesgos de mercado.

Diseñarás y mantendrás pipelines Data Lake con Spark, Scala y SQL; orquestarás procesos con Control-M y Airflow; implementarás ingesta, transformación, validación y publicación de datos, optimizando rendimiento y costes.

Qualifications

• Más de 2 años de experiencia en Big Data, Data Lake o plataformas cloud.
• Experiencia práctica con Apache Spark, Scala y SQL para procesamiento de datos a gran escala.
• Conocimiento de arquitecturas Data Lake, pipelines productivos, calidad de datos y linaje.

Responsibilities

• Diseñar, desarrollar y mantener pipelines de Data Lake utilizando Spark, Scala y SQL.
• Orquestar procesos batch, dependencias y flujos de trabajo con Control-M y Apache Airflow.
• Implementar procesos de ingesta, transformación, validación y publicación de datos.
• Optimizar rendimiento, escalabilidad, fiabilidad y costes de cargas de trabajo Spark.
• Aplicar controles de calidad, trazabilidad y linaje de datos en procesos productivos.
• Analizar incidencias técnicas y funcionales, identificar causas raíz y proponer mejoras.
• Dar soporte a procesos en producción y colaborar en la mejora operativa.
• Participar en la planificación, estimación y entrega de desarrollos.
• Colaborar con equipos Agile, negocio, soporte y áreas funcionales.

Skills

Big Data

Data Lake

Spark

Scala

SQL

Tools

Control-M

Apache Airflow

Databricks

Azure

AWS

GitHub

Jenkins

ServiceNow

Job description

Buscamos un/a Big Data Developer con experiencia en el diseño, desarrollo y mantenimiento de pipelines de datos en entornos cloud y arquitecturas Data Lake. La persona se incorporará a un proyecto tecnológico de alto impacto, vinculado al sector bancario y a casos de uso de riesgo de mercado.

• Diseñar, desarrollar y mantener pipelines de Data Lake utilizando Apache Spark, Scala y SQL.
• Orquestar procesos batch, dependencias y flujos de trabajo mediante Control-M y Apache Airflow.
• Implementar procesos de ingesta, transformación, validación y publicación de datos.
• Optimizar rendimiento, escalabilidad, fiabilidad y costes de cargas de trabajo Spark.
• Aplicar controles de calidad, trazabilidad y linaje de datos en procesos productivos.
• Analizar incidencias técnicas y funcionales, identificar causas raíz y proponer mejoras.
• Dar soporte a procesos en producción y colaborar en la mejora continua operativa.
• Participar en la planificación, estimación y entrega de desarrollos.
• Colaborar con equipos Agile, negocio, soporte y áreas funcionales.
• Más de 2 años de experiencia en Big Data, Data Lake o plataformas de datos cloud.
• Experiencia práctica y sólida con Apache Spark, Scala y SQL para procesamiento de datos a gran escala.
• Conocimiento de arquitecturas Data Lake, pipelines productivos, calidad de datos y linaje.
• Capacidad analítica, orientación a resultados y resolución de problemas.
• Habilidades de comunicación, trabajo en equipo, adaptabilidad y autonomía.

Se valorará positivamente

• Experiencia con herramientas de orquestación como Control-M y Apache Airflow.
• Conocimientos de Databricks, Azure, AWS Compute y YARN.
• Experiencia con prácticas CI/CD y herramientas como GitHub, Jenkins y Sonar.
• Conocimiento de monitorización, soporte a producción y gestión de incidencias con herramientas como ServiceNow.
• Experiencia en proyectos del sector bancario.
• Conocimientos básicos de riesgo de mercado: pérdidas y ganancias (P&L), valoraciones, métricas de riesgo y reporting regulatorio.
• Salario competitivo, acorde a la experiencia y conocimientos aportados.
• Oportunidades de desarrollo profesional y formación continua.
• Participación en proyectos de alto impacto tecnológico.
• Entorno de trabajo colaborativo e innovador.
• Flexibilidad horaria y modalidad de trabajo a definir.