Big Data Engineer: Flexible Hours, Spark & Market Risk

Vermont Solutions; Madrid; On-site; EUR 42,000 - 64,000; Full time

Benefits offered by this job

Formación y certificaciones técnicas

Desarrollo profesional y plan de carrр

Flexibilidad horaria

Seguro médico privado

Cheques formación para estudiar Idioms

Cheques guardería

Tarjeta transporte

Job summary

Vermont Solutions busca un/a Big Data Developer para impulsar soluciones de datos en Market Risk. Diseñarás y mantendrás pipelines de datalake con Spark, Scala y SQL, y orquestarás procesos batch con Control-M y Airflow.

Participarás en la ingesta, transformación y publicación de datos para casos de uso de Market Risk, asegurando rendimiento y fiabilidad en un entorno ágil. Se valora experiencia en Databricks, Azure y CI/CD; además de colaborar en equipos cross-funcionales y soporte a

Qualifications

• Experiencia sólida en Spark, Scala y SQL para grandes volúmenes de datos.
• Conocimientos de arquitectura datalake, quality controls y data lineage.
• Capacidad de trabajo en equipo, comunicación y orientación a la productividad.

Responsibilities

• Diseñar, desarrollar y mantener pipelines de datalake con Spark/Scala/SQL.
• Orquestar procesos batch con Control-M y Airflow.
• Ingesta, transformación y publicación de datos para Market Risk.
• Optimizar rendimiento y escalabilidad de procesos Spark.
• Soporte a incidencias en producción y análisis de causa raíz.
• Colaborar en equipos ágiles y de soporte a producción.

Skills

Spark

Scala

SQL

Big Data

CI/CD

Tools

Databricks

Azure

YARN

AWS

Job description

Vermont Solutions busca un/a Big Data Developer para impulsar soluciones de datos en Market Risk. Diseñarás y mantendrás pipelines de datalake con Spark, Scala y SQL, y orquestarás procesos batch con Control-M y Airflow.

Participarás en la ingesta, transformación y publicación de datos para casos de uso de Market Risk, asegurando rendimiento y fiabilidad en un entorno ágil. Se valora experiencia en Databricks, Azure y CI/CD; además de colaborar en equipos cross-funcionales y soporte a