Remote Big Data Engineer - Spark, Scala & Data Lake

Zemsania; Madrid; Remote; EUR 50,000 - 75,000; Full time

Benefits offered by this job

Modalidad 100% remota

Proyecto en sector financiero

Tecnologías Big Data y nube

Horario flexible

Job summary

Zemsania busca un/a Big Data Engineer 100% remoto para un proyecto en el sector financiero. Diseñarás y mantendrás pipelines con Spark, Scala y SQL, gestionando ingesta, transformación y publicación de datos en arquitecturas Data Lake y entornos en la nube.

Trabajarás con control de flujos (Control-M, Airflow), optimizarás cargas Spark y asegurarás calidad, trazabilidad y soporte en producción. Se requieren 2+ años en Big Data y nivel de inglés C1; modalidad remota total y horario flexible.

Qualifications

• Más de 2 años de experiencia en Big Data, Data Lake o plataformas de datos en la nube.
• Experiencia práctica sólida con Apache Spark, Scala y SQL para el procesamiento de grandes volúmenes de información.
• Conocimientos de arquitectura Data Lake y desarrollo de pipelines de datos en entornos productivos.
• Experiencia o conocimientos en controles de calidad, linaje y trazabilidad de datos.
• Capacidad para analizar problemas técnicos, optimizar procesos y resolver incidencias.
• Buenas habilidades de comunicación, trabajo en equipo y adaptación a entornos dinámicos.
• Orientación a la calidad, la productividad y la mejora continua.
• Nivel de inglés C1 imprescindible.

Responsibilities

• Diseñar, desarrollar y mantener pipelines de datos utilizando Apache Spark, Scala y SQL.
• Implementar procesos de ingesta, transformación, validación y publicación de datos.
• Trabajar con arquitecturas Data Lake y plataformas de datos en la nube.
• Orquestar procesos batch, dependencias y flujos de trabajo mediante herramientas como Control-M y Apache Airflow.
• Optimizar el rendimiento, la escalabilidad y la fiabilidad de las cargas de trabajo basadas en Spark.
• Garantizar la calidad, el linaje y la trazabilidad de los datos a lo largo de todo el ciclo de procesamiento.
• Analizar deficiencias técnicas y funcionales, identificar oportunidades de mejora y proponer soluciones.
• Dar soporte a los procesos de producción, incluyendo el análisis y la resolución de incidencias.
• Realizar análisis de causa raíz y colaborar en la mejora continua de los procesos operativos.
• Trabajar conjuntamente con equipos ágiles, funcionales y de soporte a producción para asegurar la correcta entrega de las soluciones.

Skills

Big Data

Apache Spark

Scala

SQL

Data Lake

CI/CD

GitHub

Jenkins

Airflow

Control-M

Azure

AWS

Databricks

ServiceNow

English (C1)

Tools

Databricks

Azure

YARN

AWS

Job description

Zemsania busca un/a Big Data Engineer 100% remoto para un proyecto en el sector financiero. Diseñarás y mantendrás pipelines con Spark, Scala y SQL, gestionando ingesta, transformación y publicación de datos en arquitecturas Data Lake y entornos en la nube.

Trabajarás con control de flujos (Control-M, Airflow), optimizarás cargas Spark y asegurarás calidad, trazabilidad y soporte en producción. Se requieren 2+ años en Big Data y nivel de inglés C1; modalidad remota total y horario flexible.