Remote Big Data Developer: Spark, Scala & SQL

Krell Consulting & Training, S.L.; Madrid; Teletrabalho; EUR 29 000 - 35 000; Tempo integral

Resumo da oferta

Krell Consulting & Training, S.L. busca un Big Data Developer para trabajar en un proyecto 100% remoto desde España, centrado en Spark, Scala y SQL para el ámbito de riesgo de mercado. Se valorará experiencia en Data Lake y desarrollo de pipelines robustos.

La posición implica diseñar, desarrollar y mantener soluciones de datos, gestionar procesos batch y asegurar calidad y escalabilidad. Inglés C1 requerido para colaboración internacional.

Qualificações

• Experiencia mínima de 2 años en Big Data con Spark, Scala y SQL.
• Conocimiento de pipelines de datos en entornos Data Lake.
• Inglés C1 (imprescindible).

Responsabilidades

• Diseñar, desarrollar y mantener pipelines de datos en Data Lake con Spark, Scala y SQL.
• Gestionar y orquestar procesos batch con Control-M y Airflow.
• Implementar procesos de ingesta, transformación, validación y publicación de datos.
• Desarrollar soluciones orientadas a riesgos de mercado.
• Analizar necesidades técnicas y proponer soluciones.
• Colaborar en la planificación y ejecución de entregas.
• Optimizar rendimiento, fiabilidad y escalabilidad de cargas Spark.
• Aplicar controles de calidad de datos y buenas prácticas de arquitectura.

Conhecimentos

Spark

Scala

SQL

Data pipelines

Control-M

Airflow

Ferramentas

Control-M

Airflow

Descrição da oferta de emprego

Krell Consulting & Training, S.L. busca un Big Data Developer para trabajar en un proyecto 100% remoto desde España, centrado en Spark, Scala y SQL para el ámbito de riesgo de mercado. Se valorará experiencia en Data Lake y desarrollo de pipelines robustos.

La posición implica diseñar, desarrollar y mantener soluciones de datos, gestionar procesos batch y asegurar calidad y escalabilidad. Inglés C1 requerido para colaboración internacional.