Desarrollador Spark Scala - Big Data, AWS, Batch

TECDATA ENGINEERING; Madrid; Presencial; EUR 40.000 - 60.000; Jornada completa

Descripción de la vacante

TECDATA ENGINEERING busca un/a Desarrollador/a Spark con 3 años de experiencia para un proyecto de tratamiento y transformación de datos en Madrid. Se requieren AWS, Scala, Apache Spark, Spark SQL, DataFrames/Datasets y Git para construir procesos batch y gestionar grandes volúmenes de datos.

Trabajarás integrando fuentes diversas y aplicando buenas prácticas de versionado y flujo de datos, con foco en rendimiento y fiabilidad.

Formación

• Experiencia en desarrollo de procesos de tratamiento y transformación de datos con Scala y Spark.
• Experiencia con Spark SQL, DataFrames/Datasets y SQL.
• Desarrollo de procesos batch y manejo de grandes volúmenes de datos.
• Integración con diferentes fuentes de información.
• Control de versiones con Git.

Responsabilidades

• Desarrollar procesos de tratamiento y transformación de datos para el proyecto.
• Diseñar e implementar soluciones de integración de datos desde fuentes variadas.
• Optimizar rendimiento y fiabilidad de los pipelines de datos; validar resultados.

Conocimientos

Data processing

Batch processing

Big data

Data integration

Herramientas

AWS

Scala

Apache Spark

SQL

Spark SQL

Git

DataFrames / Datasets

Descripción del empleo

TECDATA ENGINEERING busca un/a Desarrollador/a Spark con 3 años de experiencia para un proyecto de tratamiento y transformación de datos en Madrid. Se requieren AWS, Scala, Apache Spark, Spark SQL, DataFrames/Datasets y Git para construir procesos batch y gestionar grandes volúmenes de datos.

Trabajarás integrando fuentes diversas y aplicando buenas prácticas de versionado y flujo de datos, con foco en rendimiento y fiabilidad.