DESARROLLADOR/A SPARK SCALA

TECDATA ENGINEERING; Madrid; Presencial; EUR 40.000 - 60.000; Jornada completa

Descripción de la vacante

TECDATA ENGINEERING busca un/a Desarrollador/a Spark con 3 años de experiencia para un proyecto de tratamiento y transformación de datos en Madrid. Se requieren AWS, Scala, Apache Spark, Spark SQL, DataFrames/Datasets y Git para construir procesos batch y gestionar grandes volúmenes de datos.

Trabajarás integrando fuentes diversas y aplicando buenas prácticas de versionado y flujo de datos, con foco en rendimiento y fiabilidad.

Formación

• Experiencia en desarrollo de procesos de tratamiento y transformación de datos con Scala y Spark.
• Experiencia con Spark SQL, DataFrames/Datasets y SQL.
• Desarrollo de procesos batch y manejo de grandes volúmenes de datos.
• Integración con diferentes fuentes de información.
• Control de versiones con Git.

Responsabilidades

• Desarrollar procesos de tratamiento y transformación de datos para el proyecto.
• Diseñar e implementar soluciones de integración de datos desde fuentes variadas.
• Optimizar rendimiento y fiabilidad de los pipelines de datos; validar resultados.

Conocimientos

Data processing

Batch processing

Big data

Data integration

Herramientas

AWS

Scala

Apache Spark

SQL

Spark SQL

Git

DataFrames / Datasets

Descripción del empleo

Buscamos un/a Desarrollador/a Spark Scala 3 año de experiencia

para un proyecto relacionado con tratamiento y transformación de datos.

Tecnologías obligatorias

• AWS
• Scala
• Apache Spark
• SQL
• Spark SQL
• Git
• DataFrames / Datasets

Experiencia requerida

• Desarrollo de procesos de tratamiento y transformación de datos con Scala y Apache Spark.
• Experiencia con Spark SQL, DataFrames/Datasets y SQL.
• Desarrollo de procesos batch.
• Manejo de grandes volúmenes de datos.
• Integración con diferentes fuentes de información.
• Control de versiones con Git.