Spark & Scala Data Engineer – AWS (Banking)

IT Partner; Madrid; Vor Ort; EUR 29.000 - 35.000; Vollzeit

Zusammenfassung

IT Partner está buscando un/a Data Engineer especializado/a en Apache Spark y Scala para un proyecto en el sector bancario. Se valorará experiencia en entornos AWS y en procesos ETL y pipelines de datos, con foco en calidad e integridad de datos.

La posición requiere autonomía, enfoque analítico y capacidad para gestionar incidencias con poca supervisión, manteniendo documentación y buenas prácticas en un entorno regulado. Se valorarán ubicaciones alternas y presencia en oficinas del cliente.

Qualifikationen

• Experiencia de al menos 2–3 años en Data Engineering.
• Experiencia práctica con Apache Spark, Scala y Hadoop.
• Conocimientos sólidos de AWS EMR, Glue, Lambda y Step Functions.
• Experiencia en desarrollo y mantenimiento de procesos ETL y pipelines de datos.
• Conocimientos de Terraform para infraestructura como código.
• Manejo de SQL y herramientas como Amazon Athena.
• Inglés C1 imprescindible.

Aufgaben

• Diseñar, desarrollar y mantener pipelines de datos con Spark y Scala.
• Implementar procesos ETL, transformaciones y migraciones de datos, garantizando integridad.
• Orquestar y monitorizar procesos batch con AWS Step Functions.
• Trabajar con AWS EMR, Glue y Lambda.
• Supervisar procesos en producción, analizar logs y diagnosticar errores.
• Realizar controles de calidad y validaciones de datos con SQL y Athena.
• Investigar incidencias y proponer soluciones correctivas.
• Documentar desarrollos y procedimientos operativos.
• Colaborar con equipos técnicos y funcionales.

Kenntnisse

Apache Spark

Scala

Python

Bash

SQL

Unix/Linux

Git

Maven

Jenkins

Inglés C1

Tools

Terraform

AWS EMR

AWS Glue

AWS Lambda

AWS Step Functions

Amazon Athena

Jobbeschreibung

IT Partner está buscando un/a Data Engineer especializado/a en Apache Spark y Scala para un proyecto en el sector bancario. Se valorará experiencia en entornos AWS y en procesos ETL y pipelines de datos, con foco en calidad e integridad de datos.

La posición requiere autonomía, enfoque analítico y capacidad para gestionar incidencias con poca supervisión, manteniendo documentación y buenas prácticas en un entorno regulado. Se valorarán ubicaciones alternas y presencia en oficinas del cliente.