Data Engineer — Spark, Scala & AWS (Remote)

Ad4 Octogono; Madrid; Remote; EUR 25.000 - 32.000; Vollzeit

Zusammenfassung

AD4 Octógono busca un Data Engineer especializado en Spark y Scala para desarrollar y mantener pipelines de datos en un entorno financiero y de reporting regulatorio. Colaborarás con analistas y expertos en modelado de datos para traducir requerimientos en soluciones técnicas robustas.

Se valorará experiencia en AWS (EMR/Gluе/Lambda/Step Functions), orquestación de procesos batch y calidad de datos. Ofrecemos modalidad Remota y posibilidad de oficinas, con salario entre 25.000€ y 32.000€.

Qualifikationen

• Experiencia profesional de al menos 2 años en Data Engineering con Spark y Scala.
• Conocimientos de Apache Spark, Scala y Hadoop.
• Experiencia en desarrollo y mantenimiento de pipelines de datos.
• Transformaciones, migraciones y sustitución de tablas con integridad de datos.
• Conocimientos de servicios AWS: EMR, Glue, Lambda y Step Functions.
• Experiencia en orquestación, planificación y monitorización de procesos batch.
• Conocimientos de Terraform para infraestructura.
• Monitorización de logs Hadoop/YARN y resolución de incidencias.
• Dominio de SQL y experiencia con Amazon Athena o motores equivalentes.
• Control de calidad de datos y detección de duplicados.
• Scripting en Bash y Python; entornos Unix/Linux.
• Git y Maven; CI/CD; Jenkins; Jira.
• Inglés C1 imprescindible para comunicación internacional.

Aufgaben

• Diseñar, desarrollar, mantener y optimizar pipelines con Spark y Scala.
• Implementar procesos ETL y transformaciones complejas.
• Migrar y sustituir tablas garantizando la integridad de los datos.
• Colaborar con analistas y modeladores de datos para convertir requisitos en especificaciones técnicas.
• Orquestar y monitorizar procesos batch con AWS Step Functions, EMR, Glue y Lambda.
• Configurar infraestructura con Terraform y gestionar automatización.
• Desarrollar validaciones, reconciliaciones y controles de calidad de datos.
• Analizar logs y resolver incidencias en producción; documentar cambios.

Kenntnisse

Capacidad analítica

Autonomía

Tools

Apache Spark

Scala

Hadoop

AWS EMR

AWS Glue

AWS Lambda

AWS Step Functions

Terraform

Git

Maven

Jenkins

Jira

Python

Bash

Unix/Linux

SQL

Amazon Athena

Jobbeschreibung

AD4 Octógono busca un Data Engineer especializado en Spark y Scala para desarrollar y mantener pipelines de datos en un entorno financiero y de reporting regulatorio. Colaborarás con analistas y expertos en modelado de datos para traducir requerimientos en soluciones técnicas robustas.

Se valorará experiencia en AWS (EMR/Gluе/Lambda/Step Functions), orquestación de procesos batch y calidad de datos. Ofrecemos modalidad Remota y posibilidad de oficinas, con salario entre 25.000€ y 32.000€.