Remote Data Engineer: Spark, Scala & AWS Specialist

AD4 Octógono; Madrid; Remote; EUR 25,000 - 32,000; Full time

Job summary

AD4 Octógono busca un/a Data Engineer especializado/a en Spark y Scala para diseñar, desarrollar y mantener pipelines de datos de gran volumen en un entorno financiero y de reporting regulatorio. Trabajarás junto a analistas y expertos en modelado de datos para convertir requisitos en soluciones técnicas robustas.

La persona seleccionada gestionará ETL, migraciones y automatización de flujos, garantizando la calidad, integridad y disponibilidad de la información en producción, con enfoque en

Qualifications

• Experiencia profesional de al menos 2 años en Data Engineering con Spark y Scala.

Responsibilities

• Diseñar, desarrollar, mantener y optimizar pipelines de datos con Spark/Scala.
• Implementar procesos ETL y migraciones de tablas manteniendo integridad de datos.
• Colaborar con analistas y modeladores de datos para traducir requisitos en soluciones técnicas.
• Orquestar y monitorizar procesos batch con servicios AWS (Step Functions, EMR, Glue).
• Desarrollar controles de calidad de datos y reconciliación en SQL/Athena.
• Documentar desarrollos y procedimientos operativos; resolver incidencias en producción.

Skills

Spark

Scala

AWS

SQL

Python

Bash

Unix/Linux

Git

Maven

Jenkins

Jira

Power BI

Athena

Hadoop

Terraform

Tools

AWS EMR

AWS Glue

AWS Lambda

AWS Step Functions

Terraform

Hadoop

Amazon Athena

Job description

AD4 Octógono busca un/a Data Engineer especializado/a en Spark y Scala para diseñar, desarrollar y mantener pipelines de datos de gran volumen en un entorno financiero y de reporting regulatorio. Trabajarás junto a analistas y expertos en modelado de datos para convertir requisitos en soluciones técnicas robustas.

La persona seleccionada gestionará ETL, migraciones y automatización de flujos, garantizando la calidad, integridad y disponibilidad de la información en producción, con enfoque en