Data Engineer – Spark / Scala / AWS - REMOTO

AD4 Octógono; Madrid; Remote; EUR 25,000 - 32,000; Full time

Job summary

AD4 Octógono busca un/a Data Engineer especializado/a en Spark y Scala para diseñar, desarrollar y mantener pipelines de datos de gran volumen en un entorno financiero y de reporting regulatorio. Trabajarás junto a analistas y expertos en modelado de datos para convertir requisitos en soluciones técnicas robustas.

La persona seleccionada gestionará ETL, migraciones y automatización de flujos, garantizando la calidad, integridad y disponibilidad de la información en producción, con enfoque en

Qualifications

• Experiencia profesional de al menos 2 años en Data Engineering con Spark y Scala.

Responsibilities

• Diseñar, desarrollar, mantener y optimizar pipelines de datos con Spark/Scala.
• Implementar procesos ETL y migraciones de tablas manteniendo integridad de datos.
• Colaborar con analistas y modeladores de datos para traducir requisitos en soluciones técnicas.
• Orquestar y monitorizar procesos batch con servicios AWS (Step Functions, EMR, Glue).
• Desarrollar controles de calidad de datos y reconciliación en SQL/Athena.
• Documentar desarrollos y procedimientos operativos; resolver incidencias en producción.

Skills

Spark

Scala

AWS

SQL

Python

Bash

Unix/Linux

Git

Maven

Jenkins

Jira

Power BI

Athena

Hadoop

Terraform

Tools

AWS EMR

AWS Glue

AWS Lambda

AWS Step Functions

Terraform

Hadoop

Amazon Athena

Job description

• Detectar valores nulos, duplicados e inconsistencias.

En AD4 Octógono estamos buscando talento

Buscamos un/a Data Engineer especializado/a en Spark y Scala, con experiencia en desarrollo y mantenimiento de procesos de tratamiento de grandes volúmenes de datos y conocimientos de servicios cloud de AWS.

La persona seleccionada participará en un proyecto de ingeniería de datos dentro de un entorno financiero y de reporting regulatorio, colaborando con analistas de negocio y especialistas en modelado de datos para transformar los requisitos funcionales y regulatorios en soluciones técnicas.

Buscamos un perfil con capacidad para desarrollar procesos ETL, gestionar migraciones de datos, automatizar flujos de procesamiento y garantizar la calidad, integridad y disponibilidad de la información en entornos productivos.

Requisitos imprescindibles

• Experiencia profesional de al menos 2 años en Data Engineering, con experiencia práctica en desarrollo con Spark y Scala.
• Conocimientos sólidos de Apache Spark, Scala y Hadoop.
• Experiencia en desarrollo y mantenimiento de pipelines de procesamiento de grandes volúmenes de datos.
• Experiencia en transformaciones, migraciones y sustitución de tablas, garantizando la integridad y consistencia de los datos.
• Conocimientos de servicios AWS:
• AWS EMR.
• AWS Glue.
• AWS Lambda.
• AWS Step Functions.
• Experiencia en orquestación, planificación y monitorización de procesos batch.
• Conocimientos de Terraform para configuración de infraestructura.
• Experiencia en monitorización y resolución de incidencias en producción, incluyendo análisis de logs Hadoop/YARN.
• Dominio de SQL y experiencia con Amazon Athena o motores de consulta equivalentes.
• Experiencia en controles de calidad de datos, reconciliación, detección de duplicados y validación de información.
• Conocimientos de scripting con Bash y Python.
• Experiencia trabajando en entornos Unix/Linux.
• Control de versiones con Git y herramientas de construcción como Maven.
• Conocimientos de procesos CI/CD y herramientas como Jenkins.
• Experiencia con Jira.
• Inglés C1, imprescindible para la comunicación en un entorno profesional internacional.

Funciones y responsabilidades

Desarrollo e ingeniería de datos

• Diseñar, desarrollar, mantener y optimizar pipelines de procesamiento de datos mediante Spark y Scala.
• Implementar procesos ETL y transformaciones complejas de información.
• Desarrollar estrategias de migración y sustitución de tablas, garantizando la integridad y consistencia de los datos.
• Colaborar con analistas de negocio y especialistas en modelado de datos para trasladar los requisitos funcionales y regulatorios a especificaciones técnicas.

Arquitectura y servicios AWS

• Orquestar y monitorizar procesos batch utilizando servicios AWS, especialmente Step Functions.
• Trabajar con AWS EMR, Glue y Lambda.
• Gestionar ejecuciones parametrizadas y flujos de procesamiento.
• Participar en la configuración y automatización de infraestructura mediante Terraform.

Calidad y validación de datos

• Desarrollar y ejecutar procesos de validación y reconciliación de datos.
• Realizar controles de calidad mediante SQL y Amazon Athena.
• Detectar valores nulos, duplicados e inconsistencias.
• Implementar pruebas automatizadas y controles que garanticen la fiabilidad de la información.

Operación y soporte de producción

• Monitorizar y solucionar incidencias en procesos productivos.
• Analizar logs de Hadoop/YARN, incluyendo stdout y stderr, para identificar errores y determinar sus causas.
• Realizar análisis de causa raíz y proponer medidas correctivas y preventivas.
• Documentar desarrollos, cambios técnicos, pruebas y procedimientos operativos.
• Garantizar el cumplimiento de los estándares de desarrollo y los requisitos regulatorios.

Se valorará especialmente

• Experiencia en banca o servicios financieros.
• Conocimiento de procesos de reporting regulatorio.
• Experiencia en banca minorista, empresarial o corporativa.
• Capacidad para interpretar requisitos de negocio y convertirlos en especificaciones técnicas.
• Experiencia en definición de escenarios de prueba y validación independiente de desarrollos.
• Conocimientos de Control-M para planificación y gestión de procesos batch.
• Familiaridad con plataformas de Business Intelligence, especialmente Power BI.
• Experiencia elaborando documentación técnica y operativa.

Competencias personales

• Capacidad analítica y resolución estructurada de problemas.
• Autonomía y responsabilidad sobre los entregables.
• Orientación a resultados y atención al detalle.
• Capacidad para investigar incidencias y encontrar su causa raíz.
• Organización y gestión de prioridades.
• Adaptabilidad y facilidad para comprender arquitecturas y sistemas existentes.
• Capacidad para trabajar de forma autónoma y colaborar con equipos multidisciplinares.

¿Qué ofrecemos?

• Salario: 25000€ - 32000€
• Modalidad Remota
• Participación en un proyecto especializado en ingeniería y procesamiento de datos.
• Entorno tecnológico basado en Apache Spark, Scala y servicios cloud de AWS.
• Trabajo sobre procesos de datos críticos y reporting regulatorio.
• Posibilidad de incorporación en alguna de nuestras oficinas, valorando también otras ubicaciones.

Si tienes experiencia en Data Engineering, dominas Spark y Scala y quieres participar en proyectos de procesamiento de datos en entornos cloud, ¡queremos conocerte!

AD4 Octógono – People & Technology