Data Engineer AWS, Airflow & PySpark - (remoto, 36-39k)

SQUAD Technology Solutions; España; On-site; PHP 3,759,000 - 5,639,000; Full time

Benefits offered by this job

Long-term project

Career plan with ongoing evaluation

Job summary

SQUAD Technology Solutions busca un ingeniero de datos y automatización de procesos E2E con 3-5 años de experiencia para migraciones, procesamiento masivo y soluciones cloud sobre AWS.

Trabajarás en un entorno moderno, construyendo pipelines robustos, escalables y automatizados, con DAGs en Airflow, PySpark y desarrollo backend en Java/Quarkus. Proyecto a largo plazo y plan de carrera.

Qualifications

• Desarrollar soluciones de datos sobre AWS en arquitecturas escalables y entornos cloud de alto rendimiento.
• Automatizar procesos de migración E2E y garantizar trazabilidad de los datos.
• Diseñar y mantener DAGs en Apache Airflow, orquestando procesos batch y flujos complejos de datos.
• Procesar y transformar datos con PySpark para optimizar cargas y rendimiento en grandes volúmenes.
• Desarrollar backend con Java y Quarkus, participando en construcción e integración de servicios y APIs.
• Experiencia con PostgreSQL y automatización operativa (FTP y validaciones).
• Implementación de testing automatizado y CI/CD, con controles de calidad en pipelines de despliegue.
• Valorable experiencia con S3, Glue, Lambda, Step Functions y observabilidad de procesos batch.

Responsibilities

• Desarrollar soluciones de datos sobre AWS en arquitecturas escalables.
• Automatizar procesos de migración E2E y garantizar trazabilidad de los datos.
• Diseñar y mantener DAGs en Apache Airflow para procesos batch.
• Procesar y transformar datos con PySpark para grandes volúmenes de información.
• Desarrollar backend con Java y Quarkus para servicios y APIs.
• Trabajar con PostgreSQL y automatización operativa (FTP, validaciones).
• Implementar testing automatizado y CI/CD en pipelines.
• Conocer S3, Glue, Lambda, Step Functions y observabilidad de procesos batch.

Skills

Data pipelines

ETL processes

Cloud architecture

CI/CD practices

Automated testing

Tools

AWS

Apache Airflow

PySpark

Java

Quarkus

PostgreSQL

S3

Glue

Lambda

Step Functions

FTP automation

CI/CD pipelines

Job description

En SQUAD Technology Solutions, una compañía de outsourcing tecnológico, estamos construyendo un con un fuerte compromiso por hacer las cosas bien desde el principio.

Actualmente estamos colaborando con uno de nuestros clientes para incorporar en unos de nuestros clientes a un ingeniero de datos y automatización de procesos E2E con 3-5 años de experiencia, participando en proyectos de migración, procesamiento masivo de datos y desarrollo de soluciones cloud sobre AWS. Formarás parte de un entorno tecnológico moderno, colaborando en la construcción de pipelines robustos, escalables y altamente automatizados.

• Desarrollo de soluciones de datos sobre AWS, trabajando con arquitecturas escalables y entornos cloud de alto rendimiento.
• Automatización de procesos de migración E2E, garantizando la calidad y trazabilidad de los datos.
• Diseño y mantenimiento de DAGs en Apache Airflow, orquestando procesos batch y flujos complejos de datos.
• Procesamiento y transformación de datos con PySpark, optimizando cargas y rendimiento en grandes volúmenes de información.
• Desarrollo backend con Java y Quarkus, participando en la construcción e integración de servicios y APIs.
• Experiencia con PostgreSQL y automatización operativa, incluyendo procesos FTP y validaciones de datos.
• Implementación de testing automatizado y CI/CD, integrando controles de calidad en los pipelines de despliegue.
• Valorable experiencia con S3, Glue, Lambda, Step Functions y observabilidad de procesos batch, aportando visión de mejora continua y monitorización end-to-end.
• Proyecto a largo plazo y estable.
• Plan de carrera y crecimiento profesional con evaluación continua.