Data Engineer: AWS, Airflow & PySpark | Cloud Pipelines

SQUAD Technology Solutions; España; On-site; PHP 3,759,000 - 5,639,000; Full time

Benefits offered by this job

Long-term project

Career plan with ongoing evaluation

Job summary

SQUAD Technology Solutions busca un ingeniero de datos y automatización de procesos E2E con 3-5 años de experiencia para migraciones, procesamiento masivo y soluciones cloud sobre AWS.

Trabajarás en un entorno moderno, construyendo pipelines robustos, escalables y automatizados, con DAGs en Airflow, PySpark y desarrollo backend en Java/Quarkus. Proyecto a largo plazo y plan de carrera.

Qualifications

• Desarrollar soluciones de datos sobre AWS en arquitecturas escalables y entornos cloud de alto rendimiento.
• Automatizar procesos de migración E2E y garantizar trazabilidad de los datos.
• Diseñar y mantener DAGs en Apache Airflow, orquestando procesos batch y flujos complejos de datos.
• Procesar y transformar datos con PySpark para optimizar cargas y rendimiento en grandes volúmenes.
• Desarrollar backend con Java y Quarkus, participando en construcción e integración de servicios y APIs.
• Experiencia con PostgreSQL y automatización operativa (FTP y validaciones).
• Implementación de testing automatizado y CI/CD, con controles de calidad en pipelines de despliegue.
• Valorable experiencia con S3, Glue, Lambda, Step Functions y observabilidad de procesos batch.

Responsibilities

• Desarrollar soluciones de datos sobre AWS en arquitecturas escalables.
• Automatizar procesos de migración E2E y garantizar trazabilidad de los datos.
• Diseñar y mantener DAGs en Apache Airflow para procesos batch.
• Procesar y transformar datos con PySpark para grandes volúmenes de información.
• Desarrollar backend con Java y Quarkus para servicios y APIs.
• Trabajar con PostgreSQL y automatización operativa (FTP, validaciones).
• Implementar testing automatizado y CI/CD en pipelines.
• Conocer S3, Glue, Lambda, Step Functions y observabilidad de procesos batch.

Skills

Data pipelines

ETL processes

Cloud architecture

CI/CD practices

Automated testing

Tools

AWS

Apache Airflow

PySpark

Java

Quarkus

PostgreSQL

S3

Glue

Lambda

Step Functions

FTP automation

CI/CD pipelines

Job description

SQUAD Technology Solutions busca un ingeniero de datos y automatización de procesos E2E con 3-5 años de experiencia para migraciones, procesamiento masivo y soluciones cloud sobre AWS.

Trabajarás en un entorno moderno, construyendo pipelines robustos, escalables y automatizados, con DAGs en Airflow, PySpark y desarrollo backend en Java/Quarkus. Proyecto a largo plazo y plan de carrera.