Senior Data Engineer — Hybrid Cloud Data Pipelines

Endava; Camden (AR); On-site; USD 85,000 - 125,000; Full time

Benefits offered by this job

Salario competitivo

Oportunidades de desarrollo global

Rotaciones internacionales

Job summary

Endava busca un Data Engineer para diseñar y mantener pipelines de datos en la nube y transformar datos en información accionable. Colaborará con científicos/analistas y trabajará con Azure, AWS o GCP, dbt y Datadog para garantizar calidad y rendimiento.

Se valorará experiencia en modelos de datos y arquitecturas orientadas a eventos. El rol requiere enfoque en ETL/ELT, SQL y Python, con énfasis en escalabilidad, costos y monitoreo.

Qualifications

• Dominio de Python y SQL, con experiencia en procesamiento de datos.
• Experiencia con bases de datos relacionales y NoSQL.
• Conocimiento de principios de diseño de datos (Medallion, Kimball, Star Schema).
• Sólida comprensión de ETL/ELT y pipelines de datos.
• Experiencia con Spark (PySpark/Scala).
• Servicios en Azure/AWS o GCP; uso de dbt y Datadog.

Responsibilities

• Trabajar con científicos y analistas para entender necesidades y flujos de datos.
• Diseñar, implementar y mantener pipelines de ingesta, procesamiento y transformación.
• Gestionar almacenamiento de datos con Azure Data Lake/SQL Database/Blob Storage.
• Desarrollar procesos ETL/ELT con Azure Data Factory u equivalentes.
• Garantizar calidad, integridad y confiabilidad de los datos.
• Mejorar escalabilidad y reducir costos de pipelines.
• Monitorear pipelines y asegurar disponibilidad de datos.
• Automatizar tareas y desplegar código con buenas prácticas de producción.

Skills

Python

SQL

ETL/ELT

Data modeling

Spark PySpark/Scala

AI/ML basics

Agile

Tools

Azure

AWS

GCP

dbt

Datadog

Job description

Endava busca un Data Engineer para diseñar y mantener pipelines de datos en la nube y transformar datos en información accionable. Colaborará con científicos/analistas y trabajará con Azure, AWS o GCP, dbt y Datadog para garantizar calidad y rendimiento.

Se valorará experiencia en modelos de datos y arquitecturas orientadas a eventos. El rol requiere enfoque en ETL/ELT, SQL y Python, con énfasis en escalabilidad, costos y monitoreo.