Senior Data Engineer

Endava; Camden (AR); On-site; USD 85,000 - 125,000; Full time

Benefits offered by this job

Salario competitivo

Oportunidades de desarrollo global

Rotaciones internacionales

Job summary

Endava busca un Data Engineer para diseñar y mantener pipelines de datos en la nube y transformar datos en información accionable. Colaborará con científicos/analistas y trabajará con Azure, AWS o GCP, dbt y Datadog para garantizar calidad y rendimiento.

Se valorará experiencia en modelos de datos y arquitecturas orientadas a eventos. El rol requiere enfoque en ETL/ELT, SQL y Python, con énfasis en escalabilidad, costos y monitoreo.

Qualifications

• Dominio de Python y SQL, con experiencia en procesamiento de datos.
• Experiencia con bases de datos relacionales y NoSQL.
• Conocimiento de principios de diseño de datos (Medallion, Kimball, Star Schema).
• Sólida comprensión de ETL/ELT y pipelines de datos.
• Experiencia con Spark (PySpark/Scala).
• Servicios en Azure/AWS o GCP; uso de dbt y Datadog.

Responsibilities

• Trabajar con científicos y analistas para entender necesidades y flujos de datos.
• Diseñar, implementar y mantener pipelines de ingesta, procesamiento y transformación.
• Gestionar almacenamiento de datos con Azure Data Lake/SQL Database/Blob Storage.
• Desarrollar procesos ETL/ELT con Azure Data Factory u equivalentes.
• Garantizar calidad, integridad y confiabilidad de los datos.
• Mejorar escalabilidad y reducir costos de pipelines.
• Monitorear pipelines y asegurar disponibilidad de datos.
• Automatizar tareas y desplegar código con buenas prácticas de producción.

Skills

Python

SQL

ETL/ELT

Data modeling

Spark PySpark/Scala

AI/ML basics

Agile

Tools

Azure

AWS

GCP

dbt

Datadog

Job description

La tecnología es nuestro cómo. Y las personas son nuestro porqué. Durante más de dos décadas, hemos aprovechado el poder de la tecnología para impulsar cambios significativos.

Combinando ingeniería de primer nivel, experiencia en distintas industrias y un enfoque centrado en las personas, asesoramos y colaboramos con marcas líderes de diversos sectores para crear plataformas dinámicas y experiencias digitales inteligentes que impulsan la innovación y transforman los negocios.

Desde el prototipo hasta generar un impacto real: sé parte de una transformación global haciendo un trabajo que realmente importa.

Nuestro equipo de Datos cuenta con experiencia en ingeniería, análisis, arquitectura, modelado, machine learning, inteligencia artificial y ciencia de datos. Esta disciplina es responsable de transformar datos sin procesar en información accionable, construir infraestructuras de datos robustas y facilitar la toma de decisiones basada en datos, así como impulsar la innovación mediante analítica avanzada y modelos predictivos.

Como Data Engineeren Endava yo voy a:

Responsabilidades:

• Trabajar en conjunto con científicos y analistas de datos para comprender las necesidades de información y crear flujos de datos eficientes.
• Diseñar soluciones, implementar y mantener pipelines de datos para la ingesta, procesamiento y transformación de información utilizando servicios cloud y otras tecnologías.
• Crear y mantener soluciones de almacenamiento de datos, incluyendo Azure SQL Database, Azure Data Lake y Azure Blob Storage.
• Crear y mantener procesos ETL (Extract, Transform, Load) utilizando Azure Data Factory o tecnologías equivalentes.
• Implementar procedimientos de validación y limpieza de datos para garantizar su calidad, integridad y confiabilidad.
• Mejorar la escalabilidad, eficiencia y optimización de costos de los pipelines de datos.
• Monitorear y resolver problemas relacionados con los pipelines, garantizando la consistencia y disponibilidad de los datos.
• Automatizar tareas y desplegar código con estándares de producción, incluyendo pruebas unitarias, integración continua, control de versiones y otras buenas prácticas.

• Dominio de Python y SQL, con experiencia en lenguajes de scripting orientados al procesamiento de datos.
• Experiencia con bases de datos relacionales y NoSQL.
• Conocimiento de buenas prácticas y principios de diseño de datos, incluyendo conceptos como Medallion,Kimball y Star Schema, así como de Data Warehousing y modelado de datos.
• Sólida comprensión de procesos ETL/ELT.
• Experiencia con técnicas avanzadas de transformación y optimización de datos, incluyendo Spark (PySpark/Scala).
• Experiencia con servicios de Azure,AWS o GCP
• Dominio de herramientas como Data Build Tool (dbt) y Datadog.
• Experiencia con herramientas de monitoreo y observabilidad de datos.
• Experiencia relevante con arquitecturas orientadas a eventos (Event-Driven Architecture).
• Buen conocimiento y comprensión de metodologías y formas de trabajo Agile.

Descubrí algunos de los beneficios globales que ofrecemos para que nuestra gente pueda desarrollar su máximo potencial:

• Finanzas: Paquete salarial competitivo, reconocimientos basados en nuestros valores y bono por referidos.
• Desarrollo profesional: Coaching de carrera, oportunidades profesionales a nivel global, trayectorias de carrera no lineales y programas internos de desarrollo para liderazgo técnico y de gestión.
• Oportunidades de aprendizaje: Proyectos complejos, rotaciones, comunidades tecnológicas internas, capacitaciones, certificaciones, coaching, suscripciones a plataformas de aprendizaje online, sesiones de intercambio de conocimientos, workshops y conferencias.
• Equilibrio entre vida personal y laboral: Modalidad de trabajo híbrida, horarios flexibles y programa de asistencia al empleado.
• Salud y bienestar: Programa interno global de bienestar y acceso a aplicaciones de bienestar.
• Comunidad: Comunidades tecnológicas internas a nivel global, clubes de hobbies y grupos de interés, programas de inclusión y diversidad, eventos y celebraciones.

At Endava, we're committed to creating an open, inclusive, and respectful environment where everyone feels safe, valued, and empowered to be their best. We welcome applications from people of all backgrounds, experiences, and perspectives- because we know that inclusive teams help us deliver smarter, more innovative solutions for our customers. Hiring decisions are based on merit, skills, qualifications, and potential. If you need adjustments or support during the recruitment process, please let us know.