Data Engineer — Scalable Pipelines, Spark & Airflow

Krell Consulting & Training, S.L.; Madrid; Presencial; EUR 45 000 - 65 000; Tempo integral

Resumo da oferta

Krell Consulting & Training, S.L. en Madrid está buscando un Data Engineer para desarrollar y mantener pipelines de datos y soluciones escalables. Colaborará con equipos multidisciplinares para entender requisitos de negocio y garantizar la seguridad, rendimiento y calidad de la infraestructura de datos.

Se requiere experiencia en Airflow, Spark y Scala, además de capacidad para diseñar soluciones con COS y gestionar CI/CD. Se valorará habilidad para mentoría y documentación técnica.

Qualificações

• Experiencia en desarrollo y mantenimiento de pipelines de datos.
• Conocimiento de CI/CD y pruebas unitarias.
• Capacidad de diseñar pipelines escalables en Spark/Scala y COS.
• Experiencia con Airflow como servicio.
• Habilidad para documentar técnicamente y transferir conocimiento.
• Inglés y francés requeridos.

Responsabilidades

• Desarrollar y mantener pipelines de datos y sistemas escalables.
• Colaborar con equipos multidisciplinares para entender requisitos de negocio de datos.
• Garantizar rendimiento y calidad de la infraestructura de datos.
• Optimizar flujos de datos y transformar grandes volúmenes de información.
• Automatizar pipelines y orquestación, principalmente Airflow as a Service.
• Diseñar e implementar pipelines con Scala, Spark y COS.
• Configurar pipelines de CI/CD para despliegues y pruebas.

Conhecimentos

Data pipelines

Airflow

Scala

Spark

Cloud Object Storage

CI/CD

Data quality

Mentoría de datos

Inglés y Francés

Ferramentas

Airflow as a Service

Cloud Object Storage (COS)

Descrição da oferta de emprego

Krell Consulting & Training, S.L. en Madrid está buscando un Data Engineer para desarrollar y mantener pipelines de datos y soluciones escalables. Colaborará con equipos multidisciplinares para entender requisitos de negocio y garantizar la seguridad, rendimiento y calidad de la infraestructura de datos.

Se requiere experiencia en Airflow, Spark y Scala, además de capacidad para diseñar soluciones con COS y gestionar CI/CD. Se valorará habilidad para mentoría y documentación técnica.