DATA ENGINEER

Krell Consulting & Training, S.L.; Madrid; Presencial; EUR 45.000 - 65.000; Jornada completa

Descripción de la vacante

Krell Consulting & Training, S.L. en Madrid está buscando un Data Engineer para desarrollar y mantener pipelines de datos y soluciones escalables. Colaborará con equipos multidisciplinares para entender requisitos de negocio y garantizar la seguridad, rendimiento y calidad de la infraestructura de datos.

Se requiere experiencia en Airflow, Spark y Scala, además de capacidad para diseñar soluciones con COS y gestionar CI/CD. Se valorará habilidad para mentoría y documentación técnica.

Formación

• Experiencia en desarrollo y mantenimiento de pipelines de datos.
• Conocimiento de CI/CD y pruebas unitarias.
• Capacidad de diseñar pipelines escalables en Spark/Scala y COS.
• Experiencia con Airflow como servicio.
• Habilidad para documentar técnicamente y transferir conocimiento.
• Inglés y francés requeridos.

Responsabilidades

• Desarrollar y mantener pipelines de datos y sistemas escalables.
• Colaborar con equipos multidisciplinares para entender requisitos de negocio de datos.
• Garantizar rendimiento y calidad de la infraestructura de datos.
• Optimizar flujos de datos y transformar grandes volúmenes de información.
• Automatizar pipelines y orquestación, principalmente Airflow as a Service.
• Diseñar e implementar pipelines con Scala, Spark y COS.
• Configurar pipelines de CI/CD para despliegues y pruebas.

Conocimientos

Data pipelines

Airflow

Scala

Spark

Cloud Object Storage

CI/CD

Data quality

Mentoría de datos

Inglés y Francés

Herramientas

Airflow as a Service

Cloud Object Storage (COS)

Descripción del empleo

Overview

Desde Krell Consulting estamos buscando un Data Engineer

Responsibilities

• Desarrollo y mantenimiento de pipelines de datos y sistemas escalables dentro de las tecnologías y directrices del Grupo BNP Paribas, adaptándose a las necesidades del cliente.
• Colaboración con equipos multidisciplinares para comprender los requisitos de negocio relacionados con los datos y proporcionar soluciones adecuadas.
• Garantizar el rendimiento, la seguridad de la infraestructura de datos y la calidad e integridad de los datos, siguiendo las mejores prácticas de Data Engineering.
• Optimizar los flujos de trabajo de datos para mejorar el rendimiento y la eficiencia, enriqueciendo y transformando grandes volúmenes de información mediante reglas de negocio complejas.
• Automatizar los pipelines de datos y optimizar los procesos de ingesta mediante la implementación de orquestadores y procesos de planificación, principalmente Airflow as a Service.
• Diseñar e implementar pipelines de procesamiento de datos escalables y seguros utilizando Scala, Spark y Cloud Object Storage (COS), entre otras tecnologías.
• Configurar pipelines de CI/CD para automatizar despliegues, pruebas unitarias y la gestión del ciclo de desarrollo.
• Desarrollar y ejecutar pruebas unitarias y de validación para garantizar la precisión e integridad del código.
• Elaborar documentación técnica (especificaciones y documentación operativa) para asegurar la transferencia y conservación del conocimiento.
• Dar soporte a los diferentes equipos en la resolución de incidencias relacionadas con los datos.
• Garantizar la creación y el mantenimiento de documentación completa sobre los pipelines, sistemas y procesos de datos, asegurando que sea accesible para todos los miembros del equipo.
• Mantener una comunicación efectiva con los miembros del equipo y los diferentes interlocutores para garantizar la alineación en las iniciativas relacionadas con los datos.
• Proporcionar orientación técnica y mentoría a ingenieros de datos con menor experiencia.
• Fomentar una cultura de aprendizaje continuo y mejora constante dentro del equipo.

Idiomas requeridos

Inglés y francés.