Data Engineer

Genly Consulting; Île-de-France; Sur place; EUR 45 000 - 60 000; Plein temps

Résumé du poste

Une entreprise de conseil recherche un Data Engineer pour créer et optimiser des pipelines de traitement de données sur la plateforme Saagie. Le candidat doit avoir une expertise en Python et une expérience dans le développement de pipelines ETL/ELT. Ce poste exige une bonne collaboration avec les équipes métiers pour traduire les besoins en solutions techniques.

Qualifications

• Expérience confirmée dans le développement de pipelines de données.
• Maîtrise avancée de la programmation en Python.
• Connaissance des environnements ML est un plus.

Responsabilités

• Développer des pipelines de données robustes et performants.
• Concevoir et maintenir des transformations de données.
• Automatiser les flux de données en Python.

Connaissances

Développement de pipelines ETL/ELT

Programmation en Python

Connaissance des architectures Data Lake

Standardisation des flux

Expérience avec Saagie

Description du poste

Overview

Dans le cadre de l’offre de service du Data Office, notre client recherche un Data Engineer pour renforcer son équipe sur la plateforme data. La mission consiste principalement à créer et optimiser des pipelines de traitement de données sur la plateforme Saagie, en exploitant les technologies DBT et Python.

La plateforme étant encore jeune, ce dernier a besoin d’un collaborateur capable de travailler en mode exploration tout en structurant les développements pour une future montée en échelle.

Responsibilities

• Développer des pipelines de données robustes, performants et industrialisés.
• Concevoir et maintenir des transformations de données en utilisant dbt.
• Intégrer, nettoyer et préparer des données à des fins analytiques et décisionnelles.
• Automatiser les flux de données en Python pour optimiser les traitements.
• Collaborer avec les équipes métiers pour comprendre les besoins et traduire ces derniers en solutions techniques adaptées.

Techniques

• Expérience confirmée dans le développement de pipelines ETL/ELT, notamment avec dbt.
• Maîtrise avancée de la programmation en Python.
• Connaissance des architectures Data Lake et des solutions open source associées.
• Expertise en standardisation et industrialisation des flux (CI/CD, orchestration, monitoring).
• Expérience avec des plateformes DataOps telles que Saagie.
• Connaissance des contraintes liées aux projets en environnement ML (Machine Learning).

Fonctionnelles

• Capacité à comprendre les besoins métiers et projets.
• Aptitude à évaluer les implications techniques des choix fonctionnels.