Le/La Senior Data Engineer / Data Engineering Tech Lead/ Data architect sera responsable des fondations techniques qui rendent les données utilisables, fiables et évolutives 24/7. Ce rôle senior est pratique avec des responsabilités légères en leadership technique, et ne constitue pas un poste généraliste en ingénierie logicielle .NET.
L'accent est mis sur l'ingestion, la transformation, la qualité des données, la traçabilité, l'observabilité et la livraison sécurisée de produits de données et de jeux de données prêts pour le calcul.
Responsabilités :
- Contribuer à l'architecture de données de bout en bout et documenter les flux de données actuels et cibles, les interfaces, les dépendances et la propriété.
- Concevoir et construire des pipelines d'ingestion à partir de jeux de données internes, de bases de données, de APIs REST, de flux partenaires et d'échanges de fichiers contrôlés.
- Intégrer des données de pays hétérogènes tout en isolant la logique spécifique à la source grâce à des connecteurs réutilisables.
- Mettre en œuvre des modèles par lots et, lorsque justifié, des modèles proches du temps réel ou de streaming.
- Définir un traitement robuste pour l'évolution de schéma, les données arrivant tard, le replay, l'idempotence, les remplissages et les enregistrements échoués.
- Construire des structures évolutives pour des données d'intervalle à fort volume.
- Concevoir des transformations testées qui standardisent les données sources en jeux de données prêts pour le calcul.
- Mettre en œuvre des contrôles automatisés pour la qualité des données.
- Appliquer la sécurité par conception et maintenir des pipelines de données fiables.
- Agir comme référence senior en ingénierie de données au sein de l'équipe.
Compétences Requises
- Python avancé et SQL pour le traitement de données en production.
- Construction et exploitation de pipelines de données à travers des APIs, des bases de données et des fichiers.
- Expérience dans la gestion de jeux de données à fort volume et/ou dépendants du temps.
- Tests automatisés et contrôles de la qualité des données.
- Ingénierie de données dans le cloud sur Azure ou AWS.
- Anglais courant
Compétences Souhaitables
- Familiarité avec Databricks, Spark, Delta Lake et Unity Catalog.
- Expérience avec des plateformes énergétiques ou des séries temporelles.
- Services en temps réel ou de streaming tels que Kafka.
- Connaissance des outils de catalogage et de gouvernance des données.
- Expérience avec Power BI.
Autres Détails
- Lieu : IDF ( pas loin de Courbevoie )
- Type de Contrat : Temps plein, avec renouvellements potentiels
- Date de Rapport : Début le 01/01/2027, Fin le 31/12/2027