Le conseiller en ingénierie de données contribue au développement de solutions permettant d’assurer la collecte, l’intégration, la consolidation, le nettoyage, le stockage et l’exploitation des flux des données. Il participe au développement, à la maintenance, au support et à l’opération des applications informatiques et des pipelines de données, en assurant l’analyse fonctionnelle, la conception technique, le codage, la mise au point et la documentation des programmes.
Responsabilités principales
- Recueillir les besoins analytiques exprimés par les utilisateurs
- Concevoir et construire des systèmes et des plateformes de collecte de données dans le cadre de mandats variés
- Réaliser le développement des pipelines de données, l’intégration, la transformation et la consolidation des données de différents systèmes dans des structures adaptées au contexte
- Effectuer des spécification et documentation de mapping de données
- Mettre en œuvre, surveiller, maintenir et optimiser des systèmes diversifiés répondant aux besoins d’affaires
- Utiliser divers langages de scripts et outils en vue de permettre le stockage et la production d’ensembles de données complexes
- Développer des algorithmes, des prototypes et des démonstrations de faisabilité à l’intérieur de projets complexes
- Identifier des opportunités d’optimisation des systèmes sur la base des tendances et des comportements et recommander des évolutions aux services de gestion des données
Compétences
- Avoir une bonne connaissance du secteur
- Faire preuve d’esprit stratégique
- Maîtriser les relations interpersonnelles
Connaissances et aptitudes requises
- NLP & IA Générative : OpenAI, fine-tuning, prompt engineering, intégration des modèles
- Déploiement MLOps & LLMOps : MLOps, LLMOps (intégration et industrialisation des modèles)
- ETL/ELT & intégration des données : Azure Data Factory, Medallion architecture (Bronze/Silver/Gold)
- Monitoring & Observabilité : Azure Monitor, Azure Log Analytics, Splunk, Dynatrace
- Sécurité & Accès : Azure KeyVault (gestion des secrets), Entra ID, Azure AD,
- Résilience & Disaster Recovery : Concepts RTO, RPO, réplication, failover et fallback
- API : Conception et déploiement d’API (REST)
- Langages de programmation : Python, R