Senior Data Engineer Azure — CDM & Cosmos DB Expert Remote

MIA Innovation; Montreal; Hybrid; CAD 110,000 - 150,000; Full time

Job summary

Montreal, Hybrid ou Remote - Canada : un mandat contractuel pour un Data Engineer senior (Azure) est proposé afin de construire la fondation data d’une plateforme d’IA dans un cadre juridique strict et conforme à la Loi 25. Le candidat concevra un CDM neutre et exploitable dans Cosmos DB, en assurant la transformation Bronze → Silver et le nettoyage qualité des données sensibles.

Le rôle exige une expertise en ETL/ELT, parsing JSON imbriqué, et maîtrise d’Azure Functions, Cosmos DB et stockage

Qualifications

• ,Niveau : Senior et autonomie.
• Azure Functions (serverless, architecture événementielle)
• Cosmos DB : modélisation et Change Feed
• Azure Table Storage / Blob Storage
• ETL/ELT, transformation et parsing de JSON imbriqué
• Python et/ou .NET (selon la stack des Functions)
• Pratiques de qualité de données (normalisation, déduplication, gestion des données incomplètes ou corrompues)

Responsibilities

• Développer les Azure Functions de transformation Bronze → Silver (architecture événementielle).
• Parser et normaliser des structures JSON imbriquées complexes provenant des outils métier (dossiers, factures, lignes de facturation, contacts clients).
• Concevoir et écrire le Modèle de Données Commun (CDM) dans Cosmos DB, en gardant le modèle neutre vis-à-vis des outils sources (un changement d'outil = un changement de connecteur, pas du CDM).
• Mettre en place le nettoyage qualité : normalisation UTF-8 stricte (corruptions de caractères héritées d'anciens systèmes juridiques legacy et de fichiers macOS), gestion des dossiers incomplets ou mal liés.
• Appliquer le filtrage de conformité : exclusion des champs sensibles (taux et conditions individuels, informations bancaires) de la chaîne destinée au RAG, en cohérence avec la Loi 25.
• (Phase ultérieure) Développer la synchronisation documentaire via Microsoft Graph API (création/archivage de répertoires SharePoint déclenchés par le Change Feed Cosmos DB).
• Documenter le pipeline et assurer le transfert de connaissances vers l'équipe d'ingénierie IA.

Skills

Azure Functions

Cosmos DB

Azure Table Storage

Azure Blob Storage

ETL/ELT

JSON parsing

Python

.NET

Data quality

Tools

Microsoft Graph API

Job description

Mandat contractuel — Data Engineer senior (Azure)

Secteur : services juridiques

Montreal - Hybride ou Remote - Canada

Contexte

Un cabinet juridique en croissance développe une plateforme d'intelligence artificielle reposant sur un Data Lake et un système RAG (Retrieval Augmented Generation). Le présent mandat porte sur la fondation data de cette plateforme : consolider des données aujourd'hui dispersées entre plusieurs outils (gestion de cabinet juridique, comptabilité, gestion documentaire) dans un Modèle de Données Commun (CDM) propre, neutre et conforme, qui alimentera le pipeline RAG et les agents conversationnels.

L'équipe d'ingénierie IA est déjà en place et prend en charge tout l'aval (vectorisation, indexation, agents). Le mandat se concentre strictement sur l'ingénierie de données en amont : de la couche brute (Bronze) vers la couche normalisée (Silver / CDM).

Les données traitées relèvent du domaine juridique (dossiers, mandats, facturation, documents de cabinet) et sont par nature sensibles : le mandat s'exerce dans un cadre de confidentialité élevée et de conformité à la Loi 25.

Mission

Concevoir et livrer le pipeline qui transforme les données brutes en un CDM exploitable dans Cosmos DB, prêt à être consommé par le pipeline RAG.

Responsabilités principales

• Développer les Azure Functions de transformation Bronze → Silver (architecture événementielle).
• Parser et normaliser des structures JSON imbriquées complexes provenant des outils métier (dossiers, factures, lignes de facturation, contacts clients).
• Concevoir et écrire le Modèle de Données Commun (CDM) dans Cosmos DB, en gardant le modèle neutre vis-à-vis des outils sources (un changement d'outil = un changement de connecteur, pas du CDM).
• Mettre en place le nettoyage qualité : normalisation UTF-8 stricte (corruptions de caractères héritées d'anciens systèmes juridiques legacy et de fichiers macOS), gestion des dossiers incomplets ou mal liés.
• Appliquer le filtrage de conformité : exclusion des champs sensibles (taux et conditions individuels, informations bancaires) de la chaîne destinée au RAG, en cohérence avec la Loi 25.
• (Phase ultérieure) Développer la synchronisation documentaire via Microsoft Graph API (création/archivage de répertoires SharePoint déclenchés par le Change Feed Cosmos DB).
• Documenter le pipeline et assurer le transfert de connaissances vers l'équipe d'ingénierie IA.
  

Hors périmètre

Vectorisation, embeddings, indexation Azure AI Search, conception des agents et des chatbots — pris en charge par l'équipe d'ingénierie IA. Aucune tâche de science des données (ML, modélisation statistique) n'est requise.

Compétences requises

Indispensables

• Niveau : Senior et autonomie
• Azure Functions (serverless, architecture événementielle)
• Cosmos DB : modélisation et Change Feed
• Azure Table Storage / Blob Storage
• ETL/ELT, transformation et parsing de JSON imbriqué
• Python et/ou .NET (selon la stack des Functions)
• Pratiques de qualité de données (normalisation, déduplication, gestion des données incomplètes ou corrompues)

Atouts

• Intégration d'API métier (gestion de cabinet juridique, comptabilité, Microsoft Graph API)
• Expérience de données réelles dégradées issues de systèmes legacy (problèmes d'encodage, héritage de logiciels anciens)
• Sensibilisation à la Loi 25 / protection des renseignements personnels, idéalement en contexte de données juridiques sensibles
• Notions d'architecture orientée RAG (pour bien dimensionner la sortie du CDM)

Pourquoi ce rôle est critique

Le CDM est la fondation de la plateforme : tant qu'il n'est pas livré et propre, le pipeline RAG ne peut pas être alimenté. C'est une dépendance bloquante du chemin critique — d'où l'importance de pourvoir ce mandat en priorité et de démarrer dès l'ouverture du projet.

Note : le nettoyage de données réelles est à variance élevée. La durée est communiquée en fourchette afin d'absorber les imprévus de qualité de données.