Sr. Data Engineer

emergiTEL; Toronto; On-site; CAD 110,000 - 150,000; Full time

Job summary

emergiTEL recherche un architecte données pour concevoir et livrer le modèle de données et le cadre de lignage continu pour des plateformes de données gouvernées au sein d’institutions financières réglementées. Responsable des modèles sémantiques et physiques utilisés par les couches de production de rapports et de rapprochement; concevoir le cadre de lignage et les normes d’auditabilité.

Vous dirigerez les migrations de modèles, définirez les normes d’audit et collaborerez avec les équipes

Qualifications

• Expérience dans des projets de migration de données à grande échelle et validation de rapprochement.
• Expertise en modèles de données sémantiques et physiques pour plateformes gouvernées.
• Conception de cadres de lignage continus et d’auditabilité dans des environnements réglementés.
• Bonne capacité à communiquer avec des intervenants techniques et métiers.

Responsibilities

• Concevoir et documenter les modèles de données sources et sorties.
• Diriger la migration de modèles et valider les résultats de rapprochement.
• Définir le modèle sémantique utilisé par les solutions de rapports.
• Concevoir un cadre de lignage des données continu.
• Intégrer le lignage au cycle de déploiement.
• Définir et mettre en œuvre l’approche de rapprochement entre jeux de données.
• Mettre en place une piste d’audit et des contrôles qualité.
• Appliquer les normes de gouvernance et de sécurité des données.
• Participer aux cérémonies Agile et livraisons client.

Skills

Migration données

Modèles sémantiques

Modèles physiques

Lignage continu

Auditabilité

Communication intervenants

Tools

Aurora PostgreSQL

S3

Glue

Athena

Iceberg

Lambda

Job description

Description du poste (Français)

Description du rôle

Concevoir et livrer le modèle de données, le cadre de lignage des données en continu, l’approche de rapprochement ainsi que l’infrastructure de piste d’audit pour des plateformes de données gouvernées au sein d’institutions financières réglementées. Assurer la responsabilité des modèles sémantiques et physiques utilisés par les couches de production de rapports et de rapprochement, concevoir le cadre de lignage et définir les normes d’auditabilité pour l’équipe de livraison.Responsabilités

• Concevoir et documenter les modèles de données pour les sources et les sorties confirmées, y compris les mappings source-cible, les exigences de transformation et le traitement des écarts de données.
• Diriger les travaux de migration des modèles de données en mappant les structures existantes vers les modèles cibles et en validant les résultats de rapprochement.
• Définir le modèle sémantique utilisé par les solutions de production de rapports.
• Concevoir et développer un cadre de lignage des données continu qui capture, stocke, met à jour et présente le lignage comme capacité essentielle.
• Intégrer la génération du lignage au cycle de déploiement afin d’assurer une mise à jour à chaque changement.
• Définir et mettre en œuvre l’approche de rapprochement entre les jeux de données sources, transformés et cibles.
• Mettre en place une infrastructure de piste d’audit enregistrant l’acteur, l’horodatage, l’état précédent, le nouvel état et le code de justification.
• Rédiger les spécifications de tests et intégrer des contrôles automatisés de qualité des données dans les pipelines de déploiement.
• Appliquer les normes de gouvernance des données du client concernant les données sensibles, la confidentialité et la gestion des accès.
• Participer activement aux cérémonies Agile et aux activités de livraison au sein de l’équipe intégrée du client.

Profil recherché

• Expérience démontrée dans des projets de migration de données à grande échelle avec validation de rapprochement.
• Expertise dans la conception de modèles de données sémantiques et physiques pour des plateformes gouvernées.
• Expérience dans la création de cadres de lignage continus plutôt que dans l’administration d’outils de lignage.
• Solide expérience en auditabilité et en contrôles de rapprochement dans des environnements réglementés.
• Expertise approfondie des plateformes AWS incluant Aurora PostgreSQL, S3, Glue, Athena, Iceberg, Lambda et les outils d’orchestration.
• Fort engagement envers la qualité logicielle, les tests automatisés et les contrôles de qualité des données.
• Expérience dans le secteur des services financiers réglementés.
• Capacité à communiquer avec des intervenants techniques, d’affaires et de gouvernance.
• Aisance à travailler comme membre intégré d’une équipe client.

Vacancy Status / Statut du poste

emergiTEL uses artificial intelligence to help identify and source candidates for this role. All assessment and selection decisions are made by our recruiters, a human is always involved, and no applicant is evaluated or rejected by automated means alone. / emergiTEL a recours à l'intelligence artificielle pour aider à identifier et à trouver des candidats pour ce poste. Toutes les décisions relatives à l'évaluation et à la sélection sont prises par nos recruteurs ; une intervention humaine est systématiquement assurée, et aucun candidat n'est évalué ou rejeté uniquement par des moyens automatisés.