Senior Data Engineer

Aduna Global; Montreal (administrative region); Hybrid; CAD 110,000 - 150,000; Full time

Benefits offered by this job

Dentaire

Médical

REER/RPDB

Job summary

Aduna, basée à Montréal, cherche un ingénieur de données senior pour concevoir le lakehouse et déployer les pipelines d’ingestion et de transformation, en garantissant performance et évolutivité.

Vous mettrez en œuvre la gouvernance des données: métadonnées, traçabilité, accès et auditabilité, en collaborant sur une stack moderne.

Le poste est hybride (2–3 jours au bureau de Montréal) avec des avantages compétitifs et des perspectives d’évolution.

Qualifications

• Plus de 6 ans d’expérience en ingénierie de données avec pipelines et modèles de données en production.
• Solides compétences en SQL et Python, et expérience avec Spark.
• Expérience de conception d’une architecture lakehouse ou d’un entrepôt sur une plateforme cloud et capacité à en expliquer les compromis.
• Historique de responsabilité de bout en bout sur des données et capacité à arbitrer coût/fiabilité sur une plateforme cloud.
• Expérience pratique de la gouvernance des données: métadonnées, traçabilité, contrôles d’accès et qualité.
• Expérience avec des plateformes lakehouse/entrepôt (Databricks, Snowflake ou équivalent) et formats ouverts (Delta/Iceberg/Hudi).
• Systèmes de streaming (Kafka ou Kinesis) et Spark Structured Streaming ou Flink.
• Outils d’orchestration (Airflow ou Dagster) et dbt.
• DataOps: CI/CD pour les données et IaC (Terraform ou équivalent).
• Préparation des données pour le ML et traçabilité des données d’entrée.

Responsibilities

• Concevoir l’architecture du lakehouse et assurer son évolution.
• Construire et exploiter les pipelines principaux, par lots et en streaming.
• Définir les normes de données: modélisation, nommage, métadonnées et contrats de données.
• Mettre en œuvre la gouvernance dès le premier jour: propriété, classification et traitement des données personnelles, RBAC, conservation et auditabilité.
• Rendre les données fiables: contrôles de validation, SLO, surveillance et gestion des incidents.
• Fournir des ensembles de données documentés pour les équipes BI et ML.

Skills

SQL

Python

Spark

Lakehouse

Cloud DW

Data governance

Kafka

Airflow

dbt

Terraform

Tools

Databricks

Snowflake

Delta

Iceberg

Hudi

Kafka

Kinesis

Airflow

Dagster

dbt

Job description

• Hybrid model (2–3 days in our Montréal office)

Tous ensemble, extraordinaires

Montréal, QC · Hybride

Chez Aduna, nous construisons l’infrastructure de l’économie mondiale des API. En mettant en relation les opérateurs de télécommunications, les plateformes cloud et les innovateursen matière de logiciels, nous rendons possible la prochaine génération de services de communication numérique.

Derrière ces API se trouvent des données auxquelles nos équipes doivent pouvoir se fier: les transactions des API CAMARA, les données d’utilisation des opérateurs (CSP) et les analyses inter-opérateurs qui alimentent notre BI, nos analyses et notre ML. En tant qu’ingénieur(e) de données senior, vous concevrez notre lakehouse dès la première table, puis vous construirez et exploiterez les pipelines qui y reposent : ingestion, transformation, mise à disposition, qualité et gouvernance.

Ce que ce rôle est (et n’est pas)

Il s’agit d’un rôle d’ingénierie de données senior, résolument technique, avec une véritable responsabilité d’architecture. Vous concevrez le lakehouse et le construirez vous-même. Ce n’est pas un poste d’architecte pur, et il n’y a pas d’équipe distincte à qui transmettre vos conceptions. Si vous voulez coder chaque semaine tout en étant responsable du plan d’ensemble, ce poste est fait pour vous.

Ce que vous ferez

• Concevoir l’architecture du lakehouse (couches Medallion, formats de tables, organisation du stockage, modèles d’accès) et en assurer l’évolution.
• Construire et exploiter les pipelines principaux, par lots et en streaming, qui ingèrent, transforment et mettent à disposition les données d’utilisation des API et des opérateurs.
• Définir les normes de données sur lesquelles le reste de l’entreprise s’appuie: modélisation, nommage, métadonnées et contrats de données.
• Mettre en œuvre la gouvernance dès le premier jour: propriété, classification et traitement des données personnelles, RBAC, conservation et auditabilité.
• Rendre les données fiables: contrôles de validation, SLO d’actualité, d’exhaustivité et de latence, surveillance et alertes, gestion des incidents avec analyses rétrospectives.
• Fournir des ensembles de données sélectionnés et documentés que les équipes BI et ML peuvent utiliser en toute autonomie.

Ce que vous apportez

• 6+ ans d’ingénierie de données pratique, avec des pipelines et des modèles de données que vous avez conçus, livrés et exploités en production.
• Solides compétences en SQL et Python, avec une bonne expérience de Spark.
• Expérience de la conception d’une architecture lakehouse ou entrepôt de données sur une plateforme cloud, et capacité à en expliquer les compromis.
• Un historique de responsabilité de bout en bout: vous avez géré des incidents de données, arbitré des compromis coût/fiabilité sur une plateforme cloud et été responsabled’ensembles de données dont dépendent d’autres équipes.
• Expérience pratique de la mise en œuvre de la gouvernance des données: métadonnées, traçabilité, contrôles d’accès et contrôles de qualité.
• Plateformes lakehouse/entrepôt (Databricks, Snowflake ou équivalent) et formats de tables ouverts (Delta/Iceberg/Hudi).
• Systèmes de streaming et d’événements (Kafka ou Kinesis; Spark Structured Streaming ou Flink).
• Outils d’orchestration et de transformation (Airflow ou Dagster; dbt).
• Pratiques DataOps: CI/CD pour les données, tests automatisés et IaC (Terraform ou équivalent).
• Préparation des données pour le ML (ensembles de données prêts pour les modèles, traçabilité des données d’entrée).

Notre pile technique

• Construire une technologie qui impacte des millions de personnes
• Travailler avec des équipes passionnées et internationales
• Évoluer dans un environnement innovant et en croissance rapide

Notre offre:

• Modèle hybride (2-3 jours au bureau de Montréal)
• Salaire compétitif + avantages complets (dentaire, médical, REER/RPDB)
• Forte autonomie, collaboration et perspectives d’évolution

Avis de confidentialité: https://www.adunaglobal.com/privacy-notice/

Aduna s’engage à offrir un milieu de travail diversifié et inclusif et accueille les candidats de tous horizons.