Ingénieur·e Données — Pipelines Databricks & Data Products

Alten; Longueuil; On-site; CAD 90,000 - 120,000; Full time

Benefits offered by this job

Rémunération compétitive

Formation certif.

Mobilité internationale

Activités d'équipe

Job summary

ALTEN Canada recrute un ingénieur de données pour concevoir l'infrastructure, construire les pipelines et livrer des data products conformes. Vous participerez à la validation, la traçabilité et à la documentation, dans un cadre agile et bilingue, en collaboration avec les équipes internationales et le MDC.

Maîtrise de Python, PySpark et SQL, expérience sur Databricks et AWS S3 sont requis; vous aurez l'occasion de travailler avec Delta Lake, Unity Catalog et Workflows, dans un contexte

Qualifications

• Maîtrise de Python, PySpark et SQL avancé.
• Expérience avec Databricks : Delta Lake, Unity Catalog, Workflows, Delta Live Tables ou équivalent.
• Connaissance de l'architecture médaillon et de la modélisation de données analytiques.
• Expérience avec AWS S3 et notions IAM.
• Maîtrise de l'orchestration (Databricks Workflows, Airflow ou équivalent).
• Compétences en qualité de données : conception de règles, seuils, scorecards.
• Expérience avec Git, revue de code et pratiques CI/CD.
• Capacité à traiter des sources non structurées et semi-structurées (fichiers plats, chiffriers).
• Autonomie dans un cadre agile.
• Souci du détail sur la qualité et la traçabilité.
• Aptitude à documenter de façon exploitable par une équipe réceptrice.
• Bilingue (français et anglais) pour la collaboration avec des équipes internationales dans le domaine de l'aérospatial.
• Baccalauréat en informatique, génie ou domaine connexe.
• 3 à 6 ans d'expérience en ingénierie de données, dont au moins 2 sur Databricks ou Spark en production.

Responsibilities

• Construire les pipelines d'extraction et d'ingestion automatisés et supervisés, déposant les données brutes dans la plateforme.
• Développer les modèles de données curatés et les data products dans les couches curatée et gold.
• Définir et implanter les règles de validation de la qualité, et produire les scorecards récurrentes.
• Conduire les tests itératifs de validation et de raffinement de la qualité des données.
• Profiler les sources lors des phases d'exploration et produire les constats alimentant les rapports de découverte et d'évaluation.
• Enregistrer les data products dans Unity Catalog avec métadonnées métier et techniques complètes, description et classification par domaine.
• Rédiger la documentation des data products dans l'espace Confluence : dictionnaire de données, lignage, propriété, SLA, guide d'utilisation.
• Produire les runbooks et procédures opérationnelles de supervision, de réponse aux incidents et de maintenance.
• Contribuer avec le DevOps au maintien et au raffinement du pipeline CI/CD.

Skills

Python

PySpark

SQL

Databricks

Delta Lake

Unity Catalog

Workflows

Airflow

AWS S3

IAM

Git

CI/CD

Data quality

Documentation

Bilingue FR/EN

Data modeling

Spark

Education

Baccalauréat informatique/génie

Tools

Databricks

Delta Lake

Unity Catalog

Git

Airflow

Job description

ALTEN Canada recrute un ingénieur de données pour concevoir l'infrastructure, construire les pipelines et livrer des data products conformes. Vous participerez à la validation, la traçabilité et à la documentation, dans un cadre agile et bilingue, en collaboration avec les équipes internationales et le MDC.

Maîtrise de Python, PySpark et SQL, expérience sur Databricks et AWS S3 sont requis; vous aurez l'occasion de travailler avec Delta Lake, Unity Catalog et Workflows, dans un contexte