Senior Data Engineer - Azure Databricks & Data Pipelines

Xideral; Montreal (administrative region); Hybrid; CAD 90,000 - 125,000; Full time

Job summary

BDC recherche un Data Engineer pour rejoindre l’équipe Data Platforms and Tools et contribuer à la fiabilité et à l’efficacité des plateformes de données d’entreprise.

La personne travaillera avec les Data Scientists, Data Analysts et les équipes de gouvernance afin de rendre les données disponibles pour les activités analytiques, avec un mandat axé sur Azure Databricks et Azure Data Factory.

Qualifications

• 5+ années d’expérience comme Data Engineer.

Responsibilities

• Concevoir, documenter et développer des pipelines de données évolutifs.
• Ingestérer et transformer des données provenant d’API, bases de données, fichiers et autres sources.
• Développer des pipelines batch et streaming vers Azure Databricks.
• Optimiser les traitements pour améliorer la performance, l’efficacité et les coûts.
• Diagnostiquer et résoudre les problèmes liés aux pipelines.
• Assurer la qualité et la disponibilité des données.
• Participer à la documentation des SLO des pipelines.
• Appliquer les standards de Data Integration, Data Modeling et Data Quality-by-Design.
• Collaborer avec les Data Scientists, Data Analysts et équipes d’affaires.
• Collaborer avec les Data Stewards et l’équipe Data Governance.
• Contribuer aux frameworks, librairies et bonnes pratiques de la plateforme Data.
• Participer à l’estimation des User Stories et Acceptance Criteria.
• Partager les bonnes pratiques avec la communauté Data Platforms and Tools.

Skills

Python

Spark

Data Pipelines

ETL

Agile

Data Modeling

Data warehousing

SQL

Azure DevOps

Education

Baccalauréat en TI, informatique, statistiques, mathématiques ou domaine connexe

Tools

Azure Databricks

Azure Data Factory

Azure Data Lake

Job description

BDC recherche un Data Engineer pour rejoindre l’équipe Data Platforms and Tools et contribuer à la fiabilité et à l’efficacité des plateformes de données d’entreprise.

La personne travaillera avec les Data Scientists, Data Analysts et les équipes de gouvernance afin de rendre les données disponibles pour les activités analytiques, avec un mandat axé sur Azure Databricks et Azure Data Factory.