Data Engineer – Azure Databricks

Xideral; Montreal (administrative region); Hybrid; CAD 90,000 - 125,000; Full time

Job summary

BDC recherche un Data Engineer pour rejoindre l’équipe Data Platforms and Tools et contribuer à la fiabilité et à l’efficacité des plateformes de données d’entreprise.

La personne travaillera avec les Data Scientists, Data Analysts et les équipes de gouvernance afin de rendre les données disponibles pour les activités analytiques, avec un mandat axé sur Azure Databricks et Azure Data Factory.

Qualifications

• 5+ années d’expérience comme Data Engineer.

Responsibilities

• Concevoir, documenter et développer des pipelines de données évolutifs.
• Ingestérer et transformer des données provenant d’API, bases de données, fichiers et autres sources.
• Développer des pipelines batch et streaming vers Azure Databricks.
• Optimiser les traitements pour améliorer la performance, l’efficacité et les coûts.
• Diagnostiquer et résoudre les problèmes liés aux pipelines.
• Assurer la qualité et la disponibilité des données.
• Participer à la documentation des SLO des pipelines.
• Appliquer les standards de Data Integration, Data Modeling et Data Quality-by-Design.
• Collaborer avec les Data Scientists, Data Analysts et équipes d’affaires.
• Collaborer avec les Data Stewards et l’équipe Data Governance.
• Contribuer aux frameworks, librairies et bonnes pratiques de la plateforme Data.
• Participer à l’estimation des User Stories et Acceptance Criteria.
• Partager les bonnes pratiques avec la communauté Data Platforms and Tools.

Skills

Python

Spark

Data Pipelines

ETL

Agile

Data Modeling

Data warehousing

SQL

Azure DevOps

Education

Baccalauréat en TI, informatique, statistiques, mathématiques ou domaine connexe

Tools

Azure Databricks

Azure Data Factory

Azure Data Lake

Job description

Lieu : Montréal – siège social BDC, 5 Place Ville Marie
Mode de travail : Hybride – 3 jours/semaine au bureau, incluant obligatoirement un lundi ou un vendredi
Heures : 37,5 h/semaine, temps plein
Durée : 24 mois, sans option de renouvellement
Niveau : Intermédiaire – 5 à 10 ans d’expérience
Langues : Bilingue français/anglais

À propos du poste

BDC recherche un Data Engineer pour rejoindre l’équipe Data Platforms and Tools et contribuer à la fiabilité et à l’efficacité de ses plateformes de données d’entreprise.

La personne travaillera avec les Data Scientists, Data Analysts, équipes de gouvernance et équipes d’affaires afin de rendre les données disponibles pour les activités analytiques.

Le mandat est fortement axé sur Azure Databricks, Python/PySpark, Spark et Azure Data Factory, avec la conception et le maintien de pipelines de données batch et streaming alimentant la plateforme Cloud Enterprise Data Platform.

Exigences principales

• 5+ années d’expérience comme Data Engineer
• 5+ années d’expérience avec Python et Spark
• 4+ années d’expérience avec Databricks
• Expérience concrète dans la conception et le développement de pipelines Data / ETL
• Maîtrise de Azure Data Factory
• Maîtrise de Azure Data Lake
• Expérience avec Azure DevOps et Azure DevOps Pipelines
• Solide expérience avec SQL
• Expérience avec les bases de données relationnelles
• Expérience en Data Modeling
• Expérience en Data Warehousing
• Expérience en optimisation des performances
• Expérience avec différentes sources de données : API, bases de données, fichiers, etc.
• Expérience avec le traitement de volumes importants de données
• Connaissance des méthodologies Agile
• Baccalauréat en TI, informatique, statistiques, mathématiques ou domaine connexe
• Bilinguisme français/anglais

Atouts

• Expérience avec Google BigQuery
• Expérience avec les pipelines de données streaming et batch
• Expérience avec des pratiques de Data Quality-by-Design
• Expérience avec la gouvernance des données et collaboration avec des Data Stewards
• Expérience avec les SLO de pipelines de données

Responsabilités principales

• Concevoir, documenter et développer des pipelines de données évolutifs.
• Ingestérer et transformer des données provenant d’API, bases de données, fichiers et autres sources.
• Développer des pipelines batch et streaming vers Azure Databricks.
• Optimiser les traitements pour améliorer la performance, l’efficacité et les coûts.
• Diagnostiquer et résoudre les problèmes liés aux pipelines.
• Assurer la qualité et la disponibilité des données.
• Participer à la documentation des SLO des pipelines.
• Appliquer les standards de Data Integration, Data Modeling et Data Quality-by-Design.
• Collaborer avec les Data Scientists, Data Analysts et équipes d’affaires.
• Collaborer avec les Data Stewards et l’équipe Data Governance.
• Contribuer aux frameworks, librairies et bonnes pratiques de la plateforme Data.
• Participer à l’estimation des User Stories et Acceptance Criteria.
• Partager les bonnes pratiques avec la communauté Data Platforms and Tools.

En soumettant votre candidature, vous consentez à ce que Xideral recueille, utilise et conserve vos renseignements personnels uniquement à des fins de recrutement et de sélection pour ce poste ou pour des opportunités similaires en lien avec vos domaines d’expertise. Vos informations seront traitées de manière confidentielle et conforme à la Loi 25 sur la protection des renseignements personnels du Québec. Vous pouvez en tout temps demander l’accès, la rectification ou la suppression de vos données en nous contactant à l’adresse suivante : [e-mail].