Data Engineer – Azure Databricks

Xideral Canada; Montreal (administrative region); Hybrid; CAD 90,000 - 130,000; Full time

Job summary

Xideral Canada recherche un Data Engineer pour rejoindre l’équipe Data Platforms and Tools et contribuer à la fiabilité et à l’efficacité de ses plateformes de données d’entreprise.

Le rôle met l'accent sur Azure Databricks, Python/PySpark, Spark et Azure Data Factory, avec la conception et le maintien de pipelines de données batch et streaming alimentant la plateforme Cloud Enterprise Data Platform.

Qualifications

• 5+ années d’expérience comme Data Engineer.
• 5+ années d’expérience avec Python et Spark.
• 4+ années d’expérience avec Databricks.
• Conception et développement de pipelines Data/ETL.
• Maîtrise d’Azure Data Factory.
• Maîtrise d’Azure Data Lake.
• Expérience avec Azure DevOps et Azure DevOps Pipelines.
• Solide expérience avec SQL et bases de données relationnelles.
• Expérience en Data Modeling et Data Warehousing.
• Compétences en optimisation des performances et traitement de gros volumes.
• Expérience avec sources multiples (API, BDD, fichiers).
• Méthodologies Agile et travail en équipe.

Responsibilities

• Concevoir, documenter et développer des pipelines de données évolutifs.
• Ingestérer et transformer des données via API, bases, fichiers, etc.
• Développer des pipelines batch et streaming vers Azure Databricks.
• Optimiser les traitements pour performance et coûts.
• Diagnostiquer et résoudre les problèmes de pipelines.
• Assurer qualité et disponibilité des données.
• Documenter les SLO des pipelines et contribuer à la gouvernance.
• Collaborer avec Data Scientists et Data Analysts et équipes métiers.
• Contribuer aux frameworks et pratiques Data Platform.
• Participer à l’estimation des User Stories et critères d’acceptation.

Skills

Data Engineer

Python

Spark

Databricks

Azure Data Factory

Azure Data Lake

Azure DevOps

SQL

Relational Databases

Data Modeling

Data Warehousing

Data Pipelines

ETL

Agile

Big Data

API/Data Sources

Education

Baccalauréat en TI, informatique, statistiques, mathématiques ou domaine connexe

Job description

Lieu : Montréal - siège social BDC, 5 Place Ville Marie

Mode de travail : Hybride - 3 jours/semaine au bureau, incluant obligatoirement un lundi ou un vendredi

Heures : 37,5 h/semaine, temps plein

Durée : 24 mois, sans option de renouvellement

Niveau : Intermédiaire - 5 à 10 ans d’expérience

Langues : Bilingue français/anglais

À propos du poste

BDC recherche un Data Engineer pour rejoindre l’équipe Data Platforms and Tools et contribuer à la fiabilité et à l’efficacité de ses plateformes de données d’entreprise. La personne travaillera avec les Data Scientists, Data Analysts, équipes de gouvernance et équipes d’affaires afin de rendre les données disponibles pour les activités analytiques. Le mandat est fortement axé sur Azure Databricks, Python/PySpark, Spark et Azure Data Factory, avec la conception et le maintien de pipelines de données batch et streaming alimentant la plateforme Cloud Enterprise Data Platform.

Exigences principales

• 5+ années d’expérience comme Data Engineer
• 5+ années d’expérience avec Python et Spark
• 4+ années d’expérience avec Databricks
• Expérience concrète dans la conception et le développement de pipelines Data / ETL
• Maîtrise de Azure Data Factory
• Maîtrise de Azure Data Lake
• Expérience avec Azure DevOps et Azure DevOps Pipelines
• Solide expérience avec SQL
• Expérience avec les bases de données relationnelles
• Expérience en Data Modeling
• Expérience en Data Warehousing
• Expérience en optimisation des performances
• Expérience avec différentes sources de données : API, bases de données, fichiers, etc.
• Expérience avec le traitement de volumes importants de données
• Connaissance des méthodologies Agile
• Baccalauréat en TI, informatique, statistiques, mathématiques ou domaine connexe
• Bilinguisme français/anglais

Atouts

• Expérience avec Google BigQuery
• Expérience avec les pipelines de données streaming et batch
• Expérience avec des pratiques de Data Quality-by-Design
• Expérience avec la gouvernance des données et collaboration avec des Data Stewards
• Expérience avec les SLO de pipelines de données

Responsabilités principales

• Concevoir, documenter et développer des pipelines de données évolutifs.
• Ingestérer et transformer des données provenant d’API, bases de données, fichiers et autres sources.
• Développer des pipelines batch et streaming vers Azure Databricks.
• Optimiser les traitements pour améliorer la performance, l’efficacité et les coûts.
• Diagnostiquer et résoudre les problèmes liés aux pipelines.
• Assurer la qualité et la disponibilité des données.
• Participer à la documentation des SLO des pipelines.
• Appliquer les standards de Data Integration, Data Modeling et Data Quality-by-Design.
• Collaborer avec les Data Scientists, Data Analysts et équipes d’affaires.
• Collaborer avec les Data Stewards et l’équipe Data Governance.
• Contribuer aux frameworks, librairies et bonnes pratiques de la plateforme Data.
• Participer à l’estimation des User Stories et Acceptance Criteria.
• Partager les bonnes pratiques avec la communauté Data Platforms and Tools.

En soumettant votre candidature, vous consentez à ce que Xideral recueille, utilise et conserve vos renseignements personnels uniquement à des fins de recrutement et de sélection pour ce poste ou pour des opportunités similaires en lien avec vos domaines d’expertise. Vos informations seront traitées de manière confidentielle et conformément à la Loi 25 sur la protection des renseignements personnels du Québec. Vous pouvez en tout temps demander l’accès, la rectification ou la suppression de vos données en nous contactant à l’adresse suivante : [e-mail].