Data Engineer

Fluid - Solutions de Talents/Workforce Solutions; Montreal; Hybrid; CAD 131,000 - 164,000; Full time

Job summary

Une entreprise de technologie innovante à Montréal cherche un Data Engineer pour concevoir et maintenir des pipelines de données. Le candidat idéal a 3 à 6 ans d'expérience en ingénierie de données, maîtrise Databricks, Python et SQL, et possède une bonne compréhension des environnements cloud. Ce poste est hybride et implique une collaboration avec des équipes de data science pour des solutions analytiques de qualité.

Qualifications

• Minimum 3 à 6 ans d'expérience en ingénierie de données.
• Expérience sur Databricks requise.
• Contexte d'intégration cloud à grande échelle valorisé.

Responsibilities

• Concevoir et optimiser des pipelines de données dans Databricks.
• Collaborer avec des équipes de data science pour fournir des jeux de données fiables.
• Mettre en place des workflows dautomatisation et dorchestration des tâches.

Skills

Databricks

Python

SQL

Azure

AWS

GCP

Airflow

CI/CD

Data Governance

Education

Diplôme universitaire en informatique ou génie logiciel

Tools

Azure Data Factory

AWS Glue

GCP Dataflow

Job description

Overview

Titre du poste : Data Engineer

Poste permanent

Présentielle Hybride

Montréal, Québec

Résumé du poste

Le Data Engineer est responsable de la conception, de la mise en place et de la maintenance des pipelines de données permettant d'alimenter les initiatives analytiques et d'intelligence artificielle de l'entreprise. Il ou elle joue un rôle central dans la modernisation de la plateforme de données en exploitant Databricks et les environnements Cloud pour garantir la qualité, la fiabilité et la performance des données tout au long de leur cycle de vie.

Responsabilités principales

• Concevoir, développer et optimiser des pipelines de données robustes, scalables et sécurisés dans Databricks(PySpark, Delta Lake, SQL).
• Intégrer, transformer et charger des données provenant de sources internes et externes vers des environnements cloud (Azure Data Lake, AWS S3, GCP BigQuery).
• Collaborer avec les équipes de data science, danalytique et daffaires pour comprendre les besoins et livrer des jeux de données fiables et documentés.
• Mettre en place des workflows dautomatisation et dorchestration des tâches (Airflow, Databricks Workflows, Azure Data Factory).
• Définir et appliquer les bonnes pratiques de gouvernance des données, incluant la gestion des métadonnées, la traçabilité et la sécurité.
• Contribuer à la mise en place de standards MLOps et DataOps, assurant la continuité entre les modèles analytiques et les pipelines de données.
• Gérer le monitoring et lobservabilité des flux de données pour prévenir les incidents et améliorer la fiabilité.
• Documenter les architectures, les processus et les scripts pour assurer la maintenabilité et le transfert de connaissances.
• Participer aux revues darchitecture et à la veille technologique sur les outils de traitement massivement parallèle et les plateformes cloud.

Compétences techniques recherchées

• Excellente maîtrise de Databricks (Delta Lake, PySpark, SQL, MLflow, Unity Catalog).
• Solides compétences en Python et SQL pour la transformation et l'analyse de données.
• Expérience dans un environnement cloud(Azure, AWS ou GCP) incluant les services d’entreposage et d’intégration de données (Azure Data Factory, AWS Glue, GCP Dataflow).
• Bonne compréhension des principes de data lakehouse, de modélisation de données (étoile, 3NF, Data Vault) et des architectures modernes (ELT, streaming, batch).
• Connaissance pratique des outils d'orchestration (Airflow, Prefect, Databricks Workflows) et de CI/CD (GitHub Actions, Azure DevOps).
• Expérience avec la gestion des accès et sécurité des données (RBAC, IAM, encryption).
• Maîtrise des pratiques de versionnement, de testing et de déploiement de code.
• Connaissance des pratiques de gouvernance et qualité des données (profiling, validation, catalogage).

Profil recherché

• Diplôme universitaire en informatique, génie logiciel, génie informatique ou domaine connexe.
• Minimum 3 à 6 ans dexpérience en ingénierie de données, incluant au moins un projet sur Databricks.
• Expérience dans un contexte dintégration cloud à grande échelle (entreprise, secteur public, immobilier, etc.).
• Esprit analytique, rigueur et capacité à travailler dans un environnement agile.
• Excellentes compétences en communication et en travail d'équipe.

Fluid vous remercie de l'intérêt que vous portez à cette opportunité. Toutefois, seuls les candidats possédant les compétences requises seront contactés.

Fluid souscrit aux principes d'égalité d'accès à l'emploi et d'action positive. Nous accueillons et encourageons la diversité sur notre lieu de travail.

Les candidats doivent être qualifiés pour travailler au Canada.