Ingénieur de Données (Senior)

Groupe SII; Mission; Hybrid; CAD 90,000 - 130,000; Full time

Job summary

Groupe SII à Mission (Colombie‑Britannique) recherche un ingénieur de données expérimenté pour faire évoluer une plateforme de données infonuagique en collaboration avec les équipes data et gouvernance.

Vous concevrez et développerez des pipelines scalables pour ingérer, traiter et stocker de gros volumes de données, et veillerez à la performance et à la disponibilité pour l’analyse et le reporting, dans un cadre Agile et avec une forte orientation qualité.

Qualifications

• Expérience d’au moins 5 ans en ingénierie de données.
• Maîtrise du développement Python et d’Apache Spark.
• Expérience significative avec Databricks.
• Bonne connaissance d’Azure Data Factory, Azure Data Lake et pipelines Azure DevOps.
• Expérience en gestion de code source et CI/CD avec Azure DevOps.
• Solide expertise SQL et bases relationnelles.
• Connaissance des modélisations de données et data warehousing.
• Expérience Agile souhaitée.
• Connaissance de Google BigQuery un atout.

Responsibilities

• Collaborer avec les équipes data et les parties prenantes pour comprendre les besoins et proposer des solutions.
• Concevoir, documenter et développer des pipelines de données scalables pour ingérer, traiter et stocker de gros volumes de données.
• Optimiser les flux de traitement pour la performance et la disponibilité des données.
• Assurer le soutien et la résolution des incidents liés aux pipelines de données et garantir la qualité des données.
• Définir et documenter les SLO des pipelines de données.
• Appliquer les standards de modélisation et de qualité des données.
• Participer à l’estimation des récits et à la conception dans un cadre Agile.
• Contribuer à l’adoption des meilleures pratiques et aux communautés de pratique.
• Collaborer avec l’équipe de gouvernance des données pour assurer la conformité.

Skills

Analyse & résolution

Communication

Vulgarisation technique

Organisation & qualité

Esprit d'équipe

Education

Licence/Bachelor en informatique

Tools

Azure Databricks

Python

Apache Spark

Azure Data Factory

Azure Data Lake

Azure DevOps

SQL

Google BigQuery

Job description

Contexte :

Au sein d'une équipe spécialisée en plateformes de données et outils analytiques, tu contribueras à l'évolution et à la fiabilité d'une plateforme de données d'entreprise infonuagique. Tu travailleras en étroite collaboration avec les équipes de science des données, d'analyse, de gouvernance et les partenaires d'affaires afin de rendre les données accessibles et exploitables pour les besoins analytiques et décisionnels.

Tu participeras activement à l'ensemble de la chaîne de valeur des données, incluant l'exploration, l'ingestion, la transformation, la préparation et l'orchestration des flux de données. Tu contribueras également à l'amélioration continue des bonnes pratiques, cadres de référence, processus et composantes réutilisables liées à la plateforme de données.

Responsabilités :

• Collaborer avec les équipes de science des données, d'analyse et les différentes parties prenantes afin de comprendre les besoins d'affaires et de proposer des solutions adaptées.
• Concevoir, documenter et développer des pipelines de données évolutifs permettant l'ingestion, le traitement et le stockage de volumes importants de données provenant de multiples sources (API, bases de données, fichiers, etc.).
• Optimiser les processus de traitement de données afin d'assurer la performance, l'efficacité opérationnelle et la disponibilité des données pour les besoins analytiques et de reporting.
• Participer à la résolution des incidents et problématiques liés aux pipelines de données et assurer un haut niveau de qualité et de disponibilité des données.
• Contribuer à la définition et à la documentation des objectifs de service (SLO) associés aux pipelines de données.
• Appliquer et promouvoir les standards de modélisation de données, d'intégration de données et de qualité des données dès la conception.
• Participer à l'estimation des travaux et à l'analyse des récits utilisateurs dans un contexte Agile.
• Contribuer activement aux communautés de pratique en partageant tes connaissances et en favorisant l'adoption des meilleures pratiques.
• Collaborer avec les équipes de gouvernance des données afin d'assurer la conformité aux politiques et standards organisationnels.

Qualifications requises :

• Minimum de 5 années d'expérience à titre d'ingénieur de données.
• Expérience avancée en développement Python et Apache Spark.
• Expérience significative avec la plateforme Databricks.
• Bonne maîtrise d'Azure Data Factory, Azure Data Lake et des pipelines Azure DevOps.
• Expérience en gestion de code source et intégration continue à l'aide d'Azure DevOps.
• Solide expérience en SQL et en bases de données relationnelles.
• Connaissance des concepts de modélisation de données, d'entreposage de données et d'optimisation des performances.
• Expérience de travail dans un environnement Agile.
• Expérience avec Google BigQuery (atout).

Formation :

• Diplôme universitaire en informatique, technologies de l'information, mathématiques, statistiques ou dans un domaine connexe.

Compétences recherchées :

• Excellentes capacités d'analyse et de résolution de problèmes.
• Aptitudes marquées en communication et en collaboration.
• Capacité à vulgariser l'information technique.
• Sens de l'organisation et souci de la qualité.
• Esprit d'équipe et approche orientée vers la création de valeur.

Environnement technologique :

• Azure Databricks
• Python
• Apache Spark
• Azure Data Factory
• Azure Data Lake
• Azure DevOps
• SQL
• Google BigQuery (atout)

Context:

As part of a Data Platform and Analytics team, you will contribute to the evolution, reliability and scalability of a cloud-based enterprise data platform. You will work closely with data scientists, analysts, governance teams and business stakeholders to make data accessible and actionable for analytics and decision-making purposes.

You will actively contribute to the entire data value chain, including data exploration, ingestion, transformation, preparation and orchestration. You will also help drive the continuous improvement of best practices, frameworks, processes and reusable components supporting the enterprise data platform.

Responsibilities:

• Collaborate with data scientists, analysts and stakeholders to understand business requirements and deliver effective data solutions.
• Design, document and develop scalable data pipelines for ingesting, processing and storing large volumes of data from multiple sources such as APIs, databases and files.
• Optimize data processing workflows to improve performance, efficiency and data availability for analytics and reporting activities.
• Support troubleshooting and resolution of data pipeline issues while ensuring data quality and platform reliability.
• Contribute to the definition and documentation of data pipeline Service Level Objectives (SLOs).
• Apply and promote Data Quality-by-Design, data integration and data modeling standards.
• Participate in user story estimation and solution design activities within an Agile environment.
• Contribute to communities of practice by sharing knowledge and promoting engineering best practices.
• Collaborate with data governance teams to ensure compliance with organizational policies and standards.

Required Qualifications:

• Minimum of 5 years of experience as a Data Engineer.
• Strong experience with Python and Apache Spark development.
• Significant experience working with Databricks.
• Strong knowledge of Azure Data Factory, Azure Data Lake and Azure DevOps pipelines.
• Experience with source control and CI/CD practices using Azure DevOps.
• Solid SQL expertise and experience with relational database management systems.
• Experience with data modeling, data warehousing and performance optimization.
• Experience working in Agile environments.
• Experience with Google BigQuery is considered an asset.

Education:

• Bachelor's degree in Computer Science, Information Technology, Mathematics, Statistics or a related field.

Desired Skills:

• Strong analytical and problem-solving abilities.
• Excellent communication and collaboration skills.
• Ability to communicate complex technical concepts effectively.
• Strong organizational skills and attention to quality.
• Team-oriented mindset with a focus on delivering business value.

Technology Environment:

• Azure Databricks
• Python
• Apache Spark
• Azure Data Factory
• Azure Data Lake
• Azure DevOps
• SQL
• Google BigQuery (asset)