Ingénieur de Données (Senior)

Groupe SII; Canada; Hybrid; CAD 90,000 - 130,000; Full time

Job summary

Groupe SII recherche un ingénieur de données expérimenté pour faire évoluer et fiabiliser une plateforme de données infonuagique. Vous travaillerez avec les sciences des données, l’analyse et les partenaires métier afin de rendre les données accessibles et exploitable pour l’analyse et la décision.

Vous participerez activement à la chaîne de valeur des données (exploration, ingestion, transformation, préparation et orchestration) et améliorerez les cadres, processus et composants réutilisables

Qualifications

• Minimum de 5 années d'expérience en tant qu'ingénieur de données.
• Solide développement Python et Apache Spark.
• Expérience significative avec Databricks.
• Bonne maîtrise d'Azure Data Factory, Azure Data Lake et pipelines Azure DevOps.
• Expérience avec le contrôle de source et CI/CD via Azure DevOps.
• SQL robuste et expérience avec les systèmes de bases de données relationnelles.
• Connaissance de la modélisation de données, entreposage et optimisation.
• Expérience en environnement Agile, expérience Google BigQuery appréciée.

Responsibilities

• Collaborer avec les data scientists, les analystes et les parties prenantes pour comprendre les besoins et proposer des solutions.
• Concevoir, documenter et développer des pipelines de données évolutifs pour ingérer, traiter et stocker de gros volumes de données depuis plusieurs sources.
• Optimiser les flux de traitement pour améliorer les performances et la disponibilité des données.
• Soutenir la résolution des incidents liés aux pipelines et assurer la qualité des données.
• Définir et documenter les objectifs de service (SLO) des pipelines de données.
• Appliquer les standards de qualité des données, d’intégration et de modélisation.
• Participer à l’estimation des récits utilisateur dans un cadre Agile.
• Contribuer aux communautés de pratique et promouvoir les meilleures pratiques.

Skills

Python

Apache Spark

SQL

Data modelling

Data warehousing

Agile

Google BigQuery

Education

Bachelor's degree in Computer Science, IT, Mathematics, Statistics or related field

Tools

Databricks

Azure Data Factory

Azure Data Lake

Azure DevOps

Job description

Contexte :

Au sein d'une équipe spécialisée en plateformes de données et outils analytiques, tu contribueras à l'évolution et à la fiabilité d'une plateforme de données d'entreprise infonuagique. Tu travailleras en étroite collaboration avec les équipes de science des données, d'analyse, de gouvernance et les partenaires d'affaires afin de rendre les données accessibles et exploitables pour les besoins analytiques et décisionnels.

Tu participeras activement à l'ensemble de la chaîne de valeur des données, incluant l'exploration, l'ingestion, la transformation, la préparation et l'orchestration des flux de données. Tu contribueras également à l'amélioration continue des bonnes pratiques, cadres de référence, processus et composantes réutilisables liées à la plateforme de données.

Responsabilités :

• Collaborer avec les équipes de science des données, d'analyse et les différentes parties prenantes afin de comprendre les besoins d'affaires et de proposer des solutions adaptées.
• Concevoir, documenter et développer des pipelines de données évolutifs permettant l'ingestion, le traitement et le stockage de volumes importants de données provenant de multiples sources (API, bases de données, fichiers, etc.).
• Optimiser les processus de traitement de données afin d'assurer la performance, l'efficacité opérationnelle et la disponibilité des données pour les besoins analytiques et de reporting.
• Participer à la résolution des incidents et problématiques liés aux pipelines de données et assurer un haut niveau de qualité et de disponibilité des données.
• Contribuer à la définition et à la documentation des objectifs de service (SLO) associés aux pipelines de données.
• Appliquer et promouvoir les standards de modélisation de données, d'intégration de données et de qualité des données dès la conception.
• Participer à l'estimation des travaux et à l'analyse des récits utilisateurs dans un contexte Agile.
• Contribuer activement aux communautés de pratique en partageant tes connaissances et en favorisant l'adoption des meilleures pratiques.
• Collaborer avec les équipes de gouvernance des données afin d'assurer la conformité aux politiques et standards organisationnels.

Qualifications requises :

• Minimum de 5 années d'expérience à titre d'ingénieur de données.
• Expérience avancée en développement Python et Apache Spark.
• Expérience significative avec la plateforme Databricks.
• Bonne maîtrise d'Azure Data Factory, Azure Data Lake et des pipelines Azure DevOps.
• Expérience en gestion de code source et intégration continue à l'aide d'Azure DevOps.
• Solide expérience en SQL et en bases de données relationnelles.
• Connaissance des concepts de modélisation de données, d'entreposage de données et d'optimisation des performances.
• Expérience de travail dans un environnement Agile.
• Expérience avec Google BigQuery (atout).

Formation :

• Diplôme universitaire en informatique, technologies de l'information, mathématiques, statistiques ou dans un domaine connexe.

Compétences recherchées :

• Excellentes capacités d'analyse et de résolution de problèmes.
• Aptitudes marquées en communication et en collaboration.
• Capacité à vulgariser l'information technique.
• Sens de l'organisation et souci de la qualité.
• Esprit d'équipe et approche orientée vers la création de valeur.

Environnement technologique :

• Azure Databricks
• Python
• Apache Spark
• Azure Data Factory
• Azure Data Lake
• Azure DevOps
• SQL
• Google BigQuery (atout)

Context:

As part of a Data Platform and Analytics team, you will contribute to the evolution, reliability and scalability of a cloud-based enterprise data platform. You will work closely with data scientists, analysts, governance teams and business stakeholders to make data accessible and actionable for analytics and decision-making purposes.

You will actively contribute to the entire data value chain, including data exploration, ingestion, transformation, preparation and orchestration. You will also help drive the continuous improvement of best practices, frameworks, processes and reusable components supporting the enterprise data platform.

Responsibilities:

• Collaborate with data scientists, analysts and stakeholders to understand business requirements and deliver effective data solutions.
• Design, document and develop scalable data pipelines for ingesting, processing and storing large volumes of data from multiple sources such as APIs, databases and files.
• Optimize data processing workflows to improve performance, efficiency and data availability for analytics and reporting activities.
• Support troubleshooting and resolution of data pipeline issues while ensuring data quality and platform reliability.
• Contribute to the definition and documentation of data pipeline Service Level Objectives (SLOs).
• Apply and promote Data Quality-by-Design, data integration and data modeling standards.
• Participate in user story estimation and solution design activities within an Agile environment.
• Contribute to communities of practice by sharing knowledge and promoting engineering best practices.
• Collaborate with data governance teams to ensure compliance with organizational policies and standards.

Required Qualifications:

• Minimum of 5 years of experience as a Data Engineer.
• Strong experience with Python and Apache Spark development.
• Significant experience working with Databricks.
• Strong knowledge of Azure Data Factory, Azure Data Lake and Azure DevOps pipelines.
• Experience with source control and CI/CD practices using Azure DevOps.
• Solid SQL expertise and experience with relational database management systems.
• Experience with data modeling, data warehousing and performance optimization.
• Experience working in Agile environments.
• Experience with Google BigQuery is considered an asset.

Education:

• Bachelor's degree in Computer Science, Information Technology, Mathematics, Statistics or a related field.

Desired Skills:

• Strong analytical and problem-solving abilities.
• Excellent communication and collaboration skills.
• Ability to communicate complex technical concepts effectively.
• Strong organizational skills and attention to quality.
• Team-oriented mindset with a focus on delivering business value.

Technology Environment:

• Azure Databricks
• Python
• Apache Spark
• Azure Data Factory
• Azure Data Lake
• Azure DevOps
• SQL
• Google BigQuery (asset)