Ingénierie de données

SOVRA; Montreal (administrative region); On-site; CAD 90,000 - 120,000; Full time

Job summary

SOVRA recherche un ingénieur des données pour concevoir et maintenir des pipelines robustes dans une architecture lakehouse sur AWS. Vous travaillerez au sein de l'équipe Data Platform, en collaboration avec les analystes et les équipes IA pour livrer des données fiables et exploitable pour les clients.

Le candidat idéal possède une solide expérience en SQL, Python et dbt, et est capable de gérer l’ingestion et la modélisation des données tout au long des couches Bronze/Silver/Gold.

Qualifications

• Baccalauréat en informatique, ingénierie ou discipline connexe.
• 3+ années d'expérience en ingénierie des données, entreposage de données et ETL.
• Maîtrise de Python et SQL; expérience avec dbt et architectures lakehouse.

Responsibilities

• Concevoir, développer et maintenir des pipelines de données évolutifs pour traiter et intégrer les données.
• Optimiser les pipelines pour la performance, la rentabilité et la qualité des données.
• Collaborer avec les équipes produit et IA pour transformer les besoins en produits de données dans la couche Gold.

Skills

Python

SQL

dbt

Lakehouse

AWS

S3

Glue

Athena

Terraform

NoSQL

Education

Bach en informatique / ingénierie

Tools

AWS S3

AWS Glue

AWS Athena

dbt

Terraform

Job description

À propos de SOVRA

SOVRA est une plateforme de premier plan destinée aux approvisionnements du secteur public, utilisée par plus de 7 000 organismes gouvernementaux et plus d’un million de fournisseurs en Amérique du Nord. Notre travail se situe à l’intersection de la technologie, du service public et de la responsabilité, aidant les gouvernements à fonctionner de manière plus efficace et transparente au bénéfice des communautés qu’ils servent.

À propos de SOVRA

SOVRA est une plateforme de premier plan destinée aux approvisionnements du secteur public, utilisée par plus de 7 000 organismes gouvernementaux et plus d’un million de fournisseurs en Amérique du Nord. Notre travail se situe à l’intersection de la technologie, du service public et de la responsabilité, aidant les gouvernements à fonctionner de manière plus efficace et transparente au bénéfice des communautés qu’ils servent. Ce qui rend SOVRA unique, c’est notre forte spécialisation dans le secteur public. Nos solutions sont conçues pour répondre à de véritables défis complexes en matière d’approvisionnement, en conciliant conformité, convivialité et innovation. Cet engagement a été reconnu par la certification Achievement of Excellence in Procurement (AEP) du National Procurement Institute, reflétant nos normes élevées et notre impact sur le marché. Chez SOVRA, votre travail a un sens. Chaque amélioration que nous apportons aide les organisations publiques à optimiser l’utilisation des fonds publics, à fonctionner avec une transparence accrue et à offrir de meilleurs résultats à des millions de personnes. Nous sommes une entreprise en croissance, animée par une mission, où des personnes intelligentes et curieuses se réunissent pour créer des technologies au service du bien public. Pour en savoir plus, visitez sovra.com.

L'ENVIRONNEMENT

SOVRA exploite une plateforme lakehouse reposant sur une architecture Bronze / Silver / Gold utilisant Apache Iceberg. L'ingestion des données est assurée par AWS DMS et Zero-ETL, les transformations sont réalisées avec dbt, tandis que les services natifs d'AWS (S3, Glue, Athena et Bedrock) prennent en charge le stockage, le traitement des données et les capacités d'intelligence artificielle. La personne spécialiste en ingénierie des données évolue au sein de cet environnement, intégrée à l'équipe Data Platform.

Le profil recherché

Nous recherchons une personne spécialisée en ingénierie des données ayant une solide expérience pratique de SQL, Python, dbt et des architectures lakehouse modernes sur AWS. Elle est en mesure de prendre en charge l'ensemble du cycle de vie des pipelines de données, de la capture des changements à la source (CDC) jusqu'à la livraison de modèles Gold gouvernés. Elle est également habituée à évoluer dans un environnement gouverné, desservant plusieurs consommateurs de données, où les données sont considérées comme un véritable produit plutôt que comme un simple rapport.

Le quotidien

La journée débute généralement par une courte rencontre quotidienne avec l'équipe Data Platform afin de faire le point sur l'état des pipelines, la progression des processus d'ingestion et les obstacles à la livraison. Des séances de travail sont ensuite tenues avec les analystes de données pour valider les modèles de la couche Gold, ainsi qu'avec les autres ingénieurs de données afin de collaborer sur la logique de transformation commune.

Principales responsabilités (la majorité de la semaine)

Concevoir, développer et maintenir les pipelines d'ingestion permettant d'intégrer les données provenant des systèmes sources (bases de données des produits, puis éventuellement des plateformes SaaS) vers la couche Bronze. Développer les processus de nettoyage, de standardisation et de consolidation dans la couche Silver, puis modéliser les ensembles de données de la couche Gold à l'aide de dbt afin qu'ils puissent être consommés par les équipes internes et les clients externes.

Valorisation des données

Collaborer avec les équipes Produit, Mise en marché (GTM) et Intelligence artificielle afin de transformer les besoins d'affaires en produits de données de la couche Gold. Soutenir également les besoins des clients externes en matière d'accès aux données, de tableaux de bord intégrés (Embedded BI) et d'exportations de données préparées, à travers les différents services offerts par la plateforme.

Fiabilité et gouvernance

Assurer le suivi des engagements de service (SLA) des pipelines, résoudre les incidents en production, maintenir les métadonnées du catalogue et de la traçabilité (lineage), et effectuer les contrôles de qualité des données. Participer à l'occasion à des mandats ponctuels, notamment pour répondre à des demandes réglementaires, fournir des éléments de preuve dans le cadre d'audits ou soutenir des enquêtes liées à des incidents.

Évolution de la plateforme

Contribuer à l'implantation de nouveaux mécanismes d'ingestion (par exemple des connecteurs SaaS basés sur des API ou des flux de données), à la conception de jeux de données optimisés pour les applications d'intelligence artificielle, ainsi qu'à l'optimisation des coûts et des performances de la plateforme lakehouse.

Ingénierie de données

Principales Responsabilités

• Collaborer avec des équipes interfonctionnelles pour collecter les données requises.
• Concevoir, développer et maintenir des pipelines de données évolutifs pour traiter et intégrer les données provenant de diverses sources.
• Optimiser les pipelines de données pour le rendement, la rentabilité et la qualité des données.
• Concevoir et mettre en œuvre des modèles et des schémas de données qui répondent aux exigences opérationnelles.
• Élaborer et tenir à jour des modèles de données logiques et physiques pour appuyer l’entreposage des données et la production de rapports.
• Assurer l’uniformité et l’intégrité des données dans différents systèmes de stockage de données.
• Concevoir, développer et maintenir des processus ETL pour extraire, transformer et charger des données provenant de sources multiples.
• Surveiller les processus d’intégration des données, résoudre les problèmes et les résoudre.
• Collaborer avec les propriétaires des sources de données pour assurer la disponibilité et la qualité des données.
• Mettre en œuvre des contrôles de la qualité des données et des processus de validation pour assurer l’exactitude et la fiabilité des données.
• Collaborer avec les analystes de données et d’autres intervenants pour assurer la disponibilité et l’accessibilité des données à des fins d’analyse.
• Fournir une assistance technique et une expertise dans le domaine de l’ingénierie des données et des outils et technologies connexes.
• Améliorer continuellement les pratiques d’ingénierie des données et se tenir au courant des tendances et des meilleures pratiques du secteur.

Profil Désiré

• Solides compétences en résolution de problèmes, en analyse et en communication;
• Souci du détail;
• Capacité à travailler de façon autonome et en équipe dans un environnement dynamique;
• Habiletés en communication et relations interpersonnelles avec un focus sur la satisfaction client.

Qualifications

• Bach en informatique, ingénierie ou autre programme connexe;
• Trois (3)+ ans d'expérience en ingénierie des données, entreposage de données et processus ETL.
• Maîtrise des langages de programmation tels que Python et SQL
• Expérience avec les services de données AWS, notamment S3, Glue et Athena
• Expérience pratique avec dbt (data build tool) pour la transformation et la modélisation des données
• Connaissance des architectures data lakehouse et de l'architecture médaillon (couches bronze/argent/or)
• Expérience avec les outils d'Infrastructure as Code (IaC), notamment Terraform
• Expérience avec les bases de données relationnelles et NoSQL
• Être autorisé(e) à travailler au Canada — malheureusement, nous ne sommes pas en mesure de commanditer des visas de travail ni d’effectuer de transferts de permis à l’heure actuelle.

Chez SOVRA, nous nous engageons à favoriser un milieu de travail inclusif et équitable. Nous sommes un employeur qui prône l’égalité des chances et nous ne faisons aucune discrimination à l’égard d’un employé ou d’un candidat à un emploi en raison de sa race, de sa couleur, de sa religion, de son sexe, de son orientation sexuelle, de son identité ou de son expression de genre, de son origine nationale, de son âge, de son handicap, de son état civil, de son statut d’ancien combattant ou de toute autre caractéristique protégée par les lois applicables. Nous offrons un milieu de travail exempt de discrimination et de harcèlement. De plus, nous nous engageons à garantir l’équité salariale au sein de notre organisation et nous réévaluons régulièrement nos pratiques en matière de rémunération.