Senior Data Engineer (Client Solutions)

Yeji Data Lab; Montreal (administrative region); On-site; CAD 90,000 - 130,000; Full time

Job summary

Yeji Data Lab recrute des Ingénieur·e·s de données senior pour concevoir et opérer des plateformes de données modernes alimentant l’IA et l’analytique. Vous travaillez directement avec les clients pour transformer les besoins en solutions techniques et assurer leur livraison.

Le candidat idéal a au moins 7 ans d’expérience, maîtrise des architectures lakehouse et des outils modernes (Microsoft Fabric, Databricks, Snowflake) et sait piloter des pipelines distribués et des projets multi-stack dans

Qualifications

• Baccalauréat ou maîtrise en informatique, ou expérience équivalente, avec une compréhension approfondie des fondements de l’ingénierie des données.
• Minimum de 7 ans et plus d’expérience professionnelle en ingénierie des données, avec une expérience démontrée dans des rôles orientés client ou dans des environnements à forte croissance.
• Excellentes aptitudes relationnelles et de communication, avec la capacité de gérer les attentes des clients dans des délais serrés et de contribuer au cadrage des solutions.

Responsibilities

• Gestion client et conseil: agir comme pont technique entre Yeji Data Lab et ses clients et orienter les décisions d’architecture et de livraison.
• Conception de systèmes et architecture: diriger la conception de bout en bout d’architectures de données évolutives et sécurisées.
• Orchestration des données: architecturer et mettre en œuvre des environnements de données modernes, principalement avec Microsoft Fabric, et d’autres piles selon les besoins.
• Ingénierie de pipelines: développer et maintenir des pipelines batch et streaming pour soutenir IA/ML.
• Modélisation et qualité des données: concevoir des schémas robustes et assurer l’intégrité et la performance des données.
• Collaboration interfonctionnelle: travailler avec les Data Scientists pour préparer les données aux modèles et réduire la latence.

Skills

Lakehouse architecture

Medallion architecture

Client-facing consulting

Distributed systems fundamentals

Python

SQL

Stakeholder management

Education

Bachelor’s or Master’s in Computer Science

Tools

Microsoft Fabric

Databricks

Snowflake

Azure Data Factory

Airflow

Dagster

Prefect

Spark

Flink

Kafka

Event Hubs

Spark Streaming

PostgreSQL

SQL Server

CosmosDB

MongoDB

Job description

Nous recrutons : Ingénieur·e·s de données senior

• Experience designing lakehouse architectures using medallion patterns

En tant qu’entreprise d’envergure internationale, nous collaborons avec des organisations de premier plan pour relever leurs défis les plus stratégiques grâce au Machine Learning et à l’ingénierie des données, afin de créer une valeur durable. En tant que firme-conseil en contact direct avec les clients, notre équipe doit faire preuve d’adaptabilité, de rigueur technique et d’une forte capacité à concevoir des systèmes de bout en bout pour divers secteurs d’activité en Amérique du Nord et ailleurs.

Nous sommes à la recherche de Data Engineers senior qui ne sont pas seulement des développeurs, mais aussi des architectes de plateformes et des conseillers de confiance. La personne idéale évolue avec aisance dans des environnements rapides, navigue entre différentes piles technologiques clients et adopte une approche centrée sur les fondamentaux des systèmes distribués et de la conception de plateformes de données modernes.

Dans ce rôle, vous travaillerez directement avec les parties prenantes chez nos clients afin de concevoir, mettre en œuvre et opérationnaliser des plateformes de données modernes qui alimentent l’IA, l’analytique et la prise de décision opérationnelle.

Responsabilités principales

• Gestion client et conseil: Agir comme pont technique entre Yeji Data Lab et ses clients. Traduire les besoins d’affaires en feuilles de route techniques, expliquer des arbitrages complexes à des interlocuteurs non techniques et orienter les décisions d’architecture et de livraison.
• Conception de systèmes et architecture: Diriger la conception de bout en bout d’architectures de données évolutives. Vous ne vous contenterez pas d’exécuter une spécification : vous définirez les fondations pour une ingestion, un stockage et un traitement fiables des données, adaptés aux besoins spécifiques de chaque client sur des plateformes cloud modernes.
• Orchestration des données: Architecturer et mettre en œuvre des environnements de données modernes, principalement avec Microsoft Fabric, tout en s’adaptant aux piles technologiques propres aux clients lorsque requis. Vous serez responsable de l’orchestration avancée des données afin que les pipelines complexes soient automatisés, supervisés et résilients.
• Ingénierie de pipelines: Développer et maintenir des pipelines à haut débit, en mode batch et streaming, pour soutenir le déploiement de solutions IA/ML.
• Modélisation et qualité des données: Concevoir des schémas robustes selon les approches Star, Snowflake ou Data Vault afin d’assurer l’intégrité et la performance des données à long terme pour l’analytique et l'IA, tout en mettant en place de solides pratiques de validation et de qualité des données.
• Collaboration interfonctionnelle: Collaborer étroitement avec les Data Scientists afin de garantir que les données soient prêtes pour les modèles, notamment en matière de feature engineering et de faible latence d’accès.

Exigences et qualifications

Excellence des fondations

Baccalauréat ou maîtrise en informatique, ou expérience équivalente, avec une compréhension approfondie des fondements de l’ingénierie des données : systèmes distribués, théorème CAP, modèles de cohérence et traitement de données à grande échelle.

Expérience

Minimum de 7 ans et plus d’expérience professionnelle en ingénierie des données, avec une expérience démontrée dans des rôles orientés client ou dans des environnements à forte croissance, sur plusieurs projets, secteurs ou piles technologiques.

Conseil et gestion des parties prenantes

Excellentes aptitudes relationnelles et de communication, avec la capacité de gérer les attentes des clients dans des délais serrés, de vulgariser des concepts techniques complexes et de contribuer au cadrage des solutions, aux discussions d’architecture et aux démarches de prévente.

Expertises techniques essentielles

• Expérience de niveau expert avec Microsoft Fabric, Databricks, Snowflake ou des plateformes de données modernes équivalentes
• Expérience démontrée avec des outils d’orchestration tels que Azure Data Factory, Airflow, Dagster ou Prefect
• Expérience dans la conception d’architectures lakehouse selon les principes de l’architecture médallion
• Expérience pratique avec des frameworks de traitement distribué tels que Spark, Flink ou équivalents
• Solide expérience avec des systèmes de streaming ou orientés événements, tels que Kafka, Event Hubs ou Spark Streaming
• Maîtrise des environnements relationnels (PostgreSQL, SQL Server) et NoSQL (CosmosDB, MongoDB)
• Excellentes compétences en Python et SQL pour développer des pipelines et des composantes de plateformes de données de niveau production