Senior Data Engineer

digiRocks; Île-de-France; Sur place; EUR 70 000 - 110 000; Plein temps

Résumé du poste

digiRocks recherche un Senior Data Engineer pour concevoir et optimiser des pipelines de données massives en batch et streaming, et participer à l'évolution de l'architecture Data Lake.

Vous maîtrisez Python, SQL et les technologies distribuées (PySpark, Spark Streaming, Flink) et vous aimez relever des défis de performance, fiabilité et scalabilité dans un contexte international.

Une expertise en datasets réutilisables et une connaissance des formats Parquet/Iceberg sont attendues.

Qualifications

• Expérience significative dans la conception et l’exploitation de pipelines de données en production.
• Maîtrise Python et SQL; expérience production sur Python/Scala.
• Expertise des technologies de traitement distribué (PySpark, Spark SQL, Spark Streaming).
• Connaissance des architectures Data Lake et des formats Parquet et Iceberg.
• Maîtrise des architectures batch et streaming et gestion de gros volumes de données.
• Expérience en optimisation de requêtes SQL et de traitements distribués.
• Conception de datasets fiables, structurés et réutilisables.
• Bonne compréhension des enjeux qualité, fiabilité, observabilité et performance des infrastructures Data.

Responsabilités

• Concevoir et développer des pipelines de données à grande échelle, en batch et en streaming.
• Garantir la qualité, la fiabilité et l’accessibilité des données avec surveillance et contrôles.
• Optimiser les performances des traitements distribués et des requêtes SQL.
• Expérimenter et industrialiser de nouvelles solutions techniques et prototypes pour la production.

Connaissances

Python

SQL

PySpark

Spark SQL

Spark Streaming

Data pipelines

Outils

Apache Flink

Parquet

Apache Iceberg

Description du poste

Fan de Data Engineering, de systèmes distribués et de traitement de données à grande échelle ? Envie de concevoir des infrastructures Data performantes et de relever des défis complexes de scalabilité, de fiabilité et de traitement en temps réel ?

Rejoignez l'aventure !

Rejoignez une entreprise technologique française en forte croissance, spécialisée dans le développement de produits numériques grand public à vocation internationale.

Ils conçoivent des applications innovantes nécessitant des infrastructures performantes et le traitement de volumes importants de données en temps réel.

Vous rejoignez leur équipe Engineering, dans un environnement technique exigeant qui privilégie l'autonomie, l'excellence technologique et la collaboration entre les équipes.

Mission & Résultats attendus

• Concevoir et développer des pipelines de données à grande échelle, en batch et en streaming, permettant de collecter, transformer et exploiter efficacement des volumes importants de données, tout en faisant évoluer l'architecture Data Lake et les infrastructures de stockage.
• Garantir la qualité, la fiabilité et l'accessibilité des données en mettant en place des mécanismes de validation, de surveillance et de contrôle de leur fraîcheur, de leur exhaustivité et de leur intégrité, tout en construisant des datasets structurés et réutilisables.
• Optimiser les performances des traitements distribués et des requêtes SQL, réduire les temps d'exécution et maîtriser les coûts d'infrastructure, en exploitant notamment Python, SQL, Spark et les technologies de traitement distribué.
• Expérimenter et industrialiser de nouvelles solutions techniques, développer des prototypes et intégrer les approches pertinentes aux systèmes de production, tout en contribuant aux décisions d'architecture et à l'amélioration continue des pratiques d'ingénierie.

3 résultats attendus

• Une infrastructure Data robuste, performante et scalable

Vous développez et fiabilisez des pipelines batch et streaming capables de traiter des volumes croissants de données, avec un niveau élevé de performance, de disponibilité et d'observabilité.

• Des données fiables, accessibles et directement exploitables

Vous mettez en place des contrôles de qualité et des datasets réutilisables permettant aux équipes de disposer de données cohérentes, actualisées et facilement exploitables, tout en réduisant les interventions manuelles.

• Des traitements de données plus performants et économiquement optimisés

Vous améliorez l'efficacité des traitements distribués et des requêtes en trouvant le meilleur équilibre entre rapidité d'exécution, fiabilité des résultats et coûts d'infrastructure.

Profil recherché pour le poste

Vous êtes un Senior Data Engineer expérimenté, passionné par les architectures Data complexes, les systèmes distribués et les problématiques de performance à grande échelle.

Vous possédez :

• Une expérience significative dans la conception, le développement et l'exploitation de pipelines de données en production, idéalement sur des infrastructures à fort volume.
• Une excellente maîtrise de Python et SQL, avec une expérience de développement en production sur Python ou Scala.
• Une expertise des technologies de traitement distribué, notamment PySpark, Spark SQL et Spark Streaming.
• Une bonne connaissance des architectures Data Lake et des formats de stockage comme Parquet et Apache Iceberg.
• Une maîtrise des architectures de traitement batch et streaming, ainsi que des problématiques associées à la gestion de volumes importants de données.
• Une expérience concrète de l'optimisation de requêtes SQL et de traitements distribués, avec une compréhension approfondie du fonctionnement des moteurs de traitement.
• Une capacité à concevoir des datasets fiables, structurés et réutilisables pour répondre aux besoins de différentes équipes.
• Une bonne compréhension des enjeux de qualité, fiabilité, observabilité et performance des infrastructures Data.

Sont particulièrement appréciées :

• Une expérience avec Apache Flink ou d'autres moteurs de traitement de flux en temps réel.
• Une connaissance des pipelines de Machine Learning, notamment pour l'entraînement ou l'inférence de modèles.
• Une familiarité avec les systèmes de recommandation, de ranking, les embeddings ou l'Entity Resolution.
• Une expérience des architectures manipulant des données sensibles, des exigences du RGPD et des mécanismes de gestion des données personnelles.
• Une capacité à comprendre ou modifier ponctuellement des composants développés en Rust.

Vous êtes autonome, curieux, pragmatique et appréciez les problématiques techniques complexes.

Vous aimez comprendre le fonctionnement interne des technologies que vous utilisez, identifier les sources d'inefficacité et expérimenter différentes approches pour améliorer les performances et la fiabilité des systèmes.

Vous êtes capable de prendre des responsabilités sur des composants critiques, de défendre vos choix techniques et de collaborer efficacement avec d'autres ingénieurs.

Une expérience combinant les exigences techniques d'une grande plateforme et l'agilité d'une startup ou scale-up constituera un véritable atout.

Votre diplôme ou votre école ne sont pas des critères déterminants : vos réalisations techniques, votre expérience et votre capacité à résoudre des problèmes complexes feront la différence.

L'anglais est la langue de travail. La maîtrise du français n'est pas obligatoire.

L'avis du Rockeur / Rockeuse

Un poste particulièrement stimulant pour un Data Engineer senior souhaitant dépasser les problématiques classiques de construction de pipelines et relever de véritables défis d'architecture, de performance et de traitement distribué.

Contrairement à de nombreux postes de Data Engineering principalement orientés vers le reporting ou la Business Intelligence, vous interviendrez ici au cœur d'une infrastructure technique complexe, directement liée au fonctionnement et à la performance de produits numériques grand public.

Vous travaillerez sur des problématiques particulièrement intéressantes : traitement de données massives, architectures distribuées, optimisation des performances, exploitation de flux en temps réel et fiabilisation de systèmes critiques.

Vous bénéficierez d'un périmètre de responsabilités étendu, avec la possibilité de faire évoluer l'architecture Data, de contribuer directement aux décisions techniques et de travailler aux côtés d'ingénieurs expérimentés.