Ingénieur Data Senior - Pipelines Big Data & Streaming

digiRocks; Île-de-France; In loco; EUR 70.000 - 110.000; Tempo pieno

Descrizione del lavoro

digiRocks recherche un Senior Data Engineer pour concevoir et optimiser des pipelines de données massives en batch et streaming, et participer à l'évolution de l'architecture Data Lake.

Vous maîtrisez Python, SQL et les technologies distribuées (PySpark, Spark Streaming, Flink) et vous aimez relever des défis de performance, fiabilité et scalabilité dans un contexte international.

Une expertise en datasets réutilisables et une connaissance des formats Parquet/Iceberg sont attendues.

Competenze

• Expérience significative dans la conception et l’exploitation de pipelines de données en production.
• Maîtrise Python et SQL; expérience production sur Python/Scala.
• Expertise des technologies de traitement distribué (PySpark, Spark SQL, Spark Streaming).
• Connaissance des architectures Data Lake et des formats Parquet et Iceberg.
• Maîtrise des architectures batch et streaming et gestion de gros volumes de données.
• Expérience en optimisation de requêtes SQL et de traitements distribués.
• Conception de datasets fiables, structurés et réutilisables.
• Bonne compréhension des enjeux qualité, fiabilité, observabilité et performance des infrastructures Data.

Mansioni

• Concevoir et développer des pipelines de données à grande échelle, en batch et en streaming.
• Garantir la qualité, la fiabilité et l’accessibilité des données avec surveillance et contrôles.
• Optimiser les performances des traitements distribués et des requêtes SQL.
• Expérimenter et industrialiser de nouvelles solutions techniques et prototypes pour la production.

Conoscenze

Python

SQL

PySpark

Spark SQL

Spark Streaming

Data pipelines

Strumenti

Apache Flink

Parquet

Apache Iceberg

Descrizione del lavoro

digiRocks recherche un Senior Data Engineer pour concevoir et optimiser des pipelines de données massives en batch et streaming, et participer à l'évolution de l'architecture Data Lake.

Vous maîtrisez Python, SQL et les technologies distribuées (PySpark, Spark Streaming, Flink) et vous aimez relever des défis de performance, fiabilité et scalabilité dans un contexte international.

Une expertise en datasets réutilisables et une connaissance des formats Parquet/Iceberg sont attendues.