Lead Data Engineer — Military Data Platform & Architecture

Civils de la Défense; Bretagne-de-Marsan; Sur place; EUR 65 000 - 90 000; Plein temps

Résumé du poste

Civils de la Défense recherche un ingénieur data pour piloter la conception et l’exploitation des flux de données au sein de la division architecture data de la Base aérienne 118 de Mont-de-Marsan.

Le poste implique de concevoir des pipelines d’ingestion et de transformation, d’assurer qualité et performance des données, et de contribuer aux plateformes data (data lake, lakehouse) tout en garantissant la cohérence et l’extensibilité.

Qualifications

• Diplôme Bac+5 en informatique, data engineering ou systèmes d’information et expérience significative en ingénierie des données et plateformes data.
• Maîtrise pipelines d’ingestion et de transformation de données (batch et streaming) et frameworks distribués tels que Spark ou Flink, outils de gestion de flux comme Kafka.
• Solide expérience des architectures de données modernes (data lake, lakehouse, systèmes décisionnels) et des solutions de stockage et formats analytiques (S3, Iceberg).
• Capacité à définir et faire évoluer les architectures de traitement et de stockage de la plateforme de données, avec cohérence, performance et extensibilité.

Responsabilités

• Piloter et superviser la conception, la mise en œuvre et l’exploitation des flux d’ingestion et de transformation de données issus de sources internes ou externes.
• Concevoir et développer des solutions de data engineering sur des cas d’usage complexes.
• Garantir la qualité, la fiabilité, la traçabilité et la performance des données et des traitements associés.
• Contribuer à l’évolution des plateformes de gestion de données (data lake, systèmes décisionnels, plateformes Big Data).
• Contribuer à la montée en compétence des personnels et à la diffusion des bonnes pratiques techniques.
• Contribuer à la coordination des activités avec la section plateforme afin de garantir la cohérence des solutions mises en œuvre ;De contribuer à la mise en œuvre de la politique de la donnée et au respect des réglementations en vigueur.

Connaissances

Data pipelines

Data transformation

Apache Spark

Apache Flink

Kafka

Data lake & lakehouse

S3 / Iceberg

Formation

Bac+5 en informatique / data engineering

Outils

Spark

Flink

Kafka

S3

Iceberg

Description du poste

Civils de la Défense recherche un ingénieur data pour piloter la conception et l’exploitation des flux de données au sein de la division architecture data de la Base aérienne 118 de Mont-de-Marsan.

Le poste implique de concevoir des pipelines d’ingestion et de transformation, d’assurer qualité et performance des données, et de contribuer aux plateformes data (data lake, lakehouse) tout en garantissant la cohérence et l’extensibilité.