Lead software engineer - Systèmes distribués – Plateforme de données (H/F)

Direction Générale de la Sécurité Extérieure; Paris; Sur place; EUR 90 000 - 130 000; Plein temps

Avantages offerts par ce poste

Habilitation exigée

Formation linguistique et thématique

Congés annuels 48–50 jours

Restauration et points de vente maison

Résumé du poste

La Direction Générale de la Sécurité Extérieure (DGSE) recrute un lead software engineer spécialisé en systèmes distribués pour piloter la nouvelle plateforme de données à Paris. Le poste exige une expérience solide et une habilitation.

Vous Encadrerez l’équipe technique et collaborerez avec les Data Engineers, Analysts et Scientists pour concevoir, déployer et faire évoluer une plateforme Lakehouse fiable, scalable et sécurisée, en privilégiant les technologies Spark/Flink/Kafka et Iceberg.

Qualifications

• Diplôme de master ou ingénieur en informatique avec expérience significative en systèmes distribués.
• Maîtrise de Spark, Flink, Kafka et Iceberg; expérience JVM (Scala/Java/Kotlin).
• Connaissances en structures de données, algorithmique et architecture logicielle.

Responsabilités

• Encadrer et coordonner l’équipe pour atteindre les objectifs techniques.
• Définir et traduire les besoins métiers en solutions techniques.
• Collaborer avec Data Engineers, Data Analysts, Data Scientists et Data Architects.
• Concevoir et opérer le cluster Apache Ozone et le Data Lakehouse Iceberg.
• Gérer l’architecture d’exécution (Yarn, Kubernetes) et assurer l’observabilité des pipelines.
• Assurer une veille technologique et faire évoluer l’écosystème open source.

Connaissances

Spark

Flink

Kafka

Iceberg

Hive

Ozone

HDFS

S3

Scala

Java

Kotlin

Data structures

Algorithmique

Architecture logicielle

Formation

Master ou diplôme d'ingénieur

Outils

Yarn

Kubernetes

Iceberg

Apache Iceberg

Description du poste

La Direction Générale de la Sécurité Extérieure, DGSE, recrute un lead software engineer - Systèmes distribués – Plateforme de données (H/F).

Le poste est situé à Paris. La nationalité française est obligatoire.

Domaine métier

Sciences et Technologies

Votre environnement de travail

Les flux de données traités par la DGSE sont massifs et hétérogènes, et sont essentiels à la production du renseignement et au soutien aux opérations. Nous recherchons un lead software engineer ou un software engineer confirmé souhaitant évoluer vers un poste de lead. Vous rejoindrez la Direction Technique et de l’Innovation et piloterez l’équipe chargée de construire et opérer la nouvelle plateforme de données de la DGSE.

L’équipe a la responsabilité de fournir une infrastructure Data Lakehouse fiable, évolutive et hautement disponible, permettant l’ingestion, le stockage et le traitement des données. Elle développe également les services fondamentaux permettant aux moteurs de requêtes de découvrir les tables et données, de stocker les données en utilisant le format de table Apache Iceberg, d’authentifier les utilisateurs et de s’assurer qu’ils disposent des droits sur la donnée conformément au cadre légal.

Rejoignez-nous et contribuez à transformer un flux de données massif en renseignements précieux.

Vos missions

Vous serez en charge des activités suivantes :

• Encadrer et coordonner les efforts de l’équipe pour atteindre les objectifs fixés (animation et pilotage, planification, identification des blocages, prise de décisions techniques),

• comprendre les enjeux métiers, définir et mettre en œuvre une vision puis traduire techniquement les besoins,

• établir des liens forts et collaborer avec les parties prenantes (Data Engineers, Data Analysts, Data Scientists et Data Architects),

• participer aux discussions techniques et être moteur aux interfaces avec les équipes techniques opérant les produits et systèmes de l’écosystème,

• construire et opérer le cluster de stockage Apache Ozone,

• gérer l’architecture d’exécution des traitements (Yarn, Kubernetes),

• construire et opérer le Data Lakehouse au format de table Apache Iceberg et le REST catalog associé,

• optimiser le stockage et le traitement des données (partitionnement, tri, compactage),

• fournir des connecteurs Spark / Flink / Trino pour les traitements en batch et streaming,

• mettre en œuvre une stack d’observabilité, de monitoring et d’alerting facilitant la détection proactive de problèmes,

• assurer une veille constante et suivre les évolutions régulières des technologies open source utilisées.

En nous rejoignant, vous découvrirez :

• Un environnement unique, qu’aucune autre structure ne peut vous proposer,

• Un métier proche du renseignement et de l’opérationnel.

Les plus de l’offre

• Au coeur du secret

• Technologies à la pointe

• Missions uniques

Le poste est soumis à l’obtention d’une habilitation.

L’accès au téléphone et à Internet pour un usage personnel est réglementé.

Vos avantages à rejoindre la DGSE

• La satisfaction de travailler pour votre pays et la défense de ses valeurs

• Plus de 1000 formations linguistiques et thématiques

• Nombreuses activités culturelles et sportives

• Restaurants et points de vente à emporter fait maison

• 48 à 50 jours de congés annuels

Pour connaître les autres avantages, consultez notre site sur https://www.dgse.gouv.fr/fr/la-dgse/nos-actualites/rejoindre-la-dgse-de-nombreux-atouts-au-quotidien.

Restez discret sur votre candidature : évitez d’en parler à votre entourage et n’affichez pas votre souhait de rejoindre la DGSE sur vos réseaux sociaux.

Vous êtes titulaire d’un diplôme en informatique, niveau master ou école d’ingénieur. Vous avez au moins cinq ans d’expérience en software engineering sur des systèmes distribués, êtes aujourd’hui lead technique d’une équipe ou souhaitez évoluer vers ce rôle.Vous possédez les compétences et qualités suivantes : Vous possédez de l’expérience dans des technologies de systèmes distribués comme Spark, Flink, Kafka, Iceberg, Hive, Ozone, HDFS, S3, vous maîtrisez au moins un langage de la stack JVM (Scala, Java, Kotlin), vous avez de solides connaissances fondamentales en structures de données, algorithmique et architecture logicielle, vous aimez créer du code compréhensible, simple et propre, vous savez mener des discussions complexes et disposez d’une capacité à argumenter et convaincre, vous savez insuffler une dynamique positive, stimuler et faire progresser vos collaborateurs, vous avez d’excellentes capacités de communication, collaboration et coordination, vous évoluez avec aisance dans un environnement agile, faites preuve d’autonomie et de flexibilité, vous avez une bonne capacité de projection et vous savez vous adapter rapidement aux nouvelles exigences.