Technicien data engineering

Armée de l’air et de l’espace; Mont-de-Marsan; Sur place; EUR 32 000 - 48 000; Plein temps

Résumé du poste

Armée de l’air et de l’espace recherche un officer technicien en data engineering pour développer et maintenir les flux d’ingestion et de transformation de données, et pour structurer des sources variées.

Le candidat intégrera des solutions de stockage et de traitement dans des architectures data lake ou lakehouse, en veillant à la qualité et à la traçabilité des données.

Qualifications

• Diplôme Bac+2 ou équivalent en informatique, développement logiciel, systèmes d’information ou données.
• Maîtrise de Python et SQL pour le traitement des données.
• Connaissance des principes d’intégration de données (ETL/ELT) et traitements batch.

Responsabilités

• Développer, exploiter et maintenir les flux d’ingestion et de transformation de données.
• Intégrer et structurer des données issues de sources multiples, structurées ou non structurées.
• Développer et maintenir les traitements, connecteurs et interfaces à la collecte et à la mise à disposition des données (API).
• Contribuer au stockage et traitement (data lake/data lakehouse).
• Contrôler la qualité, la cohérence et la fiabilité des données et des traitements.
• Surveiller l’exécution des flux, identifier les anomalies et aider à résoudre les incidents.
• Tester, documenter et maintenir les développements et procédures techniques.
• Accompagner les data analysts et data scientists dans l’accès et l’exploitation des données.
• Contribuer à l’amélioration continue des solutions d’ingénierie data et assurer une veille technologique.

Connaissances

Python

SQL

ETL/ELT

API

Data lake / lakehouse

Data quality

Version control

Spark

dbt

Iceberg / Trino / Dagster

Formation

Bac+2 ou équivalent en informatique/données

Outils

Iceberg

Trino

dbt

Spark

Dagster

Description du poste

Être militaire, c’est servir l’État, au sein des armées, en portant l’uniforme. Cela implique discipline, disponibilité et loyauté. Le sens de l’adaptation et le goût de l’effort sont des qualités indispensables.

Être sous-officier, c’est être en situation de responsabilité, auprès de ses supérieurs mais également auprès du personnel placé sous ses ordres.

Escadron des systèmes d’information opérationnels et de cyberdéfense

Mont-de-Marsan

Les missions de l’Escadron des systèmes d’information opérationnels et de cyberdéfense 62.430 s’articulent autour de 4 pôles : la réalisation de systèmes d’informations opérationnels, y compris embarqués sur aéronef, le soutien de systèmes d’information opérationnels déployés sur les théâtres d’opération, la cyberdéfense, et la valorisation des données Air par une approche orientée Big Data.

POSTE

Vous êtes chargé :

• De développer, exploiter et maintenir les flux d’ingestion et de transformation de données ;
• D’intégrer et de structurer des données issues de sources multiples, structurées ou non structurées ;
• De développer et de maintenir les traitements, connecteurs et interfaces nécessaires à la collecte et à la mise à disposition des données, notamment par API ;
• De contribuer à la mise en œuvre et à l’exploitation des solutions de stockage et de traitement de données, notamment dans des architectures data lake ou lakehouse ;
• De contrôler la qualité, la cohérence et la fiabilité des données et des traitements associés ;
• De superviser l’exécution des flux, d’identifier les anomalies et de contribuer à la résolution des incidents ;
• De tester, documenter et maintenir les développements et les procédures techniques ;
• D’accompagner les data analysts, data scientists et autres utilisateurs dans l’accès et l’exploitation des données ;
• De contribuer à l’amélioration continue des solutions d’ingénierie data et d’assurer une veille technologique.

CONDITIONS PARTICULIÈRES :

• Vous justifiez d’une expérience dans le développement informatique, le traitement de données ou la mise en œuvre de flux de données.

DIPLÔME – FORMATION :

• Vous êtes titulaire d’un diplôme de niveau Bac+2 ou équivalent en informatique, développement logiciel, systèmes d’information, traitement de données ou dans un domaine connexe.

COMPÉTENCES SPÉCIFIQUES REQUISES:

Vous possédez plusieurs des compétences suivantes :

• Maîtrise de Python et de SQL pour le traitement et la manipulation de données ;
• Connaissance des principes d’intégration de données, d’ETL/ELT et des traitements batch ;
• Bonne compréhension des bases de données relationnelles, du stockage objet compatible S3 et des principaux formats de données ;
• Connaissance des principes de qualité, de traçabilité et de contrôle des données ;
• Maîtrise des outils de gestion de versions et des bonnes pratiques de développement, de test et de documentation ;
• Connaissance d’un ou plusieurs outils d’ingénierie des données tels que iceberg, trino, dbt, Spark, Dagster ou équivalents ;

QUALITÉS RECHERCHÉES :

• Vous disposez d’une bonne capacité d’analyse et de résolution de problématiques techniques
• Vous êtes autonome et force de proposition dans l’évolution des solutions ;
• Vous appréciez le travail en équipe et le partage de connaissances

RECRUTEMENT :

Recrutement au grade de sous-officier, défini selon l’expérience et/ou les diplômes détenus.