INGENIEUR BIG DATA - DATA ENGINEER

Civils de la Défense - Ministère des Armées et des Anciens combattants; Bruz; On-site; EUR 45,000 - 75,000; Full time

Job summary

Civils de la Défense - Ministère des Armées et des Anciens combattants recherche un référent data engineering intégré à la section Fabrique, regroupant les experts Data autour de l’IA, BI et des briques du socle numérique DATA. Vous contribuerez à la gestion, à la conception et à la maintenance des pipelines de données fiables et scalables (batch et streaming).

Vous challengerez les technologies, participerez au choix des outils et assurerez l’intégration des données issues de sources diverses,

Qualifications

• Expérience en ingénierie de données: qualité, gouvernance, sécurité.
• Connaissance des architectures distribuées et des pratiques DevOps (CI/CD, conteneurs, K8s).
• Maîtrise des bases de données (SQL/NoSQL), Data Lakes et ETL.

Responsibilities

• Conception, développement, optimisation et maintenance des pipelines de données (batch et streaming).
• Supervision et intégration des données provenant de sources diverses et industrialisation des traitements.
• Veille technologique et proposition de solutions auprès de la hiérarchie et des chefs de projets.

Skills

Ingénierie données

Qualité et gouvernance des données

CI/CD

DevOps

Architecture distribuée

Python

Java

Scala

SQL/NoSQL

Data Lakes

Tools

Python

Java

Scala

Spark

Kafka

TALEND

DATAIKU

NoSQL

Job description

Vos missions en quelques mots

Intégré(e) à la section Fabrique, qui regroupe les experts Data autour de l’intelligence artificielle (IA), la Business Intelligence (BI), et l’exploitation technico-fonctionnelle des briques du socle, le/la titulaire du poste participera au management de la donnée et à sa maitrise. Il/Elle participera activement à la conception, au développement, à l’optimisation et à la maintenance des pipelines de données fiables, scalables et performants (batch, streaming).
Il/elle sera en mesure de challenger les technologies, participer aux choix des outils internes et aux études menées avec les différentes directions. Il/elle assurera la supervision et l’intégration des données en provenance de sources diverses et industrialisera les traitements de données. Il/elle évoluera au sein d’une équipe en privilégiant les échanges. Ces missions s’inscriront dans le contexte DATA-IA du ministère autour de toutes les plateformes du socle numérique DATA : HERMOD, ARTEMIS.IA, QLIK, DATAIKU, etc.
Des capacités rédactionnelles et de présentation orales sont attendues. Il/elle assurera une veille technologique et sera force de proposition auprès de sa hiérarchie et des responsables de projets.

Profil recherché

Solide expérience dans l’ingénierie de données (qualité, gouvernance, sécurité), l’outillage et la gestion de projets. Maîtrise des concepts métiers et techniques avec une connaissance accrue des outils numériques et logiciels spécialisés. Capacité de vulgarisation et d’accompagnement des entités dans le domaine de la donnée.Connaissance requise dans la gestion de la donnée : collecte, flux, nettoyage, normalisation et qualité.Compréhension des architectures distribuées et bonnes pratiques DevOps (CI/CD, conteneurs, K8S)Base de données (Entrepôt, BD relationnelles, NO SQL) : SQL, PostGreSQL, Data Lakes, etc.Langages : Python, Java, ScalaFrameWorks : Spark, KafkaMaitrise d’ETL ou d’outils de management de la donnée (TALEND, DATAIKU, etc.)Connaissances en DataScience appréciées.Une expérience sur des architectures cloud serait un plus.Des compétences en communication, orale et écrite, sont attenduesCompétences mises en œuvre dans le cadre du poste :Identification des données du SI - maîtriseConception d’un modèle de données - applicationGestion qualité des données et des référentiels - maîtriseProposition de solutions optimisées - maîtriseAccompagnement à la transformation numérique - maîtriseTravail en équipe - maîtrise- Rigueur - maîtrise- Autonomie - maîtrise- Créativité - maîtrise- Proactivité et force de proposition - maîtrise