Ingénieur Donnée Sig H/F

Coexya; Lyon; Sur place; EUR 55 000 - 75 000; Plein temps

Résumé du poste

Coexya recherche un Ingénieur Donnée SIG F/H pour mettre en place un référentiel SIG et orchestrer les parcours piétons en station. Vous déployerez des outils, concevrez l’organisation ELT et assurerez le cycle de vie des données, avec CI/CD et une approche Open Source.

Ce poste s’inscrit dans un cadre Data Engineering & SIG, MLOps/DevOps et architecture logicielle, avec encadrement par le référent technique SIG et un chef de projet.

Responsabilités

• Déployer les nouveaux outils et concevoir l'organisation des traitements avec l'approche ELT.
• Mettre en oeuvre les chaînes de traitement assurant la collecte, la transformation et le suivi du cycle de vie des données.
• Mettre en place les processus d'intégration continus (CI/CD).

Connaissances

Data engineering

MLOps

DevOps

Software architecture

Outils

Airflow

DBT

Description du poste

Intitulé : Ingénieur Donnée SIG F/H - Mettre en place un référentiel SIG pour les parcours piétons en station

Contexte :

Les enjeux liés à l'accessibilité des réseaux de transport nécessitent de collecter, traiter et exploiter des jeux de données CAD et de diverses sources afin de les mettre à jour par lot dans un référentiel commun.

Ces données suivent un cycle de vie complet comprend :

• la collecte et le stockage des données ;
• leur enrichissement par croisement avec d'autres sources
• leur transformation jusqu'à un modèle de données métier.
• le suivi de leur qualité, de leur traçabilité et de leur lignage.

Ce besoin couvert dans une solution existante construite autour de l'ETL FME répond assez mal à nos attentes de maintenance.

Nous souhaitons explorer de nouvelle pratique avec une approche ELT plus moderne et l'utilisations d'outils OpenSource tel que Airflow et DBT qui favoriseront la maintenance du code et une intégration continue.

Ce que l'on vous propose :

Vos missions :

• Déployer les nouveaux outils et concevoir l'organisation des traitements avec l'approche ELT.
• Mettre en oeuvre les chaînes de traitement assurant la collecte, la transformation et le suivi du cycle de vie des données.
• Mettre en place les processus d'intégration continus (CI/CD).

Les finalités :

• Data Engineering & SIG
• MLOps/DevOps
• Architecture logicielle
• Prise de recul
• Adaptation
• Approche d'architecture

L'encadrement :

• Travail de proximité avec un référent technique de l'équipe SIG
• Encadré par un chef de projet du pôle SIG ou un architecte