Data Engineer Senior

Eridanis; Paris; Presencial; EUR 65.000 - 95.000; Jornada completa

Descripción de la vacante

Eridanis recherche un ingénieurData passionné par l’ingestion et la transformation de flux IoT pour alimenter des applications métiers dans le secteur public, notamment en Smart-City. Vous travaillerez sur des pipelines ETL, du monitoring et l’industrialisation de briques IA selon les projets.

Vous avez un solide niveau en Python et une sensibilité prod, avec Docker et Kubernetes. Le poste implique collaboration avec des équipes produit et dev pour assurer des données fiables et des services

Formación

• Très bon niveau en Python (qualité logicielle, tests, packaging).
• À l'aise avec Docker + les bases Kubernetes (déploiement, logs, debug).
• Sensibilité prod : monitoring / alerting, analyse d’incidents, rigueur sur la qualité des flux.

Responsabilidades

• Ateliers avec les clients/équipes métier pour vérifier qu’on a les bonnes données, au bon niveau de qualité, pour répondre au besoin.
• Récupération de données transverses depuis des sources variées (dont IoT).
• Standardisation et structuration orientées "produit" en coordination avec les équipes dev.
• Mise en place de règles de qualité, de monitoring et d’alerting sur les flux ETL.
• Investigation d’incidents (volumétrie, latence, ruptures de qualité), durcissement des pipelines.

Conocimientos

Python

Docker

Kubernetes

ETL

Data quality

Monitoring

FIWARE/NGSI-LD

IoT messaging

MLOps basics

Herramientas

Flyte

FastAPI

Grafana

Prometheus

GitLab CI

Descripción del empleo

Vous rejoignez une équipe qui construit et opère des flux de données industriels alimentant des applications métiers pour le secteur public, en particulier les collectivités et territoires.

Ci après des exemples concrets dans la Smart-City :

• Optimisation des consommations énergétiques des bâtiments à l’échelle du territoire,
• Récupérations des données des capteurs IoT pour fournir des services de propreté urbaine,
• Construction de jeux de données permettant de faire des études démographiques,

Selon les projets, vous pourrez contribuer ponctuellement à l’industrialisation de briques IA (NLP/LLM notamment), mais ce n'est pas le cœur du rôle.

La diversité de nos clients et de leurs besoins implique des projets très variés : nouvelles sources, contraintes et patterns d’intégration.

Ce qu'on fait au quotidien dans ce rôle

• Ateliers avec les clients/équipes métier pour vérifier qu’on a les bonnes données, au bon niveau de qualité, pour répondre au besoin.
• Récupération de données transverses depuis des sources variées (dont IoT).
• Standardisation et structuration orientées "produit" en coordination avec les équipes dev.
• Mise en place de règles de qualité, de monitoring et d’alerting sur les flux ETL.
• Investigation d’incidents (volumétrie, latence, ruptures de qualité), durcissement des pipelines.

Stack & environnement

• ETL / orchestration : Flyte
• Backend / services : Python, FastAPI
• Déploiement : Docker, Kubernetes (clusters on-prem managés)
• Observabilité : Prometheus, Grafana
• CI/CD : GitLab CI
• Standards (selon projets IoT) : FIWARE / NGSI-LD
• Packaging Python : librairies internes réutilisables (wrappers, modèles, utilitaires

Indispensable

Très bon niveau en Python (qualité logicielle, tests, packaging).

À l'aise avec Docker + les bases Kubernetes (déploiement, logs, debug).

Sensibilité "prod" : monitoring / alerting, analyse d’incidents, rigueur sur la qualité des flux.

Un plus

Orchestrateurs (Flyte, Airflow, Dagster, Prefect…).

IoT / messaging (MQTT/AMQP)

Standards FIWARE/NGSI-LD

Notions MLOps/ML engineering (mise en prod, suivi, évaluation simple).

Connaissances GPU (nice-to-have, non requis).

Ce qu'on attend de vous

Logiquement, nous attendons une forte appétence en data engineering : ingestion, transformations, fiabilisation, gestion d’erreurs, rejouabilité.

Cependant, voici d’autres critères que nous recherchons au sein des profils :

Esprit critique, autonomie, sens du concret.

Rigueur sur la qualité de données et la robustesse en production.

Curiosité et envie de faire évoluer l'outillage / les pratiques DataOps