Data Enginner Python / Spark / Airflow j F/H

INOCO; Paris; On-site; EUR 60,000 - 90,000; Full time

Job summary

INOCO accompagne ses clients et développe des plateformes IA en production. Nous recrutons un Data Engineer pour conduire des pipelines de données, orchestrer des traitements avec Airflow et améliorer la fiabilité des jobs Spark, en collaboration avec les data scientists et les équipes métiers.

Le rôle implique aussi l’industrialisation et le déploiement sur les infrastructures cloud du client. Le candidat idéal possède une expertise Python, SQL avancé, Spark et expérience en environnements

Qualifications

• 12+ années d’expérience en développement logiciel, avec rôle Lead Tech ou Staff Engineer.
• Expérience en projets IA/GenAI/agentique en production (au-delà des POC).
• À l’aise pour arbitrer en autonomie dans un environnement Agile exigeant.
• Français courant et anglais écrit et oral.

Responsibilities

• Conception et développement de pipelines de données en Python et Spark.
• Orchestration des traitements avec Airflow et gestion des dépendances et backfills.
• Amélioration de la fiabilité et des performances des jobs Spark; qualité et sécurité des données.
• Industrialisation: tests, CI/CD, conteneurisation et déploiement cloud client.
• Travailler en squad avec data scientists et AI engineers pour transformer les besoins en jeux de données exploitables.

Skills

Python

SQL

Scala/Java

Airflow

Spark

Cloud

CI/CD

Anglais

Tools

Databricks

Snowflake

BigQuery

Synapse

Job description

INOCO accompagne ses clients, grands comptes (banque, assurance, énergie, industrie) et start-ups, sur leurs projets IA les plus structurants. On parle de plateformes agentiques en production, d’architectures RAG à l’échelle, de systèmes multi-agents qui servent des dizaines de milliers d’utilisateurs internes.

On cherche un Data Engineer pour porter ces sujets côté client, dans des squads mixtes INOCO + équipes internes.

Ce que tu feras côté mission client

• Conception et développement des pipelines de données en Python et Spark : ingestion multi-sources (bases, API, fichiers, flux), transformations à grande échelle, modélisation en couches (bronze, silver, gold).

• Orchestration des traitements avec Airflow : écriture des DAG, gestion des dépendances, des reprises sur erreur et des backfills.

• Fiabilité et performance : optimisation des jobs Spark, contrôles qualité, monitoring, gestion du run en production, sécurité et conformité des données.

• Industrialisation : tests, CI/CD, conteneurisation, déploiement sur l’infrastructure cloud du client.

• Travail en squad avec les data scientists, AI Engineers, Ops et équipes métier pour traduire leurs besoins en jeux de données exploitables.

Ce que tu feras en interne chez INOCO

• Contribuer à structurer le pôle d’expertise Data : définir les standards, les bonnes pratiques et les architectures de référence (pipelines, orchestration, qualité, modélisation) sur lesquels la communauté INOCO s’aligne.

• Faire monter en compétences les consultants intéressés par la data engineering : sessions techniques, code reviews croisées, accompagnement sur leurs missions.

• Veille active sur l’écosystème (Spark, Airflow, dbt, Delta Lake, Iceberg, Databricks, outils de data quality et d’observabilité) et diffusion auprès de la communauté.

• Pré-vente : appui aux ingénieurs d’affaires sur les sujets data complexes, contribution aux réponses techniques et aux chiffrages.

• Animation : meet-ups, conférences, INOCODAY, projets internes. Tu peux porter les sujets qui te tiennent à cœur.

La stack typique

• Python (niveau expert attendu), SQL avancé, Scala ou Java apprécié

• Data : Spark (PySpark, Spark SQL), Airflow, dbt, Kafka, formats Parquet, Delta Lake ou Iceberg

• Plateformes : Databricks, Snowflake, BigQuery ou Synapse selon le contexte client

• Cloud : Azure, GCP ou AWS selon le contexte client

• Infra : Kubernetes (souvent OpenShift en grand compte), Docker, Terraform, CI/CD, OTEL, Dynatrace

• Qualité et gouvernance : Great Expectations, lineage (OpenLineage, Unity Catalog), catalogage

• Patterns : architecture médaillon, batch et streaming, EDA, CDC, data mesh

12 ans+ d’expérience en développement logiciel, dont une expérience significative en tant que Lead Tech ou Staff Engineer.Projets IA / GenAI / agentique en production (pas du POC).À l’aise pour arbitrer en autonomie dans un environnement Agile exigeant.Français + anglais courants à l’écrit et à l’oral (réunions client, doc technique).