Data Engineer Apache Iceberg / AWS / PySpark - F/H

Ingeniance; Paris; On-site; EUR 60,000 - 90,000; Full time

Job summary

INGENIANCE recherche un Data Engineer confirmé pour une mission longue en région parisienne. Vous intégrerez une équipe travaillant sur un hub de données de marchés sur AWS, en utilisant Apache Iceberg et PySpark pour concevoir et opérer les pipelines d’ingestion et de transformation.

Vous serez en charge du modelling, de la qualité et de la traçabilité des datasets, ainsi que du déploiement en production avec surveillance et gestion des incidents. Anglais courant et CDI cadre souhaités.

Qualifications

• Formation supérieure BAC+4/5 en informatique ou data engineering.
• Expérience confirmée en data engineering et pipelines.
• Maîtrise de Python et PySpark, et de l’écosystème AWS (S3, Glue, Athena, EMR, IAM, CloudWatch).
• Connaissance de Apache Iceberg, Parquet/Avro/JSON et concepts de data product, data contract, lineage et data quality.

Responsibilities

• Concevoir et mettre en œuvre les pipelines d’ingestion depuis les référentiels de données de marchés.
• Structurer et modéliser des datasets cohérents à partir des référentiels sources.
• Exploiter Apache Iceberg : partitionnement, time travel, évolution de schéma, compaction.
• Développer les traitements de transformation et de chargement en Python / PySpark (EMR ou Glue ETL).
• Garantir la qualité et la traçabilité des données : lineage, contrôles de cohérence, governance.
• Assurer la fiabilité en production : monitoring, alertes, reprises et gestion des incidents.

Skills

Python

PySpark

AWS

Apache Iceberg

Data governance

Data quality

Education

BAC+4/5

Tools

EMR

Glue

Athena

S3

IAM

CloudWatch

Job description

Descriptif de la société

INGENIANCE est une ESN spécialisée en finance de marché, banque et assurance depuis plus de 18 ans. Nous accompagnons les grands acteurs bancaires et assurantiels français sur leurs projets les plus critiques, avec une expertise reconnue en Craft Development, Big Data, Cloud/DevOps et Agilité. Rejoindre Ingéniance, c'est intégrer une communauté d'experts, être accompagné par un management de proximité et construire son parcours sur des missions à forte valeur ajoutée. Build your success!

Contexte de la mission

Nous recherchons pour une mission longue chez notre client secteur banque/finance en région parisienne un Data Engineer confirmé. Vous rejoignez une équipe qui construit un hub de données de marchés sur AWS, avec Apache Iceberg comme format de stockage central. Un projet structurant, qui s'inscrit dans la stratégie SI du client et interagit avec plusieurs grands programmes.

Vos missions :

• Concevoir et mettre en œuvre les pipelines d'ingestion depuis les référentiels de données de marchés.
• Structurer et modéliser des datasets cohérents à partir des référentiels sources.
• Exploiter Apache Iceberg : partitionnement, time travel, évolution de schéma, compaction.
• Développer les traitements de transformation et de chargement en Python / PySpark (EMR ou Glue ETL).
• Garantir la qualité et la traçabilité des données : lineage, contrôles de cohérence, gouvernance.
• Assurer la fiabilité en production : monitoring, alertes, reprises et gestion des incidents.
• Échanger avec les équipes métier, data et infrastructure.

Profil recherché

Vous avez une formation supérieure (BAC+4/5) et une expérience confirmée en data engineering. Vous maîtrisez Python et PySpark, l'écosystème AWS (S3, Glue, Athena, EMR, IAM, CloudWatch) et Apache Iceberg. Vous connaissez les formats Parquet, Avro et JSON ainsi que les concepts de data product, data contract, lineage et data quality. Une connaissance des données de marchés financiers (instruments, cotations, fournisseurs de données comme Bloomberg ou Refinitiv) serait un plus. Anglais courant, à l'écrit comme à l'oral. Rigoureux, vous aimez fiabiliser vos solutions en production et savez communiquer avec des interlocuteurs métier comme techniques.

Informations complémentaires

Vous êtes recruté en CDI cadre chez Ingéniance et rejoignez notre communauté d'experts data.

Conformément à la réglementation, et à notre politique d'égalité professionnelle, tous nos postes sont ouverts aux personnes en situation de handicap.

Ref : O-LPXHD