Data Engineer: Build Market Data Hub with Iceberg on AWS

Ingeniance; Paris; Presencial; EUR 60.000 - 90.000; Jornada completa

Descripción de la vacante

INGENIANCE recherche un Data Engineer confirmé pour une mission longue en région parisienne. Vous intégrerez une équipe travaillant sur un hub de données de marchés sur AWS, en utilisant Apache Iceberg et PySpark pour concevoir et opérer les pipelines d’ingestion et de transformation.

Vous serez en charge du modelling, de la qualité et de la traçabilité des datasets, ainsi que du déploiement en production avec surveillance et gestion des incidents. Anglais courant et CDI cadre souhaités.

Formación

• Formation supérieure BAC+4/5 en informatique ou data engineering.
• Expérience confirmée en data engineering et pipelines.
• Maîtrise de Python et PySpark, et de l’écosystème AWS (S3, Glue, Athena, EMR, IAM, CloudWatch).
• Connaissance de Apache Iceberg, Parquet/Avro/JSON et concepts de data product, data contract, lineage et data quality.

Responsabilidades

• Concevoir et mettre en œuvre les pipelines d’ingestion depuis les référentiels de données de marchés.
• Structurer et modéliser des datasets cohérents à partir des référentiels sources.
• Exploiter Apache Iceberg : partitionnement, time travel, évolution de schéma, compaction.
• Développer les traitements de transformation et de chargement en Python / PySpark (EMR ou Glue ETL).
• Garantir la qualité et la traçabilité des données : lineage, contrôles de cohérence, governance.
• Assurer la fiabilité en production : monitoring, alertes, reprises et gestion des incidents.

Conocimientos

Python

PySpark

AWS

Apache Iceberg

Data governance

Data quality

Educación

BAC+4/5

Herramientas

EMR

Glue

Athena

S3

IAM

CloudWatch

Descripción del empleo

INGENIANCE recherche un Data Engineer confirmé pour une mission longue en région parisienne. Vous intégrerez une équipe travaillant sur un hub de données de marchés sur AWS, en utilisant Apache Iceberg et PySpark pour concevoir et opérer les pipelines d’ingestion et de transformation.

Vous serez en charge du modelling, de la qualité et de la traçabilité des datasets, ainsi que du déploiement en production avec surveillance et gestion des incidents. Anglais courant et CDI cadre souhaités.