Data Engineer Senior Lead Python / PySpark / AWS - F/H

Ingeniance; Paris; In loco; EUR 85.000 - 110.000; Tempo pieno

Descrizione del lavoro

INGENIANCE recherche un Data Engineer Senior à Paris, poste en CDI, avec une expérience démontrée en pilotage technique et en développement de pipelines de données sur AWS. Vous porterez une plateforme de données et superviserez une petite équipe.

Le candidat idéal maîtrise Python, PySpark, et les services AWS (Glue, S3, Athena) et est capable d’ordonnancer les tâches avec Step Functions tout en optimisant coûts et performances.

Competenze

• Au moins 8 ans d'expérience en data engineering et pilotage technique de projet data, avec décisions d'architecture.
• Maîtrise du développement Python et PySpark en production, et compréhension des pipelines industriels.
• Connaissance AWS (Glue, S3, Athena) et bonnes pratiques CI/CD.
• Capacité à encadrer une équipe et à influencer les choix techniques.

Mansioni

• Assurer le pilotage du projet de bout en bout en collaboration avec le Tech Lead.
• Construire et faire évoluer des pipelines Python / PySpark sur AWS Glue.
• Encadrer deux développeurs et assurer les revues de code et la montée en compétence.
• Définir et appliquer la stratégie de refactoring et d'industrialisation.
• Orchestration avec Step Functions et EventBridge, stockage S3 et exposition via Glue Data Catalog et Athena.
• Mettre en place la qualité des données, le monitoring et l’optimisation coûts.
• Travailler avec DevOps pour Terraform, CI/CD et tests.

Conoscenze

Python

PySpark

AWS

Data pipelines

Leadership

Batch processing

CI/CD

Strumenti

AWS Glue

Step Functions

S3

Athena

Terraform

Airflow

Iceberg

Descrizione del lavoro

La société INGENIANCE est une ESN spécialisée en finance de marché, banque et assurance depuis plus de 18 ans. Nous accompagnons les grands acteurs bancaires et assurantiels français sur leurs projets les plus critiques, avec une expertise reconnue en Craft Development, Big Data, Cloud/DevOps et Agilité. Rejoindre Ingéniance, c'est intégrer une communauté d'experts, être accompagné par un management de proximité et construire son parcours sur des missions à forte valeur ajoutée. Build your success!

La société INGENIANCE est une ESN spécialisée en finance de marché, banque et assurance depuis plus de 18 ans. Nous accompagnons les grands acteurs bancaires et assurantiels français sur leurs projets les plus critiques, avec une expertise reconnue en Craft Development, Big Data, Cloud/DevOps et Agilité. Rejoindre Ingéniance, c'est intégrer une communauté d'experts, être accompagné par un management de proximité et construire son parcours sur des missions à forte valeur ajoutée. Build your success!

Le poste

Nous recherchons pour une mission longue chez notre client secteur banque/finance en région parisienne un Data Engineer Senior à posture de lead, pour porter une plateforme de données AWS lancée from scratch pour une équipe des marchés actions. Chaque nuit, des batchs produisent des prix, des sensibilités et du PnL sur plusieurs centaines de millions de lignes. Les équipes métier connaissent ces données, mais ont besoin d'un expert pour construire des pipelines industriels. Vous pilotez le projet au quotidien, en appui du Tech Lead qui valide les grandes orientations.

Vos Missions

• Porter le projet de bout en bout : cadrage avec le métier, découpage, priorisation et plan de livraison.
• Proposer et défendre les choix d'architecture, et arbitrer en autonomie.
• Encadrer deux développeurs (un junior, un confirmé) : standards de code, revues, montée en compétences.
• Définir la stratégie de refactoring d'un projet existant, priorisée par risque et par valeur.
• Construire un framework commun piloté par configuration et développer les pipelines Python / PySpark sur AWS Glue.
• Orchestrer avec Step Functions et EventBridge, organiser le stockage S3 (Parquet ou Iceberg) et l'exposition via Glue Data Catalog et Athena.
• Mettre en place la qualité des données et le monitoring, et optimiser performances et coûts.
• Industrialiser avec l'équipe DevOps : Terraform, CI/CD, tests.

Vous rejoignez Ingéniance en CDI et intégrez une communauté d'experts de la data et de la finance de marché.

Le profil recherché

Vous justifiez d'au moins 8 ans d'expérience en data engineering, dont un vrai pilotage technique de projet data (Tech Lead, lead dev ou équivalent) avec des décisions d'architecture prises et défendues.

Compétences Attendues

• Python maîtrisé en profondeur (compréhensions, collections, map/filter), sans dépendre de la documentation.
• PySpark en production : Spark UI, skew, mémoire, AQE, UDF et fonctions natives.
• AWS : Glue, Step Functions, S3, Athena, maîtrise des coûts.
• Industrialisation : Git, CI/CD, tests, conception de frameworks réutilisables.
• Appréciés : Terraform, Iceberg, Airflow, connaissance de la finance de marché (pricing, grecs, PnL, produits actions).

Vous êtes autonome, force de proposition face à un besoin flou, et à l'aise pour encadrer et faire grandir une équipe.

Ref : O-SIYUA