Senior Data Platform Lead - Python/PySpark on AWS

Ingeniance; Paris; In loco; EUR 85.000 - 110.000; Tempo pieno

Descrizione del lavoro

INGENIANCE recherche un Data Engineer Senior à Paris, poste en CDI, avec une expérience démontrée en pilotage technique et en développement de pipelines de données sur AWS. Vous porterez une plateforme de données et superviserez une petite équipe.

Le candidat idéal maîtrise Python, PySpark, et les services AWS (Glue, S3, Athena) et est capable d’ordonnancer les tâches avec Step Functions tout en optimisant coûts et performances.

Competenze

• Au moins 8 ans d'expérience en data engineering et pilotage technique de projet data, avec décisions d'architecture.
• Maîtrise du développement Python et PySpark en production, et compréhension des pipelines industriels.
• Connaissance AWS (Glue, S3, Athena) et bonnes pratiques CI/CD.
• Capacité à encadrer une équipe et à influencer les choix techniques.

Mansioni

• Assurer le pilotage du projet de bout en bout en collaboration avec le Tech Lead.
• Construire et faire évoluer des pipelines Python / PySpark sur AWS Glue.
• Encadrer deux développeurs et assurer les revues de code et la montée en compétence.
• Définir et appliquer la stratégie de refactoring et d'industrialisation.
• Orchestration avec Step Functions et EventBridge, stockage S3 et exposition via Glue Data Catalog et Athena.
• Mettre en place la qualité des données, le monitoring et l’optimisation coûts.
• Travailler avec DevOps pour Terraform, CI/CD et tests.

Conoscenze

Python

PySpark

AWS

Data pipelines

Leadership

Batch processing

CI/CD

Strumenti

AWS Glue

Step Functions

S3

Athena

Terraform

Airflow

Iceberg

Descrizione del lavoro

INGENIANCE recherche un Data Engineer Senior à Paris, poste en CDI, avec une expérience démontrée en pilotage technique et en développement de pipelines de données sur AWS. Vous porterez une plateforme de données et superviserez une petite équipe.

Le candidat idéal maîtrise Python, PySpark, et les services AWS (Glue, S3, Athena) et est capable d’ordonnancer les tâches avec Step Functions tout en optimisant coûts et performances.