Senior Data Lake Engineer - Databricks & ETL Pipelines

SThree; Courbevoie; Sur place; EUR 60 000 - 85 000; Plein temps

Résumé du poste

SThree recherche un Data Engineer / Data Lake Developer expérimenté pour accompagner le déploiement d'une nouvelle plateforme Databricks dans un grand environnement bancaire.

Vous concevrez, développerez et industrialiserez les pipelines d ingestion et de transformation, utiliserez Talend, Python, PySpark et dbt, et optimiserez les modèles de données avec SQL et Delta Lake sur Databricks. En mode Agile et international, vous participerez à la mise en production et à la data quality.

Qualifications

• 3 ans d'expérience minimum en Data Engineering / Data Lake.
• Autonome, rigoureux, proactif avec bonnes aptitudes analytiques.
• Anglais courant obligatoire.

Responsabilités

• Concevoir et développer des pipelines d ingestion et de transformation robustes, en batch et temps réel.
• Développer et maintenir les flux ETL Talend alimentant le Data Lake et les systèmes consommateurs.
• Réaliser des traitements Python / PySpark sur Databricks et optimiser les requêtes SQL.
• Mettre en œuvre et optimiser les modèles de données cibles et les flux CDC.
• Automatiser les transformations, la documentation et les tests avec dbt et assurer la traçabilité des données.
• Participer à la mise en production et à l’industrialisation des solutions.
• Mettre en place les bonnes pratiques de Data Quality, monitoring et logging.
• Concevoir des composants réutilisables (templates, librairies et frameworks CI/CD).
• Intervenir sur le développement et les tests associés et collaborer avec l’équipe IT Data.

Connaissances

Talend ETL

Python

PySpark

Databricks

SQL

dbt

CDC

Qlik Replicate

Kafka

Java

DevOps CI/CD

IA générative

Description du poste

SThree recherche un Data Engineer / Data Lake Developer expérimenté pour accompagner le déploiement d'une nouvelle plateforme Databricks dans un grand environnement bancaire.

Vous concevrez, développerez et industrialiserez les pipelines d ingestion et de transformation, utiliserez Talend, Python, PySpark et dbt, et optimiserez les modèles de données avec SQL et Delta Lake sur Databricks. En mode Agile et international, vous participerez à la mise en production et à la data quality.