Expert Data Engineer - Datalake (IT) / Freelance

SThree; Courbevoie; On-site; EUR 60,000 - 85,000; Full time

Job summary

SThree recherche un Data Engineer / Data Lake Developer expérimenté pour accompagner le déploiement d'une nouvelle plateforme Databricks dans un grand environnement bancaire.

Vous concevrez, développerez et industrialiserez les pipelines d ingestion et de transformation, utiliserez Talend, Python, PySpark et dbt, et optimiserez les modèles de données avec SQL et Delta Lake sur Databricks. En mode Agile et international, vous participerez à la mise en production et à la data quality.

Qualifications

• 3 ans d'expérience minimum en Data Engineering / Data Lake.
• Autonome, rigoureux, proactif avec bonnes aptitudes analytiques.
• Anglais courant obligatoire.

Responsibilities

• Concevoir et développer des pipelines d ingestion et de transformation robustes, en batch et temps réel.
• Développer et maintenir les flux ETL Talend alimentant le Data Lake et les systèmes consommateurs.
• Réaliser des traitements Python / PySpark sur Databricks et optimiser les requêtes SQL.
• Mettre en œuvre et optimiser les modèles de données cibles et les flux CDC.
• Automatiser les transformations, la documentation et les tests avec dbt et assurer la traçabilité des données.
• Participer à la mise en production et à l’industrialisation des solutions.
• Mettre en place les bonnes pratiques de Data Quality, monitoring et logging.
• Concevoir des composants réutilisables (templates, librairies et frameworks CI/CD).
• Intervenir sur le développement et les tests associés et collaborer avec l’équipe IT Data.

Skills

Talend ETL

Python

PySpark

Databricks

SQL

dbt

CDC

Qlik Replicate

Kafka

Java

DevOps CI/CD

IA générative

Job description

Dans le cadre d'un projet stratégique au sein d'un grand environnement bancaire, nous recherchons un Data Engineer / Data Lake Developer expérimenté pour renforcer une équipe IT Data et accompagner le déploiement d'une nouvelle plateforme Databricks.

Le consultant interviendra sur la conception, le développement et l'industrialisation des composants nécessaires à l'alimentation et à l'exploitation du Data Lake, au sein d'un environnement Agile et international.

Missions

• Concevoir et développer des pipelines d'ingestion et de transformation de données robustes et scalables, en batch et temps réel.
• Développer et maintenir les flux ETL Talend alimentant le Data Lake et les systèmes consommateurs.
• Développer des traitements Python / PySpark sur Databricks.
• Mettre en œuvre et optimiser les modèles de données cibles.
• Automatiser les transformations, la documentation et les tests avec dbt.
• Développer et configurer des flux CDC (Change Data Capture).
• Mettre en place les bonnes pratiques de Data Quality, monitoring, alerting et logging.
• Développer des composants réutilisables : templates de pipelines, librairies partagées et frameworks CI/CD.
• Réaliser les développements et tests associés.
• Participer aux mises en production et à l'industrialisation des solutions.

Compétences techniques recherchées

• Forte expertise sur Talend ETL : développement, debugging et industrialisation.
• Bonne maîtrise de Python et PySpark.
• Expérience significative sur Databricks : Jobs, Workflows, Delta Lake, Notebooks et optimisation.
• Excellente maîtrise de SQL, notamment sur les requêtes complexes et l'optimisation des performances.
• Expérience pratique de dbt pour la transformation et la modélisation des données.
• Bonne connaissance des problématiques CDC / Change Data Capture.
• Une expérience sur Qlik Replicate / Attunity est fortement appréciée.
• Connaissance de Kafka appréciée.
• Connaissances en Java.
• Expérience DevOps : Git, CI/CD, automatisation des tests et des déploiements.
• Utilisation d'outils d'IA générative pour accélérer les développements Python, PySpark et SQL, le refactoring et les tests.

Profil recherché

Vous justifiez d'au moins 3 ans d'expérience en Data Engineering / Data Lake.

Vous êtes autonome, rigoureux, proactif et disposez de solides capacités d'analyse. Vous êtes également à l'aise dans des environnements exigeants et possédez un bon relationnel client.

Anglais courant obligatoire.