DataLake Dev & Big Data Engineer – On-Prem Spark

NEXTON; Paris; On-site; EUR 55,000 - 80,000; Full time

Benefits offered by this job

Communautés dynamiques

Meetups

Formations professionnelles

Événements sportifs

Mobilité durable

Téléphone pro

Job summary

NEXTON recherche un Dev/Data Engineer pour un client bancaire à Paris. Vous concevrez et industrialiserez des pipelines DataLake (Spark/PySpark) et contribuerez à la modernisation de notre plateforme GTLake.

Vous piloterez la migration des workflows Informatica DEI vers Python/Spark, assurerez la production et le traitement batch (Control-M), et collaborerez avec les Product Owners et les équipes SI. Ce poste offre des défis techniques, des opportunités d’innovation et un cadre propice à

Qualifications

• 3 à 6 ans d’expérience en Big Data et DataLake
• Expérience de conception et industrialisation de pipelines DataLake (Spark/PySpark)
• Migration de workflows (Informatica DEI) vers Python/Spark
• Bonne maîtrise CI/CD et supervision production (Jenkins, Bitbucket, XLDeploy/XLRelease)

Responsibilities

• Concevoir et industrialiser de nouveaux pipelines DataLake sous Spark/PySpark
• Piloter migration des workflows Informatica DEI vers Python/Spark
• Gérer la production et suivre les batchs (Control-M)
• Réviser l’architecture GTLake et proposer des évolutions
• Assurer stockage et interrogation à grande échelle (HDFS, Parquet, Iceberg)
• Traduire les exigences CASH et Trade en architectures data fiables
• Collaborer avec Product Owners et équipes SI
• Automatiser les déploiements via CI/CD et exploiter les IA pour accélérer les dev
• Documenter les procédures techniques de la squad

Skills

Data engineering

Spark

PySpark

Python

CI/CD

Hadoop

HDFS

Parquet

Iceberg

Hive

Starburst

Jenkins

XLDeploy

XLRelease

Control-M

Tools

Spark

PySpark

Python

Hadoop

HDFS

Parquet

Iceberg

Hive

Starburst

Jenkins

Bitbucket

XLDeploy

XLRelease

Control-M

Job description

NEXTON recherche un Dev/Data Engineer pour un client bancaire à Paris. Vous concevrez et industrialiserez des pipelines DataLake (Spark/PySpark) et contribuerez à la modernisation de notre plateforme GTLake.

Vous piloterez la migration des workflows Informatica DEI vers Python/Spark, assurerez la production et le traitement batch (Control-M), et collaborerez avec les Product Owners et les équipes SI. Ce poste offre des défis techniques, des opportunités d’innovation et un cadre propice à