Senior Data Engineer Lead: Spark, Azure Databricks

Anafi Consulting

Aubigny-sur-Nère

On-site

EUR 70,000 - 110,000

Full time

2 days ago

Be an early applicant

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Job summary

Anafi Consulting recherche un Data Engineer Senior / Lead pour intervenir sur des projets de transformation Data dans un contexte bancaire international. Vous concevrez, développerez et optimiserez des plateformes de traitement de données à grande échelle, en mettant l'accent sur les données de marché et les reportings financiers réglementaires.

Vous participerez à l'architecture Data Lake sur Microsoft Azure, Delta Lake et Azure Databricks, et vous conduirez l'industrialisation via CI/CD et

Qualifications

Concevoir et développer des pipelines de traitement de données avec Apache Spark et Scala.
Collecter, transformer et consolider des données issues de sources multiples.
Développer des traitements distribués pour des volumes importants de données financières.
Mettre en œuvre des contrôles de qualité et de cohérence des données.
Industrialiser les traitements via CI/CD et les déployer sur Kubernetes / AKS.

Responsibilities

Concevoir et développer des pipelines de traitement de données avec Apache Spark et Scala.
Contribuer à l'architecture Data Lake et pipelines Azure Databricks.
Optimiser les performances et la fiabilité des traitements.
Participer aux migrations et mises à jour des environnements Spark.
Collaborer avec les équipes métiers et IT et animer des ateliers techniques.