Consultant·e Data Engineer Senior / Lead – Spark, Scala & Azure Databricks

Anafi Consulting

Aubigny-sur-Nère

On-site

EUR 70,000 - 110,000

Full time

7 days ago

Be an early applicant

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Job summary

Anafi Consulting recherche un Data Engineer Senior / Lead pour intervenir sur des projets de transformation Data dans un contexte bancaire international. Vous concevrez, développerez et optimiserez des plateformes de traitement de données à grande échelle, en mettant l'accent sur les données de marché et les reportings financiers réglementaires.

Vous participerez à l'architecture Data Lake sur Microsoft Azure, Delta Lake et Azure Databricks, et vous conduirez l'industrialisation via CI/CD et

Qualifications

Concevoir et développer des pipelines de traitement de données avec Apache Spark et Scala.
Collecter, transformer et consolider des données issues de sources multiples.
Développer des traitements distribués pour des volumes importants de données financières.
Mettre en œuvre des contrôles de qualité et de cohérence des données.
Industrialiser les traitements via CI/CD et les déployer sur Kubernetes / AKS.

Responsibilities

Concevoir et développer des pipelines de traitement de données avec Apache Spark et Scala.
Contribuer à l'architecture Data Lake et pipelines Azure Databricks.
Optimiser les performances et la fiabilité des traitements.
Participer aux migrations et mises à jour des environnements Spark.
Collaborer avec les équipes métiers et IT et animer des ateliers techniques.

Tools

Apache Spark

Scala

Azure Databricks

Delta Lake

Azure Data Lake Storage Gen2

Azure

Data Lake

Kubernetes

AKS

Helm

CI/CD

Jenkins

GitHub

Oozie

Java

Spring Boot

Angular

Job description

Qui sommes-nous ?

Anafi Consulting est un cabinet de conseil spécialisé dans les transformations technologiques et organisationnelles.

Nous accompagnons nos clients grands comptes dans leurs projets stratégiques autour de laFinance, de la Data, du Cloud, du DevOps et du développement applicatif, en combinant expertise technique, compréhension métier et qualité du delivery.

Votre rôle

Dans le cadre de projets stratégiques de transformation Data au sein d'un environnement bancaire international, nous recherchons un(e)Data Engineer Senior / Lead spécialisé(e) dans les technologiesApache Spark, Scala et Azure Databricks.

Vous interviendrez sur la conception, le développement et l'optimisation de plateformes de traitement de données à grande échelle, notamment autour desdonnées de marché et des reportings financiers réglementaires.

Votre rôle couvrira l'ensemble du cycle de vie des traitements Data : ingestion, transformation, contrôle qualité, optimisation des performances, industrialisation et mise en production.

Vous contribuerez également aux choix d'architecture et à l'accompagnement technique des équipes.

Vos missions principales

Data Engineering & Traitement de données

Concevoir et développer des pipelines de traitement de données avecApache Spark et Scala.
Collecter, transformer et consolider des données issues de sources multiples.
Développer des traitements distribués pour des volumes importants de données financières.
Mettre en œuvre des contrôles de qualité et de cohérence des données.
Automatiser les traitements de rapprochement et les calculs financiers.
Garantir la fiabilité et la traçabilité des données produites.

Architecture Data Lake & Azure

Participer à la conception et à l'évolution d'architecturesData Lake sur Microsoft Azure.
Mettre en œuvre des solutionsDelta Lakeselon une architecture médaillonBronze / Silver / Gold.
Développer et maintenir des traitements surAzure Databricks.
Contribuer à l'optimisation du stockage et de l'exploitation des données surAzure Data Lake Storage Gen2.
Participer aux projets de modernisation et de migration des plateformes Data.

Performance & Optimisation Spark

Optimiser les performances des traitements Spark.
Analyser les plans d'exécution et améliorer les stratégies de partitionnement.
Réduire les temps de traitement grâce à l'optimisation des opérations de shuffle et des agrégations.
Participer aux migrations et montées de version des environnements Spark.
Identifier les axes d'amélioration de la performance, de la stabilité et de la maintenabilité des pipelines.

Données financières & Reporting réglementaire

Développer des traitements de calcul et d'agrégation de données financières.
Contribuer à la production de reportings réglementaires tels queNSFR et COREP.
Participer à la fiabilisation des données de marché et des référentiels financiers.
Développer des mécanismes de rapprochement entre différentes sources de données.
Garantir la qualité et la non-régression des calculs.

Industrialisation & DevOps

Industrialiser les traitements Data à travers des pipelinesCI/CD.
Automatiser les tests unitaires et d'intégration.
Participer au déploiement des applications surKubernetes / AKS.
UtiliserHelmpour la gestion des déploiements.
Contribuer à l'amélioration continue des pratiques de développement et de livraison.

Expertise technique & Accompagnement

Participer aux choix d'architecture et aux orientations techniques.
Accompagner les ingénieurs Data dans leur montée en compétence.
Réaliser des revues de code et promouvoir les bonnes pratiques de développement.
Collaborer avec les équipes métiers, Data Analysts et équipes IT.
Animer des ateliers techniques dans le cadre des évolutions et migrations technologiques.

Environnement technique

Data Engineering & Big Data