[FBO] Data Engineering Spark Scala - 1773 (IT) / Freelance

Onyx-Conseil; Paris; Sur place; EUR 70 000 - 90 000; Plein temps

Résumé du poste

Onyx-Conseil recherche un data engineer senior pour intégrer une filiale bancaire à Paris. Vous concevrez et maintiendrez des pipelines data (batch et streaming) et développerez des traitements Spark en Scala, avec une connaissance Kafka et HDFS.

Une expérience Databricks/Azure serait un plus; le poste exige autonomie, rigueur et capacité à vulgariser les concepts techniques pour les parties prenantes. Vous travaillerez en CDI dans une équipe data engineering et collaborerez avec les métiers

Qualifications

• Formation Bac+5 en informatique, data engineering ou équivalent.
• Expérience minimale de 3 ans sur un poste similaire.

Responsabilités

• Développer et maintenir des pipelines de données sur l’infrastructure existante (batch, streaming, API).
• Concevoir, optimiser et industrialiser les traitements de données en Spark (Scala).
• Assurer l’intégration et la gestion de flux de données via Kafka et HDFS.
• Exploiter et administrer des bases de données NoSQL (Cassandra).
• Gestion du run (rôle tournant).
• Surveiller la performance et la scalabilité des processus.
• Résolution des incidents et amélioration continue en production.
• Escalader les anomalies et communiquer les incidents aux parties prenantes.

Connaissances

Spark (Scala)

Kafka

HDFS

Cassandra

Batch & streaming architectures

Git & CI/CD

Databricks

Formation

Bac+5 en informatique, data engineering ou équivalent

Outils

Databricks/Azure

Airflow

Node.js

Description du poste

Contexte de la mission

Poste de data engineer, experimenté à senior, avec un savoir faire significatif de realisation de traitements Spark en Scala (pas Python/Pyspark, ou alors en compétence secondaire)

Une experience de flux réalisés sur Databricks/Azure serait un plus important.

Pour intégrer une équipe de data engineering dans la filiale d'une grande banque française

ATTENTION : pas de portage d'independant, ne nous proposez que des collaborateurs que vous avez en CDI

Objectifs et livrables

Objectifs et livrables

Activités principales

Développement et intégration

• Développer et maintenir des pipelines de données sur l’infrastructure existante (batch, streaming, API)
• Concevoir, optimiser et industrialiser les traitements de données en Spark (Scala)
• Assurer l’intégration et la gestion de flux de données via Kafka et HDFS
• Exploiter et administrer des bases de données NoSQL (Cassandra)
• Gestion du run (rôle tournant)

• Surveiller la performance et la scalabilité des processus
• Prendre en charge la résolution des incidents et l’amélioration continue en production
• Escalader auprès des sachants les anomalies critiques
• Communiquer les incidents aux parties prenantes le cas échéant.

Relation métier et vulgarisation

• Participer aux ateliers métier pour comprendre les besoins et proposer des solutions adaptées
• Vulgariser et documenter les travaux réalisés pour faciliter leur appropriation par l’équipe et les parties prenantes

Profil recherché

Formation : Bac+5 en informatique, data engineering ou équivalent

Expérience : Minimum 3 ans sur un poste similaire

Compétences techniques requises

• Maîtrise du développement Spark (Scala)
• Bonne connexion de l’écosystème Big Data : HDFS, Kafka, Cassandra
• Expérience sur des architectures batch, streaming et API
• Pratique du versioning (git) et des outils d’intégration continue
• Bonus : experience en env Databricks/Azure

Compétences complémentaires (atouts)

• Databricks
• Expérience sur Airflow
• Expérience sur des environnements cloud (Azure)
• Développement Node.js
• Pratique de la CI/CD et des outils de monitoring

Savoir-être

• Esprit d’équipe, sens du service et de la communication
• Capacité à vulgariser et à transmettre ses connaissances
• Capacité d’analyse
• Autonomie, rigueur et sens de l’organisation