Ingénieur Data Spark/Scala – Opérations & Pipelines

VISIAN; Paris; On-site; EUR 60,000 - 90,000; Full time

Job summary

Onyx-Conseil intègre une équipe SI au sein d’un groupe d’assurance de premier plan, pour piloter le socle décisionnel dans un écosystème Big Data (Data Lake et Data Warehouse) hébergé sur Oracle Exadata. Vous garantissez la continuité, la qualité et l’évolution des pipelines.

Les missions couvrent le suivi de production, la gestion d’incidents Spark/Scala, la maintenance évolutive, la recette et les déploiements, ainsi que la documentation et la gouvernance des correctifs.

Qualifications

• Expérience en supervision de pipelines de données (batch et streaming).
• Capacité à diagnostiquer et résoudre des incidents sur des jobs Spark/Scala.
• Maintenance et évolutions des pipelines en réponse aux besoins métiers ou projets.
• Rédaction de plans de tests et conduite de validation en CI/CD.
• Documentation d’exploitation et gouvernance des données.

Responsibilities

• Suivi de production & exploitation : supervision et monitoring quotidiens des chaînes de traitement.
• Gestion des incidents & reprises de données : diagnostiquer et résoudre les incidents sur les jobs Spark/Scala.
• Maintenance évolutive & corrective : développer et implémenter correctifs et évolutions mineures.
• Recette, tests et déploiements : rédiger plans de tests et livrer patches en prod.
• Documentation & gouvernance : rédiger spécifications et assurer reporting au chef de projet.

Skills

Surveillance production

Gestion incidents

Maintenance évolutive

Tests et déploiement

Documentation

Gouvernance data

Education

Diplôme d'ingénieur/ Master informatique

Tools

Spark

Scala

Oracle Exadata

Job description

Au sein de la Direction des Systèmes d’Information d'un groupe d'assurance de premier plan, vous intégrez l'équipe dédiée à la gestion courante et au pilotage du socle décisionnel.

Dans un écosystème Big Data d'envergure collectant les données des différents back-offices métiers pour alimenter un lac de données (Data Lake) et un entrepôt communautaire hébergé sur une architecture de haute performance (Oracle Exadata), vous garantissez la continuité d'activité, la qualité de service et l'évolution des pipelines de traitement.

Vos principales responsabilités :

• Suivi de production & exploitation : Assurer la supervision et le monitoring quotidien des chaînes de traitement de données distribuées (batch et streaming).

• Gestion des incidents & reprises de données : Diagnostiquer, instruire et résoudre les incidents fonctionnels et applicatifs sur les jobs Spark / Scala, en orchestrant les reprises de données nécessaires sans altérer la qualité de service.

• Maintenance évolutive & corrective : Développer et implémenter les correctifs et les évolutions mineures demandées par les métiers ou les équipes projets.

• Recette, tests et déploiements : Rédiger les plans de tests, exécuter les scénarios de validation unitaire et d'intégration, puis assurer la livraison sécurisée des patchs en environnement de production.

• Documentation & gouvernance : Rédiger les spécifications des correctifs, maintenir à jour la documentation d'exploitation et assurer un reporting rigoureux auprès du chef de projet.