Ingénieur DataOps (H/F) (IT) / Freelance

Cherry-Pick; Paris; On-site; EUR 55,000 - 75,000; Full time

Job summary

Cherry-Pick recherche un référent technique opérationnel pour les environnements hors production d’une plateforme Data associée à un grand groupe d’assurance à Paris. Vous garantissez la disponibilité et la fiabilité d’une chaîne data dupliquée, en coordonnant les actions avec un chef de projet et un coordinateur.

Vous piloterez les refreshs, les installations Spark/Scala et Informatica, les scripts Oracle et Shell, et vous assurerez le suivi des batchs via Opcon.

Qualifications

• Expérience en exploitation d’environnements hors prod (DEV/CTR/PREPROD) et en gestion de batchs.
• Capacité à automatiser des processus et à assurer la cohérence entre environnements.
• Maîtrise des scripts SQL Oracle et des scripts Shell.
• Connaissance des outils d’orchestration et de monitoring (ex: Opcon; dashboards).

Responsibilities

• Exploitation des environnements hors prod, garantie de disponibilité et de fiabilité.
• Refresh des données et automatisation des transferts entre environnements.
• Installations applicatives: Spark/Scala, ETL Informatica, scripts Oracle et Shell.
• Synchronisation des versions et configurations entre environnements.
• Suivi opérationnel: exécution des jobs Spark, analyse des logs, gestion des dépendances et relances de batchs.
• Automatisation: développement d’outils pour réduire l’effort manuel et vérifier la cohérence post-installation et post-refresh.
• Monitoring et observabilité: construction d’un dashboard de suivi et alerting.
• Livraisons: participation aux pipelines GitLab et à la qualité des livrables.
• Migration GCP: contribution à la reconstruction des environnements hors prod sur Google Cloud.

Skills

Spark/Scala

Informatica ETL

Oracle SQL

Shell scripting

Opcon

Tools

Hadoop/HDFS/Hive

Spark

Kafka

MongoDB

Qlik

Google Cloud Platform

Job description

Le contexte

Notre client, un grand groupe d'assurance, renforce l'équipe décisionnelle de sa division Data. La plateforme actuelle est on-premise : pipelines sur Hadoop (HDFS, Hive) et Spark, datawarehouse Oracle Exadata, temps réel avec Kafka et MongoDB, restitution sous Qlik. Une migration vers Google Cloud Platform est en cours.

Aujourd'hui, l'exploitation des environnements hors production est très manuelle. Vous serez le référent technique opérationnel de ces environnements, aux côtés d'un chef de projet et d'un coordinateur.

Vos missions

• Exploitation des environnements hors prod (DEV, RCT, PREPROD) : garantir leur disponibilité, leur cohérence et leur fiabilité, sur une chaîne Data dupliquée de bout en bout.

• Refresh des données entre environnements, puis leur automatisation.

• Installations applicatives : traitements Spark/Scala, ETL Informatica, scripts SQL Oracle, scripts shell.

• Synchronisation des environnements : versions applicatives et logicielles, configurations, paramétrages.

• Maintien en conditions opérationnelles : exécution des jobs Spark, analyse des logs, contrôle des dépendances, suivi et relance des batchs (Opcon).

• Automatisation : développer les scripts et outils qui réduisent l'effort manuel (contrôle des écarts entre environnements, validation post-installation et post-refresh, cohérence des bases).

• Monitoring et observabilité : construire et maintenir un dashboard de suivi des environnements (exécutions, volumes), avec alerting et reporting. Vous êtes force de proposition sur l'outillage.

• Livraisons : contribuer aux pipelines de livraison GitLab et à la qualité des livrables.

• Migration GCP : participer à la reconstruction des environnements hors prod sur Google Cloud.