DataOps Engineer confirmé – Azure / Databricks / Big Data H/F - Boulogne

Webnet; France; Hybride; EUR 90 000 - 120 000; Plein temps

Résumé du poste

Webnet recherche un DataOps Engineer confirmé pour intervenir sur le Run, la fiabilisation et l’évolution d’une plateforme Data. Vous intégrez une équipe en mode Agile et garantissez le bon fonctionnement, la disponibilité et l’évolution du socle technique Data.

Les missions incluent le Run quotidien, l’analyse des incidents, la gestion de l’obsolescence et l’amélioration des performances et de la scalabilité.

Qualifications

• Expérience en exploitation et industrialisation de plateformes Data / Big Data.
• Maîtrise d’Azure et Databricks, plus compétences Spark/Python/Scala/SQL.

Responsabilités

• Run quotidien et maintien en conditions opérationnelles de la plateforme Data.
• Analyser et résoudre les incidents techniques.
• Gérer l’obsolescence technique et applicative.
• Améliorer performance, disponibilité et scalabilité du socle de données.
• Déployer et exploiter des services dans un environnement Cloud Azure.
• Automatiser et industrialiser les déploiements via Terraform et CI/CD.
• Superviser et fiabiliser les traitements et flux de données.
• Explorer et faire évoluer Spark, Databricks, Airflow, Kafka et Hadoop.
• Coordonner avec les équipes projets IT et métiers.

Connaissances

Run et support quotidien

Agile

Cloud Azure

Terraform

CI/CD

Spark

Databricks

Airflow

Kafka

Hadoop

Python

Scala

SQL

DevOps / DataOps

Outils

Azure Databricks

Terraform

CI/CD pipelines

Description du poste

Dans le cadre du renforcement d’une équipe Big Data, chez l'un de nos clients grands comptes, nous recherchons un DataOps Engineer confirmé pour intervenir principalement sur des activités de Run, fiabilisation et évolution d’une plateforme Data.

Vous intégrerez une équipe fonctionnant en mode Agile et serez garant du bon fonctionnement, de la disponibilité et de l’évolution du socle technique Data.

Vous aurez pour missions :

• Le Run quotidien et le maintien en conditions opérationnelles de la plateforme Data.
• L’analyse et la résolution des incidents techniques.
• La gestion de l’obsolescence technique et applicative.
• L’amélioration de la performance, de la disponibilité et de la scalabilité du socle de données.
• Le déploiement et l’exploitation de services dans un environnement Cloud Azure.
• L’automatisation et l’industrialisation des déploiements via Terraform et CI/CD.
• La supervision et la fiabilisation des traitements et flux de données.
• L’exploitation et l’évolution de composants Spark, Databricks, Airflow, Kafka et Hadoop.
• La coordination avec les équipes projets, IT et métiers.

Environnement technique

Azure – Databricks – Spark – Python – Scala – SQL – Airflow – Kafka – Hadoop – Terraform – Bases relationnelles et NoSQL – CI/CD – DevOps / DataOps

De formation supérieure, vous disposez d’une expérience d'au moins 8 ans dans l'exploitation et l'industrialisation de plateformes Data / Big Data.Vous maîtrisez idéalement :Les environnements Azure et Databricks.Les problématiques de Run, supervision et maintien en conditions opérationnelles.Spark, Python, Scala et SQL.Les outils d’orchestration tels qu’Airflow.Les environnements de streaming avec Kafka.L’Infrastructure as Code avec Terraform.Les chaînes de déploiement CI/CD.Les pratiques DevOps / DataOps.Vous êtes à l’aise pour diagnostiquer des incidents, analyser des problématiques de performance et intervenir sur des environnements Data complexes