DataOps Engineer confirmé – Azure / Databricks / Big Data H/F - Boulogne

Webnet; Sèvres; Sur place; EUR 75 000 - 110 000; Plein temps

Résumé du poste

Webnet recherche un DataOps Engineer confirmé pour intervenir sur une plateforme Data, en particulier sur les volets Run, fiabilisation et évolution. Vous intégrerez une équipe Agile et serez garant du bon fonctionnement et de la disponibilité du socle Data.

Vous participerez au déploiement et à l’exploitation sur Azure Databricks, avec automatisation via Terraform et CI/CD, et vous coordonnerez les flux de données avec Spark, Airflow, Kafka et Hadoop. Expérience minimale 8 ans requise.

Qualifications

• Expérience d'au moins 8 ans dans l'exploitation et l'industrialisation de plateformes Data/Big Data.
• Maîtrise des environnements Azure et Databricks.
• Capacité à diagnostiquer incidents et améliorer la performance et la scalabilité.

Responsabilités

• Run quotidien et maintien en conditions opérationnelles de la plateforme Data.
• Analyse et résolution des incidents techniques.
• Gestion de l’obsolescence technique et applicative.
• Amélioration de la performance, disponibilité et scalabilité du socle de données.
• Déploiement et exploitation des services dans Azure Cloud.
• Automatisation et industrialisation des déploiements via Terraform et CI/CD.
• Supervision et fiabilisation des traitements et flux de données.

Connaissances

Run et ops Data

Industrialisation data

Azure Databricks

Spark

Python

Scala

SQL

Airflow

Kafka

Hadoop

Terraform

CI/CD

DevOps

DataOps

Formation

Expérience 8+ ans DataOps/Run

Outils

Azure

Databricks

Kafka

Airflow

Terraform

CI/CD

Spark

Hadoop

Description du poste

Dans le cadre du renforcement d’une équipe Big Data, chez l'un de nos clients grands comptes, nous recherchons un DataOps Engineer confirmé pour intervenir principalement sur des activités de Run, fiabilisation et évolution d’une plateforme Data.

Vous intégrerez une équipe fonctionnant en mode Agile et serez garant du bon fonctionnement, de la disponibilité et de l’évolution du socle technique Data.

Vous aurez pour missions :

• Le Run quotidien et le maintien en conditions opérationnelles de la plateforme Data.
• L’analyse et la résolution des incidents techniques.
• La gestion de l’obsolescence technique et applicative.
• L’amélioration de la performance, de la disponibilité et de la scalabilité du socle de données.
• Le déploiement et l’exploitation de services dans un environnement Cloud Azure.
• L’automatisation et l’industrialisation des déploiements via Terraform et CI/CD.
• La supervision et la fiabilisation des traitements et flux de données.
• L’exploitation et l’évolution de composants Spark, Databricks, Airflow, Kafka et Hadoop.
• La coordination avec les équipes projets, IT et métiers.

Environnement technique

Azure – Databricks – Spark – Python – Scala – SQL – Airflow – Kafka – Hadoop – Terraform – Bases relationnelles et NoSQL – CI/CD – DevOps / DataOps

De formation supérieure, vous disposez d’une expérience d'au moins 8 ans dans l'exploitation et l'industrialisation de plateformes Data / Big Data.Vous maîtrisez idéalement :Les environnements Azure et Databricks.Les problématiques de Run, supervision et maintien en conditions opérationnelles.Spark, Python, Scala et SQL.Les outils d’orchestration tels qu’Airflow.Les environnements de streaming avec Kafka.L’Infrastructure as Code avec Terraform.Les chaînes de déploiement CI/CD.Les pratiques DevOps / DataOps.Vous êtes à l’aise pour diagnostiquer des incidents, analyser des problématiques de performance et intervenir sur des environnements Data complexes