[SCH] Data OPS - Spark/Scala - 1954 (IT) / Freelance

Free-Work; Boulogne-Billancourt; Sur place; EUR 65 000 - 90 000; Plein temps

Résumé du poste

Free-Work recherche un ingénieur data confirmé pour intervenir sur des sujets Big Data et DataOps, en lien avec un socle on premise et cloud Azure. Le poste couvre le Run quotidien et des enjeux d obsolescence technique, de scalabilité et de déploiement de services Azure.

Vous utiliserez Databricks, Hadoop, Airflow et Kafka, et collaborerez avec CI/CD et DevOps / DataOps pour optimiser le socle de données.

Qualifications

• Profil confirmé avec de solides compétences en ingénierie des données (Big Data) et DataOps.
• Expérience attendue sur Spark Scala, Python, SQL, Airflow, Kafka, Hadoop, Cloud Azure / Terraform et les environnements Databricks.

Responsabilités

• Contribuer au Run quotidien du socle de données.
• Intervenir sur l obsolescence technique et applicative.
• Intervenir sur la scalabilité du socle de données.
• Déployer des services Azure et pipelines DataOps.
• Intervenir sur des sujets d ingénierie des données Big Data.
• Intervenir sur DataOps.
• Exploiter Airflow et Kafka dans le cadre des activités du socle de données.
• Intervenir sur Hadoop et Databricks.
• Exploiter les bases relationnelles et NoSQL et CI/CD / DevOps DataOps.

Connaissances

Spark Scala

Python

SQL

Airflow

Kafka

Hadoop

Azure

Terraform

Databricks

Description du poste

Dans le cadre du renforcement de l'équipe, intervention sur des sujets d'ingénierie des données (Big Data) et DataOps en lien avec le socle transverse on premise et cloud. La mission intervient sur le Run quotidien et sur des sujets techniques et fonctionnels liés à l'obsolescence technique et applicative, à la scalabilité du socle de données et au déploiement de services Azure. L'environnement comprend également Databricks, des bases relationnelles et NoSQL, ainsi que CI/CD et DevOps / DataOps

Missions :

• Contribuer au Run quotidien du socle de données
• Intervenir sur les sujets d'obsolescence technique et applicative
• Intervenir sur la scalabilité du socle de données
• Déployer des services Azure
• Intervenir sur des sujets d'ingénierie des données Big Data
• Intervenir sur des sujets DataOps
• Exploiter Airflow et Kafka dans le cadre des activités du socle de données
• Intervenir sur Hadoop et Databricks
• Exploiter les bases relationnelles et NoSQL
• Utiliser CI/CD et DevOps / DataOps

Profil attendu :

Profil confirmé avec de bonnes compétences en ingénierie des données (Big Data) et DataOps. Expérience attendue sur Spark Scala, Python, SQL, Airflow, Kafka, Hadoop, Cloud Azure / Terraform et les environnements Databricks. Le profil