Data Engineer Big Data Confirmé (H/F) (IT) / Freelance

Insitoo freelances

Lyon

On-site

EUR 70,000 - 100,000

Full time

2 days ago
Be an early applicant

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Job summary

Insitoo freelances recherche un Data Engineer Confirmé pour une équipe produit agile dans le secteur de l énergie. Vous travaillerez sur des pipelines massifs (> 25 millions d adresses et 40 millions de clients) et conduirez la migration vers le Cloud Databricks à l horizon 2027.

Vos missions incluent le développement et l industrialisation de flux Big Data, la supervision opérationnelle et l accompagnement des Data Scientists dans l industrialisation de leurs modèles, avec une forte culture

Qualifications

  • Conception et industrialisation de pipelines Big Data (PySpark).
  • Mise en place et maintien du CI/CD et tests unitaires.
  • Accompagnement et mentorat des Data Scientists sur la industrialisation des modèles.

Responsibilities

  • Concevoir et optimiser des pipelines de données massives (PySpark).
  • Gérer l orchestration et assurer un haut niveau de qualité logicielle (tests >80 %, CI/CD).
  • Mettre en place des tableaux de bord de suivi et assurer le MCO en production.
  • Préparer et réaliser la migration Hadoop/HDFS vers Databricks/Delta Lake.
  • Animer des ateliers et partager les bonnes pratiques techniques au sein des équipes.

Skills

PySpark
Databricks
Delta Lake
Hadoop/HDFS
CI/CD
Big Data pipelines
MCO / Production support

Tools

Databricks
Delta Lake
Hadoop/HDFS

Job description

Nous recherchons un(e) Data Engineer Confirmé(e) pour rejoindre une équipe produit agile au sein d'un acteur majeur du secteur de l'énergie.

Vous évoluerez dans un environnement innovant dédié au traitement et à la valorisation de données issues d'équipements connectés et d'infrastructures à l'échelle nationale. Votre terrain de jeu : des produits data en constante évolution, traitant des volumes massifs (plus de 25 millions d'adresses et 40 millions de clients), avec un enjeu stratégique majeur de migration vers le Cloud (Databricks) à l'horizon 2027.

Descriptif de la mission :
  • Développement & Industrialisation Big Data : Concevoir, développer et optimiser des pipelines de données massives en pySpark, gérer leur ordonnancement et garantir un haut niveau de qualité logicielle (couverture de tests > 80 %, CI/CD).

  • Supervision & Run : Mettre en place des tableaux de bord de suivi de performance et de qualité de données (en lien avec le DevOps), et assurer le maintien en condition opérationnelle (MCO) et la gestion des incidents en production.

  • Architecture & Accompagnement : Proposer des évolutions d'architecture de données (approche Médaillon compatible Cloud) et accompagner les Data Scientists de l'équipe dans l'industrialisation de leurs modèles et codes d'expérimentation.

  • Migration Cloud (Databricks) : Préparer, tester et réaliser la migration des pipelines existants (Hadoop/HDFS) vers Databricks / Delta Lake.

  • Conseil & Partage : Assurer une veille technologique active, animer des ateliers de bonnes pratiques (performance Spark, qualité de code) et jouer un rôle de référent technique auprès des autres équipes.

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Data Engineer Confirmé – Python / PySpark / Databricks (H/F)
Data Engineer Confirmé – Python / PySpark / Databricks (H/F)

Hillstone • Lyon

On-site
EUR 60,000 - 90,000
Data Engineer (H/F) (IT) / Freelance
Data Engineer (H/F) (IT) / Freelance

KUBE Partners S.L. - Pixie Services • Lille

On-site
EUR 65,000 - 90,000
Data Engineer Cloud confirmé (H/F)
Data Engineer Cloud confirmé (H/F)

Thales Group • Vélizy-Villacoublay

On-site
EUR 60,000 - 90,000
Data Engineer Confirmé - Data & Cloud (Databricks)
Data Engineer Confirmé - Data & Cloud (Databricks)

Insitoo freelances • Lyon

On-site
EUR 70,000 - 100,000
Expert Data Engineer - Datalake (IT) / Freelance
Expert Data Engineer - Datalake (IT) / Freelance

SThree plc • Courbevoie

On-site
EUR 60,000 - 85,000
Data Engineer Senior - BigData
Data Engineer Senior - BigData

VISIAN • Nantes

On-site
EUR 60,000 - 90,000
DATA ENGINEER - Azure, Databricks, Spark, Python et SQL - Confirmé F/H (IT) / Freelance
DATA ENGINEER - Azure, Databricks, Spark, Python et SQL - Confirmé F/H (IT) / Freelance

Smartpoint • Châtillon

On-site
EUR 65,000 - 90,000
FREELANCE - DataOps Engineer Senior (H/F)
FREELANCE - DataOps Engineer Senior (H/F)

Ternair • Lille

On-site
EUR 65,000 - 95,000
Développeur Big Data - + 3 ans
Développeur Big Data - + 3 ans

gamme solutions • Lyon

On-site
EUR 55,000 - 75,000
Data Engineer BI / Big Data – Toulouse (H/F)
Data Engineer BI / Big Data – Toulouse (H/F)

Xited • Toulouse

On-site
EUR 60,000 - 80,000