Data Engineer / Développeur Big Data (F/H)

SII Group

Neuville-sur-Sarthe

On-site

EUR 60,000 - 85,000

Full time

14 days+

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Job summary

SII Group recherche un analyste data pour accompagner la migration de flux vers une plateforme Data moderne fondée sur Apache Spark. Vous contribuerez à l’analyse, à la conception et à l’optimisation des traitements de données, dans un contexte Big Data.

Vous développerez des pipelines ETL/ELT en PySpark, optimiserez les requêtes SQL et travaillerez sur les environnements Cloudera/Hadoop, Hive et Impala, en participation aux tests et mises en production.

Qualifications

  • Analyse et migrer des traitements vers Apache Spark.
  • Développer des pipelines ETL/ELT en PySpark.
  • Optimiser les requêtes SQL et les performances des traitements.
  • Intervenir sur les environnements Cloudera/Hadoop, Hive et Impala.
  • Participer aux phases de tests et de validations.

Responsibilities

  • Analyser et migrer des traitements vers Spark.
  • Développer des pipelines ETL/ELT en PySpark.
  • Optimiser les requêtes SQL et les performances des traitements.
  • Intervenir sur Cloudera/Hadoop/Hive/Impala.
  • Participer aux tests et validations des flux migrés.

Skills

PySpark
SQL
Spark
ETL/ELT

Tools

Cloudera/Hadoop
Hive
Impala

Job description

Dans le cadre d'un projet de migration de flux de données existants vers une plateforme Data moderne basée sur Spark et les technologies Big Data, vous intervenez sur l'analyse, la conception et l'optimisation des traitements de données.

Analyser et migrer des traitements vers Apache Spark Développer des pipelines ETL/ELT en PySpark Optimiser les requêtes SQL et les performances des traitements Intervenir sur les environnements Cloudera/Hadoop, Hive et Impala Participer aux phases de tests et d

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Data Engineer Spark & ETL/ELT Architect (PySpark)
Data Engineer Spark & ETL/ELT Architect (PySpark)

SII Group • Neuville-sur-Sarthe

On-site
EUR 60,000 - 85,000
Data Engineer Spark & Big Data – ETL/ELT Specialist
Data Engineer Spark & Big Data – ETL/ELT Specialist

SII Group • Le Mans

Hybrid
EUR 55,000 - 75,000
Formation technique
Évolution de carrière
Déjeuners techniques
+2
Data Engineer / Développeur Big Data (F/H)
Data Engineer / Développeur Big Data (F/H)

SII Group • Le Mans

Hybrid
EUR 55,000 - 75,000
Formation technique
Évolution de carrière
Déjeuners techniques
+2
Data Engineer (H/F) (IT) / Freelance
Data Engineer (H/F) (IT) / Freelance

KUBE Partners S.L. - Pixie Services • Lille

On-site
EUR 65,000 - 90,000
Data Engineer Big Data Confirmé (H/F) (IT) / Freelance
Data Engineer Big Data Confirmé (H/F) (IT) / Freelance

Insitoo freelances • Lyon

On-site
EUR 70,000 - 100,000
Data Engineer - Big Data - Scala, Spark, Azure Confirmé H/F
Data Engineer - Big Data - Scala, Spark, Azure Confirmé H/F

Inetum2 • Biot

On-site
EUR 55,000 - 90,000
Développeur Big Data - + 3 ans
Développeur Big Data - + 3 ans

gamme solutions • Lyon

On-site
EUR 55,000 - 75,000
Data Engineer H/F
Data Engineer H/F

Act Digital France • Vélizy-Villacoublay

On-site
EUR 50,000 - 80,000
Data Engineer: Spark, Cloud & Data Pipelines
Data Engineer: Spark, Cloud & Data Pipelines

Mp Data • Boulogne-Billancourt

On-site
EUR 55,000 - 90,000
Cloud Data Engineer - Spark & Data Platform Expert
Cloud Data Engineer - Spark & Data Platform Expert

Mp Data • Paris

Remote
EUR 65,000 - 90,000