Data Engineer Spark & Big Data – ETL/ELT Specialist

SII Group

Le Mans

Hybrid

EUR 55,000 - 75,000

Full time

14 days+

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Benefits offered by this job

Formation technique
Évolution de carrière
Déjeuners techniques
Ambiance conviviale
Jusqu’à 50% télétravail

Job summary

SII Ouest recherche un ingénieur Data expérimenté pour migrer des flux existants vers une plateforme Spark et concevoir des pipelines ETL/ELT en PySpark. Vous optimiserez les traitements et les requêtes SQL tout en intervenant sur les environnements Cloudera/Hadoop, Hive et Impala.

Vous participerez aux tests, à la validation, à la documentation et à l’accompagnement des mises en production, avec jusqu’à 50% de télétravail possible.

Qualifications

  • Minimum 5 ans d'expérience en environnement Data
  • Expertise Spark et PySpark
  • Maîtrise SQL
  • Connaissances Cloudera/CDP/Hadoop
  • Bonne maîtrise de HDFS, Hive et YARN
  • Connaissances Talend, Databricks, AWS, Cloud, Kafka, l’orchestration et les pratiques CI/CD

Responsibilities

  • Analyser et migrer les traitements vers Apache Spark
  • Développer des pipelines ETL/ELT en PySpark
  • Optimiser les requêtes SQL et les performances
  • Intervenir sur les environnements Cloudera/Hadoop, Hive et Impala
  • Participer aux phases de tests et de validation
  • Rédiger la documentation technique
  • Accompagner les mises en production
  • Assurer l’optimisation continue des performances

Skills

Apache Spark
PySpark
SQL
Data migration
ETL/ELT design

Tools

Cloudera/CDP/Hadoop
Hive
HDFS
YARN
Databricks
Talend
AWS
Kafka
CI/CD
Orchestration
Impala

Job description

SII Ouest recherche un ingénieur Data expérimenté pour migrer des flux existants vers une plateforme Spark et concevoir des pipelines ETL/ELT en PySpark. Vous optimiserez les traitements et les requêtes SQL tout en intervenant sur les environnements Cloudera/Hadoop, Hive et Impala.

Vous participerez aux tests, à la validation, à la documentation et à l’accompagnement des mises en production, avec jusqu’à 50% de télétravail possible.

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Data Engineer / Développeur Big Data (F/H)
Data Engineer / Développeur Big Data (F/H)

SII Group • Le Mans

Hybrid
EUR 55,000 - 75,000
Formation technique
Évolution de carrière
Déjeuners techniques
+2
Data Engineer - Big Data, Spark & Télétravail Possible
Data Engineer - Big Data, Spark & Télétravail Possible

Extia Group • Sèvres

Hybrid
EUR 65,000 - 90,000
Télétravail possible
Frais de transports pris en charge
Tickets restaurant
+4
Data Engineer Senior - PySpark
Data Engineer Senior - PySpark

VISIAN • Nantes

On-site
EUR 60,000 - 85,000
Cloud Data Engineer - Spark & Data Platform Expert
Cloud Data Engineer - Spark & Data Platform Expert

Mp Data • Paris

Remote
EUR 65,000 - 90,000
Ingénieur Big Data Senior - Hadoop/Spark
Ingénieur Big Data Senior - Hadoop/Spark

Extia • Nantes

Hybrid
Confidential
Télétravail possible
Tickets restaurant
Mutuelle haut de gamme
+2
Remote Data Engineer - Spark, Scala & Snowflake
Remote Data Engineer - Spark, Scala & Snowflake

Groupe Open SA • Levallois-Perret

Hybrid
EUR 45,000 - 65,000
Data Engineer — Spark & Java Data Pipelines
Data Engineer — Spark & Java Data Pipelines

AIS • Toulouse

On-site
EUR 50,000 - 75,000
Data Engineer – Pipelines, Spark & Cloud Platform
Data Engineer – Pipelines, Spark & Cloud Platform

Diametral • Lyon

On-site
EUR 60,000 - 90,000
Data Engineer spark scala
Data Engineer spark scala

Groupe Open SA • Levallois-Perret

Hybrid
EUR 45,000 - 65,000
Data Engineer Java / Spark (Niveau 2)
Data Engineer Java / Spark (Niveau 2)

Gec Groupe • France

Remote
EUR 50,000 - 70,000