Senior Data Engineer - Spark/PySpark ETL (Remote)

Groupe Sii; Le Mans; Hybride; EUR 65 000 - 90 000; Plein temps

Avantages offerts par ce poste

Télétravail jusqu'à 50%

Meal vouchers

Congés payés au-delà du minimum légal

Ambiance conviviale

Résumé du poste

Groupe SII Ouest recherche un Data Engineer expert pour migrer et optimiser des traitements vers Spark/PySpark, en environnement Cloudera/Hadoop/Hive/Impala, avec maîtrise SQL et connaissance des outils Cloud.

Vous analyserez, concevrez et déployerez des pipelines ETL/ELT, participerez aux tests et à la validation, rédigerez la documentation technique et accompagnerez les mises en production, en bénéficiant jusqu'à 50% de télétravail.

Qualifications

• Expérience professionnelle de 5 ans minimum en environnement Data.
• Expertise Apache Spark et PySpark.
• Maîtrise de SQL.
• Solides connaissances Cloudera/CDP/Hadoop.
• Bonne maîtrise de HDFS, Hive et YARN.
• Connaissances appréciées sur Talend, Databricks, AWS, Cloud, Kafka, l'orchestration et les pratiques CI/CD

Responsabilités

• Analyser et migrer des traitements vers Apache Spark.
• Développer des pipelines ETL/ELT en PySpark.
• Optimiser les requêtes SQL et les performances des traitements.
• Intervenir sur Cloudera/Hadoop, Hive et Impala.
• Participer aux phases de tests et de validation.
• Rédiger la documentation technique.
• Accompagner les mises en production.
• Assurer l'optimisation continue des performances

Connaissances

Spark

PySpark

SQL

Cloudera/CDP/Hadoop

HDFS

Hive

YARN

Talend

Databricks

AWS

Kafka

CI/CD

Cloud

Outils

Cloudera/CDP

Hadoop

Hive

Databricks

AWS

Kafka

CI/CD

Description du poste

Groupe SII Ouest recherche un Data Engineer expert pour migrer et optimiser des traitements vers Spark/PySpark, en environnement Cloudera/Hadoop/Hive/Impala, avec maîtrise SQL et connaissance des outils Cloud.

Vous analyserez, concevrez et déployerez des pipelines ETL/ELT, participerez aux tests et à la validation, rédigerez la documentation technique et accompagnerez les mises en production, en bénéficiant jusqu'à 50% de télétravail.