Data Engineer Spark & Big Data – ETL/ELT Specialist

SII Group; Le Mans; Hybride; EUR 55 000 - 75 000; Plein temps

Avantages offerts par ce poste

Formation technique

Évolution de carrière

Déjeuners techniques

Ambiance conviviale

Jusqu’à 50% télétravail

Résumé du poste

SII Ouest recherche un ingénieur Data expérimenté pour migrer des flux existants vers une plateforme Spark et concevoir des pipelines ETL/ELT en PySpark. Vous optimiserez les traitements et les requêtes SQL tout en intervenant sur les environnements Cloudera/Hadoop, Hive et Impala.

Vous participerez aux tests, à la validation, à la documentation et à l’accompagnement des mises en production, avec jusqu’à 50% de télétravail possible.

Qualifications

• Minimum 5 ans d'expérience en environnement Data
• Expertise Spark et PySpark
• Maîtrise SQL
• Connaissances Cloudera/CDP/Hadoop
• Bonne maîtrise de HDFS, Hive et YARN
• Connaissances Talend, Databricks, AWS, Cloud, Kafka, l’orchestration et les pratiques CI/CD

Responsabilités

• Analyser et migrer les traitements vers Apache Spark
• Développer des pipelines ETL/ELT en PySpark
• Optimiser les requêtes SQL et les performances
• Intervenir sur les environnements Cloudera/Hadoop, Hive et Impala
• Participer aux phases de tests et de validation
• Rédiger la documentation technique
• Accompagner les mises en production
• Assurer l’optimisation continue des performances

Connaissances

Apache Spark

PySpark

SQL

Data migration

ETL/ELT design

Outils

Cloudera/CDP/Hadoop

Hive

HDFS

YARN

Databricks

Talend

AWS

Kafka

CI/CD

Orchestration

Impala

Description du poste

SII Ouest recherche un ingénieur Data expérimenté pour migrer des flux existants vers une plateforme Spark et concevoir des pipelines ETL/ELT en PySpark. Vous optimiserez les traitements et les requêtes SQL tout en intervenant sur les environnements Cloudera/Hadoop, Hive et Impala.

Vous participerez aux tests, à la validation, à la documentation et à l’accompagnement des mises en production, avec jusqu’à 50% de télétravail possible.