Spark Data Engineer | PySpark & Big Data (Remote)

Groupe Sii; Le Mans; Híbrido; EUR 55.000 - 75.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

Formation technique

Évolution de carrière

Communauté de passionnés

Ambiance conviviale

Télétravail jusqu’à 50%

Descripción de la vacante

Groupe SII Ouest recherche un spécialiste Data pour migrer des traitements vers Apache Spark, développer des pipelines ETL/ELT en PySpark et optimiser les requêtes SQL dans un contexte Big Data.

Vous interviendrez sur Cloudera/Hadoop, Hive et Impala, participerez aux tests et à la mise en production, rédigerez la documentation technique et contribuerez à l’amélioration continue des performances.

Formación

• Expérience minimale de 5 ans en Data et analyses de flux
• Expertise Apache Spark et PySpark
• Maîtrise SQL et optimisation des requêtes
• Connaissances Cloudera/CDP/Hadoop, Hive et YARN
• Bonne connaissance de HDFS et outils Data (Talend, Databricks, AWS, Kafka, CI/CD)

Responsabilidades

• Analyser et migrer les traitements vers Spark
• Développer des pipelines ETL/ELT en PySpark
• optimiser les requêtes SQL et les performances
• Intervenir sur Cloudera/Hadoop, Hive et Impala
• Participer aux tests et à la validation
• Rédiger la documentation technique
• Accompagner les mises en production
• Assurer l’optimisation continue des performances

Conocimientos

Spark

PySpark

SQL

HDFS

YARN

Hive

Databricks

Herramientas

Apache Spark

Hadoop

Cloudera/CDP

Talend

Databricks

AWS

Kafka

CI/CD

Descripción del empleo

Groupe SII Ouest recherche un spécialiste Data pour migrer des traitements vers Apache Spark, développer des pipelines ETL/ELT en PySpark et optimiser les requêtes SQL dans un contexte Big Data.

Vous interviendrez sur Cloudera/Hadoop, Hive et Impala, participerez aux tests et à la mise en production, rédigerez la documentation technique et contribuerez à l’amélioration continue des performances.