Data Engineer Spark & PySpark - ETL & Big Data

LesJeudis; Le Mans; Sur place; EUR 65 000 - 90 000; Plein temps

Résumé du poste

SII Ouest recherche unanalyste Data Senior pour migrer des traitements vers Apache Spark et développer des pipelines PySpark dans un cadre Big Data. Vous contribuerez à optimiser les requêtes SQL et à intervenir sur Cloudera/Hadoop, Hive et Impala, tout en participant aux tests et à la documentation technique.

Le candidat idéal possède au moins 5 ans d’expérience Data, maîtrise Spark/PySpark et SQL, et connaît Hadoop/Cloudera/CDP.

Qualifications

• Expérience professionnelle de 5 ans minimum en environnement Data.
• Expertise Apache Spark et PySpark.
• Maîtrise de SQL.
• Solides connaissances Cloudera/CDP/Hadoop, HDFS/Hive/YARN.
• Connaissances Talend, Databricks, AWS, Cloud, Kafka et CI/CD.

Responsabilités

• Analyser et migrer des traitements vers Spark.
• Développer des pipelines ETL/ELT en PySpark.
• Optimiser les requêtes SQL et les performances des traitements.
• Intervenir sur les environnements Cloudera/Hadoop, Hive et Impala.
• Participer aux phases de tests et de validation.
• Rédiger la documentation technique et accompagner les mises en production.
• Assurer l’optimisation continue des performances.

Connaissances

Apache Spark

SQL

Outils

Cloudera/CDP/Hadoop

HDFS

Hive

YARN

Talend

Databricks

AWS

Kafka

CI/CD

Description du poste

SII Ouest recherche unanalyste Data Senior pour migrer des traitements vers Apache Spark et développer des pipelines PySpark dans un cadre Big Data. Vous contribuerez à optimiser les requêtes SQL et à intervenir sur Cloudera/Hadoop, Hive et Impala, tout en participant aux tests et à la documentation technique.

Le candidat idéal possède au moins 5 ans d’expérience Data, maîtrise Spark/PySpark et SQL, et connaît Hadoop/Cloudera/CDP.