Data Engineer / Développeur Big Data (F/H)

SII Group; Le Mans; Hybride; EUR 55 000 - 75 000; Plein temps

Avantages offerts par ce poste

Formation technique

Évolution de carrière

Déjeuners techniques

Ambiance conviviale

Jusqu’à 50% télétravail

Résumé du poste

SII Ouest recherche un ingénieur Data expérimenté pour migrer des flux existants vers une plateforme Spark et concevoir des pipelines ETL/ELT en PySpark. Vous optimiserez les traitements et les requêtes SQL tout en intervenant sur les environnements Cloudera/Hadoop, Hive et Impala.

Vous participerez aux tests, à la validation, à la documentation et à l’accompagnement des mises en production, avec jusqu’à 50% de télétravail possible.

Qualifications

• Minimum 5 ans d'expérience en environnement Data
• Expertise Spark et PySpark
• Maîtrise SQL
• Connaissances Cloudera/CDP/Hadoop
• Bonne maîtrise de HDFS, Hive et YARN
• Connaissances Talend, Databricks, AWS, Cloud, Kafka, l’orchestration et les pratiques CI/CD

Responsabilités

• Analyser et migrer les traitements vers Apache Spark
• Développer des pipelines ETL/ELT en PySpark
• Optimiser les requêtes SQL et les performances
• Intervenir sur les environnements Cloudera/Hadoop, Hive et Impala
• Participer aux phases de tests et de validation
• Rédiger la documentation technique
• Accompagner les mises en production
• Assurer l’optimisation continue des performances

Connaissances

Apache Spark

PySpark

SQL

Data migration

ETL/ELT design

Outils

Cloudera/CDP/Hadoop

Hive

HDFS

YARN

Databricks

Talend

AWS

Kafka

CI/CD

Orchestration

Impala

Description du poste

Dans le cadre d’un projet de migration de flux de données existants vers une plateforme Data moderne basée sur Spark et les technologies Big Data, vous intervenez sur l’analyse, la conception et l’optimisation des traitements de données.

• Analyser et migrer des traitements vers Apache Spark
• Développer des pipelines ETL/ELT en PySpark
• Optimiser les requêtes SQL et les performances des traitements
• Intervenir sur les environnements Cloudera/Hadoop, Hive et Impala
• Participer aux phases de tests et de validation
• Rédiger la documentation technique
• Accompagner les mises en production
• Assurer l’optimisation continue des performances

• Expérience professionnelle de 5 ans minimum en environnement Data
• Expertise Apache Spark et PySpark
• Maîtrise de SQL
• Solides connaissances Cloudera/CDP/Hadoop
• Bonne maîtrise de HDFS, Hive et YARN
• Connaissances appréciées sur Talend, Databricks, AWS, Cloud, Kafka, l’orchestration et les pratiques CI/CD

Rejoindre SII Ouest, c’est aussi:

• Un service formation au top (formations techniques, développement personnel, gestion d’équipe, management, …)
• Des possibilités d’évolution pour votre carrière (devenir Lead Dev, Chef de Projet, passerelles entre les métiers techniques et fonctionnels, …)
• Une vraie communauté de passionnés (participation aux événements techniques tels que le Breizh Camp, l’Agile Tour; possibilité de partager ses connaissances à travers les Déjeuners Techniques, …)
• Une ambiance conviviale (Petit déjeuner à l’agence tous les vendredi matins, Afterworks, Soirées d’Agence, …)
• Jusqu’à 50% de télétravail (on privilégié l’équilibre vie pro/vie perso tout en gardant le lien avec nos collaborateurs!)

Chez SII Ouest, nous souhaitons un process de recrutement simple et clair:

• Un premier échange téléphonique avec un(e) RH
• Un entretien avec un(e) RH + un(e) Business Manager
• Un échange technique avec un Expert Technique