Lead Data Engineer – Spark, ETL, Remote

Groupe Sii; Le Mans; Hybride; EUR 85 000 - 115 000; Plein temps

Avantages offerts par ce poste

Meal vouchers

Très bon CSE

Télétravail jusqu'à 50%

Résumé du poste

Groupe SII Ouest recrute un Tech Lead Data Engineer pour moderniser la plateforme DataHub de Covéa et piloter la migration des flux Talend vers Spark. Vous concevrez et industrialiserez des traitements distribués et optimiserez les performances sur Parquet dans un cadre Cloudera.

Le poste exige au moins 7 ans d’expérience en Data Engineering et 2 ans en leadership technique, avec une maîtrise de Spark et des environnements Linux/Agile. Télétravail partiel possible.

Qualifications

• 7 ans d’expérience minimum en Data Engineering.
• 2 ans d’expérience minimum en Tech Lead.
• Maîtrise de Spark avec Scala et/ou PySpark.
• Excellentes compétences en SQL.
• Bonne connaissance de l’environnement Cloudera: Hadoop, Hive, Impala, YARN, Oozie ou Airflow.
• Expérience des architectures ETL/ELT distribuées et optimisation des performances.
• Maîtrise de Git, des pratiques CI/CD, des tests automatisés et du monitoring.
• Bonne connaissance Linux, Shell et méthodes Agile.
• Une expérience sur Talend, Databricks ou AWS constitue un atout supplémentaire.

Responsabilités

• Piloter techniquement la migration des flux Talend vers Spark.
• Définir les choix d’architecture et les bonnes pratiques Data.
• Concevoir et développer des traitements ETL/ELT distribués à forte volumétrie.
• Optimiser les performances des traitements Spark et les formats Parquet.
• Intervenir sur l’écosystème Cloudera et les composants Hadoop.
• Mettre en place les chaînes d’intégration et de déploiement continu.
• Garantir la qualité via tests automatisés, monitoring et revues de code.
• Encadrer techniquement les développeurs Data et contribuer aux cérémonies Agile.
• Collaborer étroitement avec les équipes métier et les parties prenantes du programme.

Connaissances

Data engineering

Tech Lead

Spark (Scala/PySpark)

SQL

Cloudera / Hadoop

ETL/ELT distributed

Git & CI/CD

Linux & Shell

Agile

Talend / Databricks / AWS (atout)

Outils

Git

Jenkins

CI/CD

Airflow

Hadoop

Hive

Oozie

Databricks

Talend

AWS

Description du poste

Groupe SII Ouest recrute un Tech Lead Data Engineer pour moderniser la plateforme DataHub de Covéa et piloter la migration des flux Talend vers Spark. Vous concevrez et industrialiserez des traitements distribués et optimiserez les performances sur Parquet dans un cadre Cloudera.

Le poste exige au moins 7 ans d’expérience en Data Engineering et 2 ans en leadership technique, avec une maîtrise de Spark et des environnements Linux/Agile. Télétravail partiel possible.