Tech Lead Data Engineer | Spark & ETL Architect

Groupe Sii; Le Mans; Hybrid; EUR 90,000 - 130,000; Full time

Benefits offered by this job

Formation technique

Évolution de carrière

Communauté technique

Ambiance conviviale

Télétravail partiel

Job summary

SII Ouest recherche un Tech Lead Data Engineer pour accompagner la migration des flux Talend vers Spark sur le DataHub Covéa. Vous pilotez l'architecture et guidez l'équipe dans les traitements ETL/ELT distribués.

Vous combinez Spark (Scala/PySpark), SQL et les environnements Cloudera/Hadoop, avec Git, CI/CD et monitoring pour assurer la qualité et la performance.

Ce poste offre des formations, des évolutions de carrière et jusqu'à 50% de télétravail.

Qualifications

• 7 ans d'expérience minimum en Data Engineering.
• 2 ans d'expérience minimum en tant que Tech Lead.
• Maîtrise de Spark avec Scala et/ou PySpark.
• Excellentes compétences en SQL.
• Bonne connaissance de l'environnement Cloudera : Hadoop, Hive, Impala, YARN, Oozie ou Airflow.
• Expérience architecture ETL/ELT distribuées et optimisation des performances.
• Maîtrise Git, CI/CD, tests automatisés et monitoring.
• Bonne connaissance Linux/Shell et méthodes Agile.
• Expérience sur Talend, Databricks ou AWS est un atout.

Responsibilities

• Piloter techniquement la migration des flux Talend vers Spark.
• Définir les choix d'architecture et les bonnes pratiques Data.
• Concevoir et développer des traitements ETL/ELT distribués à forte volumétrie.
• Optimiser les performances des traitements Spark et des formats Parquet.
• Intervenir sur l'écosystème Cloudera et les composants Hadoop.
• Mettre en place les chaînes d'intégration et de déploiement continu.
• Garantir la qualité via les tests automatisés, le monitoring et les revues de code.
• Encadrer techniquement les développeurs Data et contribuer aux cérémonies Agile.
• Collaborer étroitement avec les équipes métier et les parties prenantes du programme.

Skills

Spark

Scala

PySpark

SQL

Git

CI/CD

Shell/Linux

Lead technique

Tools

Cloudera

Hadoop

Hive

Impala

YARN

Oozie

Airflow

Talend

Databricks

AWS

Job description

SII Ouest recherche un Tech Lead Data Engineer pour accompagner la migration des flux Talend vers Spark sur le DataHub Covéa. Vous pilotez l'architecture et guidez l'équipe dans les traitements ETL/ELT distribués.

Vous combinez Spark (Scala/PySpark), SQL et les environnements Cloudera/Hadoop, avec Git, CI/CD et monitoring pour assurer la qualité et la performance.

Ce poste offre des formations, des évolutions de carrière et jusqu'à 50% de télétravail.