Tech Lead Data Engineer - Spark ETL Leader (Remote)

SII Group; Le Mans; Hybride; EUR 80 000 - 120 000; Plein temps

Avantages offerts par ce poste

Télétravail partiel (50%)

Formation et développement technique

Événements techniques et déjeuners

Résumé du poste

SII Ouest recherche un Tech Lead Data Engineer pour moderniser la plateforme DataHub de Covéa et piloter la migration des flux Talend vers Spark. Vous concevrez l’industrialisation et optimiserez des traitements distribués en environnement Cloudera.

Vous accompagnerez l’équipe dans les choix d’architecture, les bonnes pratiques Data, et assurerez le monitoring et les tests automatiques, tout en encadrant les développeurs et en travaillant avec les métiers.

Qualifications

• Expérience professionnelle de 7 ans minimum en Data Engineering.
• Expérience de 2 ans minimum en tant que Tech Lead.
• Maîtrise de Spark avec Scala et/ou PySpark.
• Excellentes compétences en SQL.
• Bonne connaissance de l'environnement Cloudera : Hadoop, Hive, Impala, YARN, Oozie ou Airflow.
• Expérience des architectures ETL/ELT distribuées et de l'optimisation de performances.
• Maîtrise de Git, CI/CD, tests automatisés et monitoring.
• Bonne connaissance des environnements Linux, Shell et des méthodes Agile.
• Une expérience sur Talend, Databricks ou AWS est un atout supplémentaire.

Responsabilités

• Piloter techniquement la migration des flux Talend vers Spark.
• Définir les choix d'architecture et les bonnes pratiques de développement Data.
• Concevoir et développer des traitements ETL/ELT distribués à forte volumétrie.
• Optimiser les performances des traitements Spark et des formats Parquet.
• Intervenir sur l’écosystème Cloudera et les composants Hadoop.
• Mettre en place les chaînes d’intégration et de déploiement continu.
• Garantir la qualité des livrables via les tests automatisés, le monitoring et les revues de code.
• Encadrer techniquement les développeurs Data et contribuer aux cérémonies Agile.
• Assurer une collaboration étroite avec les équipes métier et les parties prenantes du programme.

Connaissances

Spark (Scala/PySpark)

SQL

Hadoop/Ecosystème Cloudera

Git/CI-CD/Monitoring

Linux/Shell/Agile

Data Engineering 7+ ans

Tech Lead 2+ ans

Outils

Talend

Databricks

AWS

Description du poste

SII Ouest recherche un Tech Lead Data Engineer pour moderniser la plateforme DataHub de Covéa et piloter la migration des flux Talend vers Spark. Vous concevrez l’industrialisation et optimiserez des traitements distribués en environnement Cloudera.

Vous accompagnerez l’équipe dans les choix d’architecture, les bonnes pratiques Data, et assurerez le monitoring et les tests automatiques, tout en encadrant les développeurs et en travaillant avec les métiers.