Tech Lead Data Engineer (F/H)

SII Group; Le Mans; Hybride; EUR 80 000 - 120 000; Plein temps

Avantages offerts par ce poste

Télétravail partiel (50%)

Formation et développement technique

Événements techniques et déjeuners

Résumé du poste

SII Ouest recherche un Tech Lead Data Engineer pour moderniser la plateforme DataHub de Covéa et piloter la migration des flux Talend vers Spark. Vous concevrez l’industrialisation et optimiserez des traitements distribués en environnement Cloudera.

Vous accompagnerez l’équipe dans les choix d’architecture, les bonnes pratiques Data, et assurerez le monitoring et les tests automatiques, tout en encadrant les développeurs et en travaillant avec les métiers.

Qualifications

• Expérience professionnelle de 7 ans minimum en Data Engineering.
• Expérience de 2 ans minimum en tant que Tech Lead.
• Maîtrise de Spark avec Scala et/ou PySpark.
• Excellentes compétences en SQL.
• Bonne connaissance de l'environnement Cloudera : Hadoop, Hive, Impala, YARN, Oozie ou Airflow.
• Expérience des architectures ETL/ELT distribuées et de l'optimisation de performances.
• Maîtrise de Git, CI/CD, tests automatisés et monitoring.
• Bonne connaissance des environnements Linux, Shell et des méthodes Agile.
• Une expérience sur Talend, Databricks ou AWS est un atout supplémentaire.

Responsabilités

• Piloter techniquement la migration des flux Talend vers Spark.
• Définir les choix d'architecture et les bonnes pratiques de développement Data.
• Concevoir et développer des traitements ETL/ELT distribués à forte volumétrie.
• Optimiser les performances des traitements Spark et des formats Parquet.
• Intervenir sur l’écosystème Cloudera et les composants Hadoop.
• Mettre en place les chaînes d’intégration et de déploiement continu.
• Garantir la qualité des livrables via les tests automatisés, le monitoring et les revues de code.
• Encadrer techniquement les développeurs Data et contribuer aux cérémonies Agile.
• Assurer une collaboration étroite avec les équipes métier et les parties prenantes du programme.

Connaissances

Spark (Scala/PySpark)

SQL

Hadoop/Ecosystème Cloudera

Git/CI-CD/Monitoring

Linux/Shell/Agile

Data Engineering 7+ ans

Tech Lead 2+ ans

Outils

Talend

Databricks

AWS

Description du poste

Dans le cadre de la modernisation de la plateforme DataHub de Covéa, vous intervenez sur un programme stratégique de migration des flux Talend vers Apache Spark. En tant que Tech Lead Data Engineer, vous accompagnez l'équipe dans la conception, l'industrialisation et l'optimisation des traitements de données distribués.

• Piloter techniquement la migration des flux Talend vers Spark.

• Définir les choix d'architecture et les bonnes pratiques de développement Data.

• Concevoir et développer des traitements ETL/ELT distribués à forte volumétrie.

• Optimiser les performances des traitements Spark et des formats de stockage Parquet.

• Intervenir sur l'écosystème Cloudera et les composants Hadoop associés.

• Mettre en place les chaînes d'intégration et de déploiement continu.

• Garantir la qualité des livrables via les tests automatisés, le monitoring et les revues de code.

• Encadrer techniquement les développeurs Data et contribuer aux cérémonies Agile.

• Assurer une collaboration étroite avec les équipes métier et les parties prenantes du programme.

• Expérience professionnelle de 7 ans minimum en Data Engineering.

• Expérience de 2 ans minimum en tant que Tech Lead.

• Maîtrise de Spark avec Scala et/ou PySpark.

• Excellentes compétences en SQL.

• Bonne connaissance de l'environnement Cloudera : Hadoop, Hive, Impala, YARN, Oozie ou Airflow.

• Expérience des architectures ETL/ELT distribuées et de l'optimisation de performances.

• Maîtrise de Git, des pratiques CI/CD, des tests automatisés et du monitoring.

• Bonne connaissance des environnements Linux, Shell et des méthodes Agile.

• Une expérience sur Talend, Databricks ou AWS constitue un atout supplémentaire.

Rejoindre SII Ouest, c’est aussi:

• Un service formation au top (formations techniques, développement personnel, gestion d’équipe, management, …)

• Des possibilités d’évolution pour votre carrière (devenir Lead Dev, Chef de Projet, passerelles entre les métiers techniques et fonctionnels, …)

• Une vraie communauté de passionnés (participation aux événements techniques tels que le Breizh Camp, l’Agile Tour; possibilité de partager ses connaissances à travers les Déjeuners Techniques, …)

• Une ambiance conviviale (Petit déjeuner à l’agence tous les vendredi matins, Afterworks, Soirées d’Agence, …)

• Jusqu’à 50% de télétravail (on privilégie l’équilibre vie pro/vie perso tout en gardant le lien avec nos collaborateurs!)

Chez SII Ouest, nous souhaitons un process de recrutement simple et clair:

• Un premier échange téléphonique avec un(e) RH

• Un entretien avec un(e) RH + un(e) Business Manager

• Un échange technique avec un Expert Technique

#LI-CM8