Data Engineer Scala/Apark H/F - Boulogne

Webnet; Boulogne-Billancourt; Sur place; EUR 90 000 - 120 000; Plein temps

Résumé du poste

Webnet recherche un Big Data Engineer confirmé pour concevoir et industrialiser des traitements de données à grande échelle.

Vous travaillerez sur des pipelines batch, datamarts Risque et Finance, et des systèmes de reporting financiers. Maîtrise de Spark, Scala, Hadoop, Airflow et CI/CD requise, avec respect des normes RGPD et sécurité.

Qualifications

• Expérience d’au moins 8 ans en développement Big Data et Spark/Scala.
• Maîtrise des pipelines batch et datamarts Risque/Finance.
• Connaissance RGPD et sécurité des données.
• Capacité à travailler avec les architectes et équipes projets.
• Bonne compréhension des environnements Hadoop/Hive/Airflow.

Responsabilités

• Concevoir et développer des pipelines de données batch.
• Alimenter datamarts Risque et Finance.
• Intégrer données de sources variées et assurer la qualité.
• Industrialiser via CI/CD, orchestration et monitoring.
• Travailler avec l’équipe Agile et participer au Run.

Connaissances

Big Data

Autonomie

Agilité

Conception pipelines

Outils

Scala

Spark

Hadoop

HDFS

Hive

Airflow

SQL avancé

Bases relationnelles

NoSQL

CI/CD

DevOps

Description du poste

Dans le cadre de projets à forte volumétrie autour des domaines Risque, Finance et Reporting réglementaire, chez l'un de nos clients grands comptes, nous recherchons un Big Data Engineer confirmé pour intervenir sur la conception, le développement et l’industrialisation de traitements de données à grande échelle.

Vous aurez pour mission missions

• La conception et le développement de pipelines de données batch.
• L’alimentation de datamarts réglementaires Risque et Finance.
• L’alimentation des systèmes de reporting financiers et risques.
• L’intégration de données issues de sources variées : Core Banking, bases relationnelles, fichiers partenaires, systèmes internes, etc.
• La mise en place de contrôles de qualité, cohérence et complétude des données.
• L’optimisation des traitements sur de fortes volumétries : partitionnement, gestion des ressources, performances Spark, optimisation des requêtes.
• L’industrialisation et le déploiement des traitements via CI/CD, orchestration et monitoring.
• La réalisation des tests unitaires et des TNR.
• La documentation technique et la mise à jour des référentiels de données.
• La prise en compte des contraintes de sécurité, confidentialité et conformité réglementaire : RGPD, classification, anonymisation des données.
• La participation aux cérémonies Agile et aux réunions projets.
• La contribution aux activités de Run quotidien et mensuel.

Environnement technique

Scala – Spark – Hadoop – HDFS – Hive – Airflow – SQL avancé – Bases relationnelles – NoSQL – CI/CD – DevOps

Une très bonne maîtrise des problématiques Big Data, volumétrie et optimisation des performances est indispensable.

Profil Recherché

De formation supérieure, vous disposez d’une expérience d'au moins 8 ans en développement Big Data Spark, Scala, idéalement dans des environnements à forte volumétrie.

Vous êtes capable de travailler de manière autonome avec les architectes, Tech Leads, équipes de développement et chefs de projets, tout en respectant les normes de développement et les bonnes pratiques définies par l’équipe.