Data Engineer Scala/Apark H/F - Boulogne

Webnet; France; Hybride; EUR 70 000 - 100 000; Plein temps

Résumé du poste

Webnet recherche un Big Data Engineer confirmé pour concevoir et industrialiser des traitements de données à grande échelle dans les domaines Risque, Finance et Reporting réglementaire.

Vous développerez des pipelines batch, alimenterez datamarts et systèmes de reporting, et assurerez la qualité et la conformité des données, tout en travaillant avec les équipes Agile sur des architectures Spark/Hadoop et CI/CD.

Qualifications

• Expérience d’au moins 8 ans en développement Big Data Spark et Scala.
• Autonomie avec les Architectes, Tech Leads et équipes de développement.
• Contexte d’un environnement à forte volumétrie et hautes performances.

Responsabilités

• Conception et développement de pipelines de données batch.
• Alimentation de datamarts Risque et Finance et de systèmes de reporting financiers et risques.
• Intégration de données issues de Core Banking et bases relationnelles, fichiers partenaires et systèmes internes.
• Mise en place de contrôles de qualité, cohérence et complétude des données.
• Optimisation des traitements pour fortes volumétries (Spark, partitionnement, performance).
• Industrialisation et déploiement via CI/CD, orchestration et monitoring.
• Réalisation des tests unitaires et des TNR.
• Documentation technique et mise à jour des référentiels de données.
• Respect des contraintes RGPD et conformité réglementaire et participation aux cérémonies Agile.

Connaissances

Big Data

Spark

Scala

Hadoop

Airflow

SQL avancé

Bases relationnelles

NoSQL

CI/CD

DevOps

QA & tests

RGPD

Outils

Hive

HDFS

SQL

CI/CD outils

DevOps outils

Description du poste

Dans le cadre de projets à forte volumétrie autour des domaines Risque, Finance et Reporting réglementaire, chez l'un de nos clients grands comptes, nous recherchons un Big Data Engineer confirmé pour intervenir sur la conception, le développement et l’industrialisation de traitements de données à grande échelle.

Vous aurez pour mission missions

• La conception et le développement de pipelines de données batch.
• L’alimentation de datamarts réglementaires Risque et Finance.
• L’alimentation des systèmes de reporting financiers et risques.
• L’intégration de données issues de sources variées : Core Banking, bases relationnelles, fichiers partenaires, systèmes internes, etc.
• La mise en place de contrôles de qualité, cohérence et complétude des données.
• L’optimisation des traitements sur de fortes volumétries : partitionnement, gestion des ressources, performances Spark, optimisation des requêtes.
• L’industrialisation et le déploiement des traitements via CI/CD, orchestration et monitoring.
• La réalisation des tests unitaires et des TNR.
• La documentation technique et la mise à jour des référentiels de données.
• La prise en compte des contraintes de sécurité, confidentialité et conformité réglementaire : RGPD, classification, anonymisation des données.
• La participation aux cérémonies Agile et aux réunions projets.
• La contribution aux activités de Run quotidien et mensuel.

Environnement technique

Scala – Spark – Hadoop – HDFS – Hive – Airflow – SQL avancé – Bases relationnelles – NoSQL – CI/CD – DevOps

Une très bonne maîtrise des problématiques Big Data, volumétrie et optimisation des performances est indispensable.

De formation supérieure, vous disposez d’une expérience d'au moins 8 ans endéveloppement Big Data Spark, Scala, idéalement dans des environnements à forte volumétrie.Vous êtes capable de travailler de manière autonome avec les architectes, Tech Leads, équipes de développement et chefs de projets, tout en respectant les normes de développement et les bonnes pratiques définies par l’équipe.