Big Data Engineer - Scala/Spark for Risk & Finance

Webnet; France; Hybride; EUR 70 000 - 100 000; Plein temps

Résumé du poste

Webnet recherche un Big Data Engineer confirmé pour concevoir et industrialiser des traitements de données à grande échelle dans les domaines Risque, Finance et Reporting réglementaire.

Vous développerez des pipelines batch, alimenterez datamarts et systèmes de reporting, et assurerez la qualité et la conformité des données, tout en travaillant avec les équipes Agile sur des architectures Spark/Hadoop et CI/CD.

Qualifications

• Expérience d’au moins 8 ans en développement Big Data Spark et Scala.
• Autonomie avec les Architectes, Tech Leads et équipes de développement.
• Contexte d’un environnement à forte volumétrie et hautes performances.

Responsabilités

• Conception et développement de pipelines de données batch.
• Alimentation de datamarts Risque et Finance et de systèmes de reporting financiers et risques.
• Intégration de données issues de Core Banking et bases relationnelles, fichiers partenaires et systèmes internes.
• Mise en place de contrôles de qualité, cohérence et complétude des données.
• Optimisation des traitements pour fortes volumétries (Spark, partitionnement, performance).
• Industrialisation et déploiement via CI/CD, orchestration et monitoring.
• Réalisation des tests unitaires et des TNR.
• Documentation technique et mise à jour des référentiels de données.
• Respect des contraintes RGPD et conformité réglementaire et participation aux cérémonies Agile.

Connaissances

Big Data

Spark

Scala

Hadoop

Airflow

SQL avancé

Bases relationnelles

NoSQL

CI/CD

DevOps

QA & tests

RGPD

Outils

Hive

HDFS

SQL

CI/CD outils

DevOps outils

Description du poste

Webnet recherche un Big Data Engineer confirmé pour concevoir et industrialiser des traitements de données à grande échelle dans les domaines Risque, Finance et Reporting réglementaire.

Vous développerez des pipelines batch, alimenterez datamarts et systèmes de reporting, et assurerez la qualité et la conformité des données, tout en travaillant avec les équipes Agile sur des architectures Spark/Hadoop et CI/CD.