Senior Big Data Engineer - Spark/Scala for Risk & Finance

Webnet; Sèvres; Sur place; EUR 85 000 - 120 000; Plein temps

Résumé du poste

Webnet recherche un Big Data Engineer confirmé pour intervenir sur la conception, le développement et l’industrialisation de traitements de données à grande échelle dans le cadre de projets Risque, Finance et Reporting réglementaire.

Vous travaillerez avec les architectes et les équipes data sur des pipelines batch, l’alimentation de datamarts et le déploiement CI/CD, en privilégiant la qualité, la sécurité et la conformité RGPD.

Qualifications

• Conception et développement de pipelines de données batch.
• Intégration et qualité des données sur des datamarts Risque et Finance.
• Expérience avec des sources variées (Core Banking, bases relationnelles, fichiers partenaires).
• Mise en œuvre des contrôles de qualité, cohérence et complétude des données.
• Optimisation des traitements sur de fortes volumétries (Spark, partitionnement).
• Industrialisation via CI/CD, orchestration et monitoring.

Responsabilités

• Conception et développement de pipelines de données batch.
• Alimentation de datamarts réglementaires Risque et Finance.
• Alimentation des systèmes de reporting financiers et risques.
• Intégration de données issues de Core Banking, bases relationnelles, fichiers partenaires et systèmes internes.
• Mise en place de contrôles de qualité, cohérence et complétude des données.
• Optimisation des traitements sur de fortes volumétries: partitionnement, ressources, performances Spark.
• Industrialisation via CI/CD, orchestrations et monitoring.
• Réalisation des tests unitaires et TNR.
• Documentation technique et mise à jour des référentiels de données.
• Prise en compte des contraintes RGPD, confidentialité et conformité.
• Participation aux cérémonies Agile et réunions projets.
• Contribution au Run quotidien et mensuel.

Connaissances

Conception et développement de Pipeli​

Outils

Scala

Spark

Hadoop

HDFS

Hive

Airflow

SQL avancé

Bases relationnelles

NoSQL

CI/CD

DevOps

Description du poste

Webnet recherche un Big Data Engineer confirmé pour intervenir sur la conception, le développement et l’industrialisation de traitements de données à grande échelle dans le cadre de projets Risque, Finance et Reporting réglementaire.

Vous travaillerez avec les architectes et les équipes data sur des pipelines batch, l’alimentation de datamarts et le déploiement CI/CD, en privilégiant la qualité, la sécurité et la conformité RGPD.