Senior Big Data Engineer - Scala/Spark, CI/CD

WEBNET; Boulogne-Billancourt; Sur place; EUR 70 000 - 100 000; Plein temps

Résumé du poste

WEBNET recherche un Big Data Engineer confirmé pour concevoir et développer des pipelines de données batch à grande échelle et alimenter les datamarts Risque et Finance. Vous travaillerez sur l’intégration de données issues de Core Banking, bases relationnelles et fichiers partenaires, tout en garantissant la qualité, la sécurité et la conformité.

Vous interviendrez dans un cadre Agile, collaborerez avec les Architectes et Tech Leads, et contribuerez à l’industrialisation des traitements via

Qualifications

• Expérience d'au moins 8 ans en développement Big Data Spark, Scala.
• Conception et développement de pipelines de données batch.
• Intégration de données issues de Core Banking, bases relationnelles, fichiers partenaires, systèmes internes.
• Mise en place de contrôles de qualité, conformité RGPD.
• Participation aux cérémonies Agile et activités Run quotidiennes et mensuelles.

Responsabilités

• Concevoir et développer des pipelines de données batch à grande échelle.
• Alimenter des datamarts Risque et Finance et les systèmes de reporting.
• Intégrer des données de sources variées et assurer leur qualité et traçabilité.
• Industrialiser les traitements via CI/CD, orchestration et monitoring.
• Réaliser des tests unitaires et documenter les référentiels de données.
• Collaborer avec les Architectes, Tech Leads et équipes projets.

Connaissances

Big Data

Spark

Scala

CI/CD

Agile

Data integration

Data quality

SQL

Formation

Diplôme supérieur en informatique ou équivalent

Outils

Hadoop

HDFS

Hive

Airflow

NoSQL

Description du poste

WEBNET recherche un Big Data Engineer confirmé pour concevoir et développer des pipelines de données batch à grande échelle et alimenter les datamarts Risque et Finance. Vous travaillerez sur l’intégration de données issues de Core Banking, bases relationnelles et fichiers partenaires, tout en garantissant la qualité, la sécurité et la conformité.

Vous interviendrez dans un cadre Agile, collaborerez avec les Architectes et Tech Leads, et contribuerez à l’industrialisation des traitements via