Data Platform MS Fabric Databricks

Talan; Genf; On-site; CHF 120,000 - 170,000; Full time

Job summary

Talan recherche un Data Engineer expérimenté pour faire évoluer une plateforme Data dans un contexte bancaire privé en Suisse. Vous déployez des flux de données avec PySpark et SQL sur Databricks, en respectant les standards et le CI/CD existants.

Vous contribuerez à la modélisation dimensionnelle, à la gestion de la qualité et à l’intégration de datasets via TOML, avec une forte sensibilité au domaine bancaire et à la sécurité.

Qualifications

• - Expérience significative avec Databricks et PySpark dans un cadre bancaire.
• - Conception et modélisation de données (dimensions, faits, SCD1/SCD2, snapshots).
• - Maîtrise de SQL avancé et des patterns CI/CD avec Azure DevOps.
• - Connaissance de Unity Catalog et Change Data Feed.
• - Capacité à déployer des flux de données conformes aux règles de qualité.

Responsibilities

• Intégrer de nouveaux datasets dans la plateforme Data existante et configurer les flux selon les standards.
• Développer et adapter les traitements avec PySpark et SQL.
• Définir et valider la modélisation des données et leur granularité.
• Configurer les datasets via TOML et déployer les évolutions via CI/CD (Azure DevOps).
• Diagnostiquer et corriger les anomalies lors de l’intégration des sources bancaires.
• Comprendre le Core Banking System pour assurer une intégration fiable.

Skills

PySpark

SQL

Databricks

Unity Catalog

Change Data Feed

Azure DevOps

Data modeling

Core Banking data understanding

Tools

Databricks

Microsoft Fabric

TOML

Terraform

Databricks Asset Bundles

Job description

Talan est un groupe international de conseil et d’expertises technologiques, qui accompagne et accélère la transformation digitale de ses clients par les leviers de la technologie, de la data et de l’innovation.

Depuis plus de 20 ans, Talan conseille et accompagne les entreprises et les institutions publiques dans la définition et la mise en œuvre de leurs projets de transformation et d'innovation en Suisse et à l'international.

Présent sur 5 continents dans21pays, le Groupe, certifié Great Place To Work, compte plus de 7000 collaborateurs.

Doté d'un Centre de recherche et d'innovation, Talan met l'innovation au cœur de son développement et intervient dans les domaines des mutations technologiques telles que l'Intelligence Artificielle, la Data Intelligence, la Blockchain, pour servir la croissance des grands groupes et des ETI dans une démarche engagée et responsable.

En plaçant la “Positive Innovation” au cœur de sa stratégie, Talan est convaincu que c’est en étant au service de l’humain que la technologie amplifie son impact sur la société tout entière.

Description du poste

Contexte de la mission

Dans le cadre de l’évolution d’une plateforme Data au sein d’un environnement bancaire, nous recherchons un Data Engineer expérimenté sur Databricks et Microsoft Fabric.

La mission consiste principalement à étendre la couverture fonctionnelle d’une plateforme Data existante en intégrant de nouveaux datasets selon des patterns et standards déjà définis.

L’architecture et le framework étant déjà en place, l’objectif n’est pas de redéfinir la solution, mais de déployer de nouveaux flux de données en respectant les modèles, règles de qualité et processus CI/CD existants.

Missions principales

• Intégrer de nouveaux datasets au sein de la plateforme Data existante.
• Configurer les nouveaux flux selon les patterns et standards établis.
• Développer et adapter les traitements avec PySpark et SQL.
• Définir correctement la modélisation des nouvelles données : dimensions, faits, granularité, clés métiers, SCD1/SCD2, snapshots.
• Configurer les datasets à travers une approche déclarative, notamment via TOML.
• Valider les données selon les règles de qualité et contrats existants.
• Analyser et corriger les anomalies rencontrées lors de l'intégration des nouvelles sources.
• Déployer les évolutions au travers des pipelines CI/CD Azure DevOps.
• Diagnostiquer et résoudre les échecs liés aux quality gates et aux différentes étapes de promotion.
• Comprendre fonctionnellement les données bancaires sources afin de garantir leur bonne intégration dans la plateforme.
• Solide expérience Databricks
• Bonne connaissance de Unity Catalog
• Connaissance de Change Data Feed
• Très bon niveau en PySpark
• Très bon niveau en SQL

Capacité à déterminer pour chaque nouveau dataset :

• logique de snapshot ;
• granularité ;
• clés métiers naturelles ;
• règles de transformation et de validation.
• Bonne maîtrise d'Azure DevOps
• Expérience de pipelines CI/CD existants
• Compréhension des mécanismes de gates et de promotion par branches
• Capacité à diagnostiquer les erreurs de déploiement
• Une exposition à Databricks Asset Bundles et/ou Terraform constitue un avantage.

Connaissance bancaire

Une expérience du secteur bancaire, idéalement en Private Banking / Wealth Management, est indispensable.

Bonne compréhension de données telles que :

• hiérarchies clients.

La capacité à comprendre fonctionnellement des données provenant d'un Core Banking System est particulièrement importante.

Compétences appréciées

• Expérience avec TOML ou des frameworks Data déclaratifs/config-driven
• Expérience des patterns Auto CDC
• Connaissance de Microsoft Fabric
• Expérience de la modélisation dimensionnelle
• Connaissance de la méthodologie Kimball

En cliquant sur le lien ci-dessus ou sur tout autre lien externe figurant dans cette publication, vous quittez ce site et accédez à un site web tiers dont les conditions d'utilisation et la politique de confidentialité s'appliquent.