Data Engineer: Delta Lake Pipelines & PySpark Expert

IVY Partners; Genf; Vor Ort; CHF 120.000 - 160.000; Vollzeit

Zusammenfassung

Ivy Partners est une société de conseil suisse expérimentée dans les défis stratégiques, technologiques et organisationnels. Nous favorisons l’épanouissement personnel et professionnel de nos collaborateurs et proposons des perspectives d’évolution concrètes.

Vous participerez au déploiement de pipelines CI/CD sur Azure DevOps, à la modélisation de nouveaux ensembles de données et à la validation de leur qualité. Une connaissance du secteur bancaire privé est un atout majeur.

Qualifikationen

• Maîtrise SQL et PySpark pour concevoir et déboguer des pipelines de données.
• Expérience pratique avec Unity Catalog, Delta Lake et Change Data Feed de Databricks.
• Connaissance du domaine des données en banque privée; qualité et gouvernance des données.
• Capacité à modéliser de nouveaux ensembles de données et à rédiger des configurations TOML.
• Compréhension des pipelines CI/CD sur Azure DevOps et débogage des échecs.

Aufgaben

• Élargir la couverture des ensembles de données de la plateforme DeltaFlow en intégrant de nouveaux ensembles selon les configurations établies.
• Concevoir de nouveaux ensembles de données.
• Rédiger les configurations TOML spécifiques à chaque ensemble de données.
• Implémenter les fichiers de transformation SQL pour chaque ensemble de données.
• Valider les ensembles selon les critères de qualité et de quarantaine.

Kenntnisse

SQL

PySpark

Banque privée connaissance

Tools

Unity Catalog

Delta Lake

Change Data Feed Databricks

Azure DevOps

Jobbeschreibung

Ivy Partners est une société de conseil suisse expérimentée dans les défis stratégiques, technologiques et organisationnels. Nous favorisons l’épanouissement personnel et professionnel de nos collaborateurs et proposons des perspectives d’évolution concrètes.

Vous participerez au déploiement de pipelines CI/CD sur Azure DevOps, à la modélisation de nouveaux ensembles de données et à la validation de leur qualité. Une connaissance du secteur bancaire privé est un atout majeur.