Data Engineer (Databricks)

IVY Partners; Genf; Vor Ort; CHF 120.000 - 160.000; Vollzeit

Zusammenfassung

Ivy Partners est une société de conseil suisse expérimentée dans les défis stratégiques, technologiques et organisationnels. Nous favorisons l’épanouissement personnel et professionnel de nos collaborateurs et proposons des perspectives d’évolution concrètes.

Vous participerez au déploiement de pipelines CI/CD sur Azure DevOps, à la modélisation de nouveaux ensembles de données et à la validation de leur qualité. Une connaissance du secteur bancaire privé est un atout majeur.

Qualifikationen

• Maîtrise SQL et PySpark pour concevoir et déboguer des pipelines de données.
• Expérience pratique avec Unity Catalog, Delta Lake et Change Data Feed de Databricks.
• Connaissance du domaine des données en banque privée; qualité et gouvernance des données.
• Capacité à modéliser de nouveaux ensembles de données et à rédiger des configurations TOML.
• Compréhension des pipelines CI/CD sur Azure DevOps et débogage des échecs.

Aufgaben

• Élargir la couverture des ensembles de données de la plateforme DeltaFlow en intégrant de nouveaux ensembles selon les configurations établies.
• Concevoir de nouveaux ensembles de données.
• Rédiger les configurations TOML spécifiques à chaque ensemble de données.
• Implémenter les fichiers de transformation SQL pour chaque ensemble de données.
• Valider les ensembles selon les critères de qualité et de quarantaine.

Kenntnisse

SQL

PySpark

Banque privée connaissance

Tools

Unity Catalog

Delta Lake

Change Data Feed Databricks

Azure DevOps

Jobbeschreibung

Ivy Partners est une société de conseil suisse qui accompagne les entreprises dans leurs défis stratégiques, technologiques et organisationnels.

Nous avons à cœur d’offrir à nos collaborateurs une carrière qui favorise leur épanouissement personnel et professionnel. Nous les accompagnons dans leur montée en compétences et leur ouvrons de réelles perspectives d’évolution.

• Étendre la couverture des ensembles de données de la plateforme DeltaFlow en intégrant de nouveaux ensembles en utilisant les modèles de configuration établis.
• Concevoir de nouveaux ensembles de données.
• Rédiger les configurations TOML spécifiques à chaque ensemble de données.
• Implémenter les fichiers de transformation SQL pour chaque ensemble de données.
• Valider les nouveaux ensembles de données selon le modèle de qualité/quarantaine.
• Déployer les changements à travers le pipeline CI/CD Azure DevOps existant (sans déploiement manuel).
• Vérifier les nouveaux ensembles de données selon les catégories du canevas DQ (complétude, unicité, validité, intégrité référentielle, cohérence inter-niveaux).
• Documenter chaque ensemble de données intégré conformément aux conventions d'inventaire existantes.

À propos de vous

• Vous avez une solide expérience pratique de Unity Catalog, Delta Lake, Change Data Feed de Databricks.
• Vous êtes à l'aise pour rédiger et déboguer la logique des pipelines avec PySpark.
• Votre maîtrise de SQL est forte ; vous rédigerez directement la logique de transformation et les requêtes de validation.
• Vous savez travailler dans un pipeline CI/CD sur Azure DevOps existant, comprendre ses mécanismes et déboguer les échecs.
• Vous avez une connaissance fonctionnelle des données dans le domaine de la banque privée.
• Vous êtes capable de modéliser correctement un nouvel ensemble de données avant de rédiger la configuration TOML.
• L'expérience avec TOML ou d'autres modèles de pipeline configurables, ainsi qu'une exposition aux pipelines déclaratifs Kafka/Spark et une compréhension préalable des méthodologies de modélisation dimensionnelle (Kimball ou similaire) seraient des atouts.

Pourquoi rejoindre Ivy Partners ?

• Bienveillance | Soucieux de nos employés, nous leur garantissons un environnement favorable où chacun est valorisé et soutenu avec des formations et de réelles perspectives d’évolution.
• Confiance | Nous avons à cœur de bâtir des relations solides et durables avec nos clients. Travailler avec nous, c’est développer un partenariat fondé sur la confiance, le professionnalisme et la transparence à chaque instant.
• Innovation | Nous allions technologie et créativité pour mener à bien des transformations numériques à fort impact.
• Responsabilité | La collectivité est à la base de tout ce que nous entreprenons, et nous prenons cette responsabilité au sérieux en mettant tout en œuvre pour avoir un impact positif.