Data Engineer (Databricks)

IVY Partners; Genf; Vor Ort; CHF 90.000 - 120.000; Vollzeit

Zusammenfassung

Ivy Partners est une société de conseil suisse spécialisée dans les défis stratégiques, technologiques et organisationnels. Nous accompagnons nos collaborateurs dans leur montée en compétences et leurs perspectives d’évolution.

Nous recherchons un expert Data Platform pour étendre DeltaFlow, concevoir de nouveaux ensembles de données et déployer les transformations via Azure DevOps dans un contexte Banque Privée.

Qualifikationen

• Maîtrise pratique de Unity Catalog, Delta Lake et Change Data Feed de Databricks.
• Bonne maîtrise de PySpark et SQL pour écrire des transformations et des validations.
• Expérience dans un pipeline CI/CD avec Azure DevOps et débogage des échecs.

Aufgaben

• Étendre la couverture des ensembles de données de la plateforme DeltaFlow en intégrant de nouveaux ensembles en utilisant les modèles de configuration établis.
• Concevoir de nouveaux ensembles de données.
• Rédiger les configurations TOML spécifiques à chaque ensemble de données.
• Implémenter les fichiers de transformation SQL pour chaque ensemble de données.
• Valider les nouveaux ensembles de données selon le modèle de qualité/quarantaine.
• Déployer les changements à travers le pipeline CI/CD Azure DevOps existant (sans déploiement manuel).
• Vérifier les nouveaux ensembles de données selon les catégories du canevas DQ (complétude, unicité, validité, intégrité référentielle, cohérence inter-niveaux).
• Documenter chaque ensemble de données intégré conformément aux conventions d'inventaire existantes.

Kenntnisse

Unity Catalog

Delta Lake

Change Data Feed

PySpark

SQL

Azure DevOps

Banque privée (domaine)

Jobbeschreibung

Ivy Partners est une société de conseil suisse qui accompagne les entreprises dans leurs défis stratégiques, technologiques et organisationnels.

Nous avons à cœur d’offrir à nos collaborateurs une carrière qui favorise leur épanouissement personnel et professionnel. Nous les accompagnons dans leur montée en compétences et leur ouvrons de réelles perspectives d’évolution.

Responsabilités

• Étendre la couverture des ensembles de données de la plateforme DeltaFlow en intégrant de nouveaux ensembles en utilisant les modèles de configuration établis.
• Concevoir de nouveaux ensembles de données.
• Rédiger les configurations TOML spécifiques à chaque ensemble de données.
• Implémenter les fichiers de transformation SQL pour chaque ensemble de données.
• Valider les nouveaux ensembles de données selon le modèle de qualité/quarantaine.
• Déployer les changements à travers le pipeline CI/CD Azure DevOps existant (sans déploiement manuel).
• Vérifier les nouveaux ensembles de données selon les catégories du canevas DQ (complétude, unicité, validité, intégrité référentielle, cohérence inter-niveaux).
• Documenter chaque ensemble de données intégré conformément aux conventions d'inventaire existantes.

À propos de vous

• Vous avez une solide expérience pratique de Unity Catalog, Delta Lake, Change Data Feed de Databricks.
• Vous êtes à l'aise pour rédiger et déboguer la logique des pipelines avec PySpark.
• Votre maîtrise de SQL est forte ; vous rédigerez directement la logique de transformation et les requêtes de validation.
• Vous savez travailler dans un pipeline CI/CD sur Azure DevOps existant, comprendre ses mécanismes et déboguer les échecs.
• Vous avez une connaissance fonctionnelle des données dans le domaine de la banque privée.
• Vous êtes capable de modéliser correctement un nouvel ensemble de données avant de rédiger la configuration TOML.
• L'expérience avec TOML ou d'autres modèles de pipeline configurables, ainsi qu'une exposition aux pipelines déclaratifs Kafka/Spark et une compréhension préalable des méthodologies de modélisation dimensionnelle (Kimball ou similaire) seraient des atouts.

Pourquoi rejoindre Ivy Partners ?

Bienveillance

Soucieux de nos employés, nous leur garantissons un environnement favorable où chacun est valorisé et soutenu avec des formations et de réelles perspectives d’évolution.

Confiance

Nous avons à cœur de bâtir des relations solides et durables avec nos clients. Travailler avec nous, c’est développer un partenariat fondé sur la confiance, le professionnalisme et la transparence à chaque instant.

Innovation

Nous allions technologie et créativité pour mener à bien des transformations numériques à fort impact.

Responsabilité

La collectivité est à la base de tout ce que nous entreprenons, et nous prenons cette responsabilité au sérieux en mettant tout en œuvre pour avoir un impact positif.