Data Engineer (Databricks) — Delta Lake Pipelines

IVY Partners; Genf; Vor Ort; CHF 90.000 - 120.000; Vollzeit

Zusammenfassung

Ivy Partners est une société de conseil suisse spécialisée dans les défis stratégiques, technologiques et organisationnels. Nous accompagnons nos collaborateurs dans leur montée en compétences et leurs perspectives d’évolution.

Nous recherchons un expert Data Platform pour étendre DeltaFlow, concevoir de nouveaux ensembles de données et déployer les transformations via Azure DevOps dans un contexte Banque Privée.

Qualifikationen

• Maîtrise pratique de Unity Catalog, Delta Lake et Change Data Feed de Databricks.
• Bonne maîtrise de PySpark et SQL pour écrire des transformations et des validations.
• Expérience dans un pipeline CI/CD avec Azure DevOps et débogage des échecs.

Aufgaben

• Étendre la couverture des ensembles de données de la plateforme DeltaFlow en intégrant de nouveaux ensembles en utilisant les modèles de configuration établis.
• Concevoir de nouveaux ensembles de données.
• Rédiger les configurations TOML spécifiques à chaque ensemble de données.
• Implémenter les fichiers de transformation SQL pour chaque ensemble de données.
• Valider les nouveaux ensembles de données selon le modèle de qualité/quarantaine.
• Déployer les changements à travers le pipeline CI/CD Azure DevOps existant (sans déploiement manuel).
• Vérifier les nouveaux ensembles de données selon les catégories du canevas DQ (complétude, unicité, validité, intégrité référentielle, cohérence inter-niveaux).
• Documenter chaque ensemble de données intégré conformément aux conventions d'inventaire existantes.

Kenntnisse

Unity Catalog

Delta Lake

Change Data Feed

PySpark

SQL

Azure DevOps

Banque privée (domaine)

Jobbeschreibung

Ivy Partners est une société de conseil suisse spécialisée dans les défis stratégiques, technologiques et organisationnels. Nous accompagnons nos collaborateurs dans leur montée en compétences et leurs perspectives d’évolution.

Nous recherchons un expert Data Platform pour étendre DeltaFlow, concevoir de nouveaux ensembles de données et déployer les transformations via Azure DevOps dans un contexte Banque Privée.