Databricks Data Engineer — SQL, PySpark & Delta Lake

Ivy Partners; Genf; Vor Ort; CHF 120.000 - 180.000; Vollzeit

Zusammenfassung

Ivy Partners, société de conseil suisse, recherche un Data Engineer (Databricks) pour concevoir et exploiter des jeux de données, écrire des configurations TOML et mettre en œuvre des transformations SQL.

Vous maîtrisez Databricks (Unity Catalog, Delta Lake, Change Data Feed), PySpark et SQL, et vous travaillez dans un pipeline CI/CD sur Azure DevOps, avec une connaissance des données bancaires (extraits T24).

Qualifikationen

• Expérience pratique avec Databricks, Unity Catalog, Delta Lake et Change Data Feed.
• Maîtrise de PySpark et SQL pour le développement et les validations.
• Connaissance des données du secteur bancaire et capacité à interpréter des extraits T24.

Aufgaben

• Concevoir de nouveaux jeux de données.
• Rédiger des configurations TOML par jeu de données.
• Implémenter des fichiers de transformation SQL par jeu de données.
• Valider de nouveaux ensembles de données selon le modèle de qualité/quarantaine.
• Déployer les modifications via le pipeline CI/CD Azure DevOps existant (sans déploiement manuel).
• Vérifier les nouveaux jeux de données selon les catégories du canevas DQ.
• Documenter chaque jeu de données intégré selon les conventions d'inventaire existantes.
• Classifier correctement un nouveau jeu de données avant d’écrire la configuration TOML.

Kenntnisse

Databricks

Unity Catalog

Delta Lake

Change Data Feed

PySpark

SQL

Azure DevOps CI/CD

Data quality

T24 data

Banking data

Tools

TOML

Jobbeschreibung

Ivy Partners, société de conseil suisse, recherche un Data Engineer (Databricks) pour concevoir et exploiter des jeux de données, écrire des configurations TOML et mettre en œuvre des transformations SQL.

Vous maîtrisez Databricks (Unity Catalog, Delta Lake, Change Data Feed), PySpark et SQL, et vous travaillez dans un pipeline CI/CD sur Azure DevOps, avec une connaissance des données bancaires (extraits T24).