Data Engineer

Ivy Partners; Genf; Vor Ort; CHF 120.000 - 180.000; Vollzeit

Zusammenfassung

Ivy Partners, société de conseil suisse, recherche un Data Engineer (Databricks) pour concevoir et exploiter des jeux de données, écrire des configurations TOML et mettre en œuvre des transformations SQL.

Vous maîtrisez Databricks (Unity Catalog, Delta Lake, Change Data Feed), PySpark et SQL, et vous travaillez dans un pipeline CI/CD sur Azure DevOps, avec une connaissance des données bancaires (extraits T24).

Qualifikationen

• Expérience pratique avec Databricks, Unity Catalog, Delta Lake et Change Data Feed.
• Maîtrise de PySpark et SQL pour le développement et les validations.
• Connaissance des données du secteur bancaire et capacité à interpréter des extraits T24.

Aufgaben

• Concevoir de nouveaux jeux de données.
• Rédiger des configurations TOML par jeu de données.
• Implémenter des fichiers de transformation SQL par jeu de données.
• Valider de nouveaux ensembles de données selon le modèle de qualité/quarantaine.
• Déployer les modifications via le pipeline CI/CD Azure DevOps existant (sans déploiement manuel).
• Vérifier les nouveaux jeux de données selon les catégories du canevas DQ.
• Documenter chaque jeu de données intégré selon les conventions d'inventaire existantes.
• Classifier correctement un nouveau jeu de données avant d’écrire la configuration TOML.

Kenntnisse

Databricks

Unity Catalog

Delta Lake

Change Data Feed

PySpark

SQL

Azure DevOps CI/CD

Data quality

T24 data

Banking data

Tools

TOML

Jobbeschreibung

Ivy Partners est une société de conseil suisse qui accompagne les entreprises dans leurs défis stratégiques, technologiques et organisationnels.

Nous avons à cœur d’offrir à nos collaborateurs une carrière qui favorise leur épanouissement personnel et professionnel. Nous les accompagnons dans leur montée en compétences et leur ouvrons de réelles perspectives d’évolution.

En tant que Data Engineer (Databricks) chez Ivy Partners, vous serez amené(e) à :

• Concevoir de nouveaux jeux de données
• Rédiger des configurations TOML par jeu de données
• Implémenter des fichiers de transformation SQL par jeu de données
• Valider de nouveaux ensembles de données selon le modèle de qualité/quarantaine
• Déployer les modifications via le pipeline CI/CD Azure DevOps existant (sans déploiement manuel)
• Vérifier les nouveaux jeux de données selon les catégories du canevas DQ (complétude, unicité, validité, intégrité référentielle, cohérence inter-couches)
• Documenter chaque jeu de données intégré selon les conventions d'inventaire existantes
• Vous possédez une solide expérience pratique avec Databricks, y compris Unity Catalog, Delta Lake et Change Data Feed
• Vous êtes à l'aise pour rédiger et déboguer la logique des pipelines en PySpark
• Vous excellez en SQL, capable de rédiger directement des logiques de transformation et des requêtes de validation
• Vous pouvez travailler efficacement dans un pipeline CI/CD sur Azure DevOps et comprenez les mécanismes de promotion basés sur les branches sans avoir besoin de concevoir des pipelines from scratch
• Vous avez une compréhension pratique des données dans le secteur bancaire, pouvant interpréter des extraits de systèmes source comme T24 et les analyser fonctionnellement et non seulement structurellement
• Vous êtes capable de classifier correctement un nouveau jeu de données (dimension contre fait, SCD1 contre SCD2 contre cadence de snapshot, sélection de clié naturelle d'affaires, granularité) avant d’écrire la configuration TOML

Pourquoi rejoindre Ivy Partners ?

Bienveillance | Soucieux de nos employés, nous leur garantissons un environnement favorable où chacun est valorisé et soutenu avec des formations et de réelles perspectives d’évolution.

Confiance | Nous avons à cœur de bâtir des relations solides et durables avec nos clients. Travailler avec nous, c’est développer un partenariat fondé sur la confiance, le professionnalisme et la transparence à chaque instant.

Innovation | Nous allions technologie et créativité pour mener à bien des transformations numériques à fort impact.

Responsabilité | La collectivité est à la base de tout ce que nous entreprenons, et nous prenons cette responsabilité au sérieux en mettant tout en œuvre pour avoir un impact positif.est au cœur de nos actions et nous mettons tout en œuvre pour générer un impact positif.