Date Engineer - H/F

Twyce; Paris; Sur place; EUR 65 000 - 90 000; Plein temps

Résumé du poste

Twyce, cabinet de conseil spécialisé Transformation Digitale, recherche un Data Engineer Senior à Paris. Vous intégrerez une Data MarketPlace, développerez des pipelines sur Databricks et veillerez à la qualité des données tout en assurant le déploiement CI/CD.

Expérience ≥ 6 ans demandée; Certification Databricks souhaitée; bonus sur les outils Azure DevOps, Airflow et DBT, avec une exposition au secteur bancaire.

Qualifications

• Min. 6 ans d’expérience en Data Engineering.
• Databricks certifiée (Associate ou Professional) ou équivalent.
• Maîtrise de Python, Spark et SQL.

Responsabilités

• Intégration de données dans une Data MarketPlace et documentation des Data Domains.
• Analyse du modèle de données pour répondre aux besoins des consommateurs.
• Extraction et transformation des données dans la Data MarketPlace.
• Monitoring et documentation des pipelines de données.
• Développement des pipelines, notamment sur Databricks (PySpark, SQL).
• Assurer la qualité des données et respecter le Lakehouse (DataVault).
• Déploiement des développements en mode CI/CD (Azure DevOps).
• Réalisation de projets Dataviz et intégration des sources (DataStage, Golden Source).

Connaissances

Python

Spark

SQL

Databricks

Outils

Azure DevOps

Airflow

Dbt

Description du poste

Twyce est un cabinet de conseil spécialisé dans la Transformation Digitale, mais est avant tout une incroyable aventure humaine, avec une communauté de plus de 40 Collaborateurs majoritairement à Paris mais également depuis peu à Montréal.

Fondée en 2021 autour des principes de transparence, d’intelligence collective et de la co-construction, Twyce met l'accent sur un engagement solide envers ses clients et ses consultants partenaires.

Afin d'accompagner ses clients sur l'ensemble des phases de leurs projets Twyce intervient sur 3 expertises fortes :

Data & Cloud

Dév Factory

Product & Project

Ta Mission

• Intégration des données au sein d’une Data MarketPlace :
• Documenter les données techniques des différents Data Domain (Customer, Account, Transaction …)
• Analyser le modèle de données afin de répondre aux besoins spécifiques des consommateurs groupe
• Extraire les données et les transformer dans la Data MarketPlace
• Monitorer les pipelines mis en place et les documenter
• Développement des pipelines de données
• Développement des pipelines de données sur la plateforme Databricks (PySpark, SQL)
• Mise en qualité des données
• Respect des bonnes pratiques et de la modélisation du Lakehouse (DataVault)
• Déploiement des développements en mode CI/CD (Azure DevOps)
• Projet Dataviz
• Analyse les traitements existants sur DataStage (ancien Datawarehouse et Datamarts) afin de documenter et de réintégrer (après validation) les indicateurs dans la nouvelle architecture
• Aider à l’intégration des nouvelles Golden Source

Séniorité : au moins 6 ans d’expérience sur des problématiques Data Engineer

Compétences Techniques Indispensables

• Au moins 2 ans d’expérience sur Databricks. Certification Databricks Certified Data Engineer Associate ou Databricks Certified Data Engineer Professional
• Maîtrise de Python, Spark et SQL

Compétences Techniques Souhaitables

• Azure DevOps
• Airflow
• Dbt (data build tool)
• Expérience dans le monde bancaire