Databricks Engineer (IT) / Freelance

Onyx-Conseil; Paris; Sur place; EUR 80 000 - 110 000; Plein temps

Résumé du poste

Onyx-Conseil recherche un Data Engineer expérimenté pour rejoindre le département Asset Management et travailler sur une plateforme de données cloud au cœur des opérations d’investissement.

Vous concevrez et optimiserez des pipelines de données, exploiterai Bloomberg et d’autres sources, et participerez à l’évolution de l’infrastructure Data Lake/Lakehouse dans un cadre international.

Qualifications

• Expérience significative en Data Engineering et pipelines Big Data.
• Maîtrise SQL avancée et optimisation de requêtes sur de gros volumes.
• Compétences en travail d’équipe et collaboration internationale.

Responsabilités

• Concevoir, développer et maintenir des pipelines de données et des produits data cloud pour les opérations d’investissement.
• Renforcer et étendre la plateforme de données avec Databricks, Spark et Delta Lake.
• Collaborer avec les équipes d’investissement et les parties prenantes métiers pour livrer des solutions adaptées.
• Développer des solutions basées sur Databricks, Spark, Delta Lake et technologies cloud natives.
• Promouvoir les pratiques de qualité de code, CI/CD, tests automatisés et fiabilité des plateformes.
• Contribuer à l’adoption d’IA, LLM et outils d’analyse avancée et assurer une veille technologique.

Description du poste

Data Engineer – Gestion d’Actifs

Notre client, un acteur mondial majeur de la gestion d’actifs, recherche un Data Engineer expérimenté pour rejoindre son département Investment Accounting & Administration au sein de l’activité Investment Management. Il s’agit d’une opportunité stratégique de contribuer au développement et à l’évolution d’une plateforme de données cloud au cœur des opérations d’investissement, de l’analytique et du reporting.

Le candidat retenu participera à la conception, au développement et à l’optimisation d’un hub de données d’entreprise complexe, permettant aux équipes d’investissement d’exploiter pleinement les données Bloomberg ainsi que d’autres sources de données financières. En collaboration avec des équipes internationales, vous développerez des solutions de données évolutives qui soutiennent la prise de décision et la création de valeur à partir des données.

Principales Responsabilités

• Concevoir, développer et maintenir des pipelines de données et des produits data cloud robustes au service d’opérations d’investissement critiques et d’applications analytiques à grande échelle.

• Renforcer et étendre les capacités de la plateforme de données de l’entreprise à l’aide de technologies modernes de Data Engineering.

• Collaborer étroitement avec les équipes d’investissement et les parties prenantes métiers afin de comprendre leurs besoins et fournir des solutions adaptées.

• Développer des solutions performantes basées sur Databricks, Spark, Delta Lake et les technologies cloud natives.

• Promouvoir les meilleures pratiques en matière de développement et de gouvernance des données : qualité de code, CI/CD, tests automatisés et fiabilité des plateformes.

• Contribuer à l’adoption de technologies innovantes, notamment l’Intelligence Artificielle, les Large Language Models (LLM) et les outils d’analyse avancée.

• Assurer une veille technologique continue afin d’accompagner l’évolution de la plateforme et des capacités de l’équipe.

Compétences et Expérience Requises

• Minimum 5 ans d’expérience en Data Engineering, dont au moins 5 ans sur Databricks dans la conception et le développement de pipelines de données.

• Solide expérience du cloud, idéalement Microsoft Azure ; une expérience sur AWS ou GCP sera également considérée.

• Maîtrise de Python, PySpark, SparkSQL et/ou Scala.

• Expérience dans la mise en place et l’orchestration de pipelines Big Data avec des outils tels qu’Azure Data Factory, Airflow, dbt ou équivalents.

• Expertise de Spark, particulièrement Databricks Spark et Delta Lake.

• Expérience dans l’implémentation de solutions Big Data dans un environnement cloud, incluant les Data Lakes et architectures Lakehouse.

• Excellentes compétences SQL avec la capacité de développer et d’optimiser des requêtes complexes sur de très grands volumes de données.

• Maîtrise de GitHub, du contrôle de version et des processus de déploiement CI/CD.

• Expérience des technologies d’IA, des LLM, de Databricks Genie ou d’outils similaires.

Compétences Souhaitées

• Expérience en architecture de bases de données et en modélisation de données (modèles conceptuels, logiques et physiques).

• Expérience préalable dans la gestion d’actifs, l’asset management, l’investissement ou un environnement de services financiers.

Qualités Personnelles

• Excellentes capacités d’analyse et de résolution de problèmes.

• Forte capacité d’apprentissage et adaptation rapide aux nouvelles technologies.

• Aisance relationnelle et aptitude à collaborer avec des équipes et parties prenantes internationales.

Cette opportunité offre la possibilité de rejoindre une équipe Data en forte croissance et de contribuer à une plateforme stratégique au cœur des activités d’un leader mondial de la gestion d’actifs.