Senior Data Engineer: Spark, Databricks & Data Warehouses

Synapsys; Lyon; Sur place; EUR 60 000 - 85 000; Plein temps

Résumé du poste

Synapsys, cabinet de conseil en pleine croissance à Lyon, recherche un Data Engineer expérimenté pour participer à la modernisation des usages data et à la migration vers Databricks. Le candidat idéal possède une expérience solide en Big Data et en modélisation décisionnelle.

Vous concevrez et ferez évoluer DataWarehouses, Datamarts et pipelines, en utilisant Spark, Informatica et Python, tout en assurant qualité et performance des données et en produisant des dashboards Tableau Server.

Qualifications

• 5 ans d'expérience minimum en Data Engineering / BI.
• Excellente maîtrise de Spark et de SQL.
• Expérience significative sur Databricks et les environnements Big Data.
• Bonne connaissance de la modélisation décisionnelle (DWH, Datamarts).
• Capacité à intervenir de bout en bout : analyse, développement, optimisation et accompagnement métier.

Responsabilités

• Concevoir et faire évoluer les DataWarehouses et Datamarts.
• Développer, optimiser et industrialiser les traitements de données avec Apache Spark.
• Participer à la migration des traitements Big Data vers Databricks.
• Développer des pipelines d'intégration de données (Informatica, SQL, Python).
• Exploiter et transformer les données stockées sur Oracle, Hive et CEPH S3 (Parquet).
• Garantir la qualité, la fiabilité et la performance des données.
• Produire et maintenir les reportings sous Tableau Server.
• Automatiser et déployer les traitements via Git, Jenkins, Ansible, Terraform et Control-M.
• Collaborer avec les équipes métiers pour recueillir les besoins et accompagner les utilisateurs.

Connaissances

Spark

SQL

Databricks

DataWarehousing

Datamarts

Outils

Informatica

Python

Oracle

Hive

CEPH S3 (Parquet)

Tableau Server

Git

Jenkins

Ansible

Terraform

Control-M

Description du poste

Synapsys, cabinet de conseil en pleine croissance à Lyon, recherche un Data Engineer expérimenté pour participer à la modernisation des usages data et à la migration vers Databricks. Le candidat idéal possède une expérience solide en Big Data et en modélisation décisionnelle.

Vous concevrez et ferez évoluer DataWarehouses, Datamarts et pipelines, en utilisant Spark, Informatica et Python, tout en assurant qualité et performance des données et en produisant des dashboards Tableau Server.