Data Engineer Databricks — Confirmé (Hybrid, Lyon)

Onepoint group; Lyon; Hybride; EUR 60 000 - 90 000; Plein temps

Résumé du poste

Onepoint en Lyon recruté Data Engineer Confirmé Databricks pour intégrer le pôle Data et piloter des flux ETL/ELT sur Databricks (Spark SQL, Python/PySpark, Scala).

Vous concevrez et optimiserez des pipelines, mettrez en place une architecture Lakehouse Delta Lake et assurerez qualité et sécurité des données, en collaboration avec les Data Analysts et les métiers. Profil requis: diplôme d'ingénieur et ≥3 ans d'expérience, maîtrise SQL et anglais, expérience CI/CD appréciée.

Qualifications

• Concevoir et développer des flux ETL/ELT sur Databricks avec Spark SQL et PySpark.
• Mettre en place des architectures Lakehouse Delta Lake et assurer qualité des données.
• Collaborer avec Data Analysts et métiers en mode Agile et documentation.
• Expérience 3 ans minimum en data engineering ou BI dans un cabinet/conseil.

Responsabilités

• Concevoir, développer et optimiser des flux de données ETL/ELT sur Databricks.
• Maintenir les architectures Lakehouse et assurer qualité et sécurité des données.
• Collaborer étroitement avec Data Analysts et Data Scientists et équipes métiers.
• Participer à la veille technologique et proposer des améliorations continues.

Connaissances

Databricks

Spark SQL

Python/PySpark

Scala

SQL

Power BI

CI/CD (Azure DevOps, GitLab CI, Jenkin

Formation

Diplôme d'ingénieur ou équivalent universitaire

Outils

Databricks

Airflow

Delta Lake

Git

Azure DevOps

GitLab CI

Jenkins

Spark

Description du poste

Onepoint en Lyon recruté Data Engineer Confirmé Databricks pour intégrer le pôle Data et piloter des flux ETL/ELT sur Databricks (Spark SQL, Python/PySpark, Scala).

Vous concevrez et optimiserez des pipelines, mettrez en place une architecture Lakehouse Delta Lake et assurerez qualité et sécurité des données, en collaboration avec les Data Analysts et les métiers. Profil requis: diplôme d'ingénieur et ≥3 ans d'expérience, maîtrise SQL et anglais, expérience CI/CD appréciée.