Databricks Data Engineer - Cloud & Pipelines

Devoteam Data Driven; Marcq-en-Barœul; On-site; EUR 42,000 - 64,000; Full time

Job summary

Devoteam Lille recrute un ingénieur Data capable de concevoir, développer et déployer des pipelines de données robustes sur Databricks. Vous modéliserez et préparerez les données avec Delta Lake pour répondre aux enjeux analytiques et optimiserez les traitements via Spark, SQL et Python.

Vous travaillerez avec les Data Scientists et les métiers pour industrialiser les cas d’usage et appliquerez les meilleures pratiques d’ingénierie logicielle (CI/CD, tests automatisés, versioning) au sein des

Qualifications

• Diplôme d'ingénieur ou Master universitaire en Data ou informatique.
• Expérience confirmée en manipulation de données avec Python et SQL et maîtrise de Databricks et de son écosystème (Spark, Delta Lake).
• Connaissances solides d’un environnement Cloud (Azure, AWS ou GCP) et des outils d’automatisation (Git, Terraform).
• Esprit d’analyse, rigueur et excellente capacité à communiquer pour vulgariser des concepts techniques.

Responsibilities

• Concevoir, développer et déployer des pipelines de données robustes et scalables sur la plateforme Databricks.
• Modéliser et préparer les données (Delta Lake) pour répondre aux enjeux analytiques.
• Optimiser les performances des traitements de données (Spark, SQL, Python) et garantir la fiabilité de l’architecture.
• Collaborer étroitement avec les Data Scientists et les équipes métiers pour industrialiser les cas d’usage Data.
• Implémenter les bonnes pratiques d’ingénierie logicielle (CI/CD, tests automatisés, versioning) au sein des projets.

Skills

Python

SQL

Databricks

Spark

Delta Lake

Azure

AWS

GCP

Git

Terraform

Communication

Analytical thinking

Education

Ingénieur / Master Data

Tools

Databricks

Spark

Delta Lake

Git

Terraform

Job description

Devoteam Lille recrute un ingénieur Data capable de concevoir, développer et déployer des pipelines de données robustes sur Databricks. Vous modéliserez et préparerez les données avec Delta Lake pour répondre aux enjeux analytiques et optimiserez les traitements via Spark, SQL et Python.

Vous travaillerez avec les Data Scientists et les métiers pour industrialiser les cas d’usage et appliquerez les meilleures pratiques d’ingénierie logicielle (CI/CD, tests automatisés, versioning) au sein des