Databricks Data Engineer - Cloud Pipelines

Devoteam Data Driven; Levallois-Perret; Sur place; EUR 50 000 - 70 000; Plein temps

Résumé du poste

Une entreprise de services numériques recherche un expert de l'écosystème Databricks pour concevoir et industrialiser des architectures de données scalables. Le candidat idéal aura au moins 4 ans d'expérience en Data Engineering, avec un accent sur la conception de pipelines ETL/ELT. Les responsabilités comprennent l'optimisation des performances, le monitoring des flux et l'industrialisation des déploiements. Le poste est à temps plein et nécessite un excellent esprit d'équipe ainsi qu'une rigueur dans l'exécution.

Qualifications

• Minimum 4 ans d'expérience en Data Engineering, dont 2 ans avec Databricks.
• Capacité à travailler en équipe et bon relationnel.
• Rigueur, souci du détail et aptitude à résoudre des problèmes complexes.

Responsabilités

• Concevoir et développer des pipelines ETL/ELT complexes sur Databricks/Cloud.
• Tuning des clusters et optimisation des requêtes.
• Industrialiser les déploiements et mettre en place des tests de qualité.
• Monitoring des flux en production et gestion du lignage des données.

Connaissances

SQL

Python

Scala

AWS/Azure/GCP

Databricks

Spark

PySpark

Git

CI/CD (GitHub Actions/GitLab CI)

Docker

Kubernetes

Terraform

Formation

Diplôme d'une école d'ingénieur ou équivalent

Description du poste

Une entreprise de services numériques recherche un expert de l'écosystème Databricks pour concevoir et industrialiser des architectures de données scalables. Le candidat idéal aura au moins 4 ans d'expérience en Data Engineering, avec un accent sur la conception de pipelines ETL/ELT. Les responsabilités comprennent l'optimisation des performances, le monitoring des flux et l'industrialisation des déploiements. Le poste est à temps plein et nécessite un excellent esprit d'équipe ainsi qu'une rigueur dans l'exécution.