Une entreprise de services numériques recherche un expert de l'écosystème Databricks pour concevoir et industrialiser des architectures de données scalables. Le candidat idéal aura au moins 4 ans d'expérience en Data Engineering, avec un accent sur la conception de pipelines ETL/ELT. Les responsabilités comprennent l'optimisation des performances, le monitoring des flux et l'industrialisation des déploiements. Le poste est à temps plein et nécessite un excellent esprit d'équipe ainsi qu'une rigueur dans l'exécution.
Qualifications
Minimum 4 ans d'expérience en Data Engineering, dont 2 ans avec Databricks.
Capacité à travailler en équipe et bon relationnel.
Rigueur, souci du détail et aptitude à résoudre des problèmes complexes.
Responsibilities
Concevoir et développer des pipelines ETL/ELT complexes sur Databricks/Cloud.
Tuning des clusters et optimisation des requêtes.
Industrialiser les déploiements et mettre en place des tests de qualité.
Monitoring des flux en production et gestion du lignage des données.
Skills
SQL
Python
Scala
AWS/Azure/GCP
Databricks
Spark
PySpark
Git
CI/CD (GitHub Actions/GitLab CI)
Docker
Kubernetes
Terraform
Education
Diplôme d'une école d'ingénieur ou équivalent
Job description
Une entreprise de services numériques recherche un expert de l'écosystème Databricks pour concevoir et industrialiser des architectures de données scalables. Le candidat idéal aura au moins 4 ans d'expérience en Data Engineering, avec un accent sur la conception de pipelines ETL/ELT. Les responsabilités comprennent l'optimisation des performances, le monitoring des flux et l'industrialisation des déploiements. Le poste est à temps plein et nécessite un excellent esprit d'équipe ainsi qu'une rigueur dans l'exécution.