Senior Data Engineer - Databricks & Cloud Data Pipelines

Devoteam; Levallois-Perret; On-site; EUR 65,000 - 95,000; Full time

Job summary

Devoteam Data Driven recherche un Data Engineer expérimenté pour concevoir et industrialiser des pipelines de données sur Databricks et le Cloud. Vous participerez à l’optimisation des flux et à l’automatisation des déploiements, en veillant à la traçabilité et à la cohérence des données.

Vous maîtrisez SQL et Python, avez une expérience solide avec Spark/PySpark et une connaissance des architectures cloud (AWS/Azure/GCP). Le poste nécessite un esprit d’équipe et un sens du service.

Qualifications

• Minimum 4 ans d’expérience en Data Engineering.
• Au moins 2 ans dans un écosystème Databricks.
• Maîtrise SQL et Python.
• Bonne connaissance des plateformes cloud (AWS/Azure/GCP) et Databricks.
• Connaissance Spark / PySpark.
• Maîtrise Git et CI/CD; Docker et Kubernetes.
• Terraform.
• Bon relationnel et esprit d’équipe.

Responsibilities

• Conception et développement de pipelines ETL/ELT complexes (batch et streaming) sur Databricks et Cloud.
• Optimisation des clusters, partitionnement des données et requêtes pour la scalabilité et la maîtrise des coûts.
• Industrialisation des déploiements et orchestration des jobs; tests qualité automatisés.
• Monitoring des flux, traçabilité des données et cohérence entre sources et cibles.

Skills

SQL avancé

Python

Databricks

Spark

Cloud platforms

Git CI/CD

Docker

Kubernetes

Terraform

Scala

Data engineering

Education

École d'ingénieurs ou équivalent

Tools

Databricks

Terraform

GitHub Actions

GitLab CI

Docker

Kubernetes

Spark

Job description

Devoteam Data Driven recherche un Data Engineer expérimenté pour concevoir et industrialiser des pipelines de données sur Databricks et le Cloud. Vous participerez à l’optimisation des flux et à l’automatisation des déploiements, en veillant à la traçabilité et à la cohérence des données.

Vous maîtrisez SQL et Python, avez une expérience solide avec Spark/PySpark et une connaissance des architectures cloud (AWS/Azure/GCP). Le poste nécessite un esprit d’équipe et un sens du service.