Data Engineer

Devoteam; Levallois-Perret; On-site; EUR 65,000 - 95,000; Full time

Job summary

Devoteam Data Driven recherche un Data Engineer expérimenté pour concevoir et industrialiser des pipelines de données sur Databricks et le Cloud. Vous participerez à l’optimisation des flux et à l’automatisation des déploiements, en veillant à la traçabilité et à la cohérence des données.

Vous maîtrisez SQL et Python, avez une expérience solide avec Spark/PySpark et une connaissance des architectures cloud (AWS/Azure/GCP). Le poste nécessite un esprit d’équipe et un sens du service.

Qualifications

• Minimum 4 ans d’expérience en Data Engineering.
• Au moins 2 ans dans un écosystème Databricks.
• Maîtrise SQL et Python.
• Bonne connaissance des plateformes cloud (AWS/Azure/GCP) et Databricks.
• Connaissance Spark / PySpark.
• Maîtrise Git et CI/CD; Docker et Kubernetes.
• Terraform.
• Bon relationnel et esprit d’équipe.

Responsibilities

• Conception et développement de pipelines ETL/ELT complexes (batch et streaming) sur Databricks et Cloud.
• Optimisation des clusters, partitionnement des données et requêtes pour la scalabilité et la maîtrise des coûts.
• Industrialisation des déploiements et orchestration des jobs; tests qualité automatisés.
• Monitoring des flux, traçabilité des données et cohérence entre sources et cibles.

Skills

SQL avancé

Python

Databricks

Spark

Cloud platforms

Git CI/CD

Docker

Kubernetes

Terraform

Scala

Data engineering

Education

École d'ingénieurs ou équivalent

Tools

Databricks

Terraform

GitHub Actions

GitLab CI

Docker

Kubernetes

Spark

Job description

Devoteam Data Driven est l'équipe spécialiste de la Data du Groupe Devoteam. Nous sommes 300 en France et notre ambition est d'accompagner les organisations qui ont décidé de placer les données au cœur de leur stratégie, les aidant à transformer la valeur de leurs données en succès durable.

Expert de l’écosystème Databricks, vous concevez et industrialisez des architectures de données scalables pour soutenir les projets Analytics et IA. À l’intersection du Software Engineering et du Cloud, vous transformez des flux complexes en plateformes performantes, automatisées et prêtes pour l'échelle.

Missions détaillées

• Conception et développement de pipelines ETL/ELT complexes, en batch et en streaming,sur l'écosystèmeDatabricks/ Cloud
• Tuning des clusters, partitionnement des données et optimisation des requêtes pour garantir la scalabilité et maîtriser la facture
• Industrialisation des déploiements, orchestration des jobs et mise en place de tests de qualité automatisés
• Monitoring des flux en production, gestion du lignage des données et garantie de la cohérence technique entre les sources et les cibles.

• Maîtrise avancée de SQL et Python, une maitrise de Scala est un plus
• Expérience approfondie avec au moins une plateforme cloud (AWS, Azure, GCP) etsur Databricks
• Maitrise des frameworks de traitement de données distribuées (Spark,PySpark)
• Maîtrise du cycle de vie logiciel (Git, CI/CD via GitHub Actions/GitLab CI) et de la conteneurisation (Docker, K8s)
• Expérience avec l'IaC (Terraform)

Profil

• Issu(e) d'une école d'ingénieur ou équivalent avecminimum 4 ans d'expérienceen Data Engineering dontau moins 2 ansdans un écosystèmeDatabricks
• Excellent relationnel et capacité à travailler en équipe
• Sens prononcé du service et engagement dans vos activités
• Aptitude à résoudre des problèmes complexes
• Rigueur et souci du détail

Le Groupe Devoteam œuvre pour l'égalité des chances, pour la promotion de ses collaboratrices et de ses collaborateurs au mérite et lutte activement contre toute forme de discrimination. Nous sommes persuadés que la diversité contribue à la créativité, au dynamisme et à l'excellence de notre organisation.
Tous nos postes sont ouverts aux personnes en situation de handicap.