Data Engineer

Devoteam Data Driven; Levallois-Perret; Sur place; EUR 50 000 - 70 000; Plein temps

Résumé du poste

Une entreprise de services numériques recherche un expert de l'écosystème Databricks pour concevoir et industrialiser des architectures de données scalables. Le candidat idéal aura au moins 4 ans d'expérience en Data Engineering, avec un accent sur la conception de pipelines ETL/ELT. Les responsabilités comprennent l'optimisation des performances, le monitoring des flux et l'industrialisation des déploiements. Le poste est à temps plein et nécessite un excellent esprit d'équipe ainsi qu'une rigueur dans l'exécution.

Qualifications

• Minimum 4 ans d'expérience en Data Engineering, dont 2 ans avec Databricks.
• Capacité à travailler en équipe et bon relationnel.
• Rigueur, souci du détail et aptitude à résoudre des problèmes complexes.

Responsabilités

• Concevoir et développer des pipelines ETL/ELT complexes sur Databricks/Cloud.
• Tuning des clusters et optimisation des requêtes.
• Industrialiser les déploiements et mettre en place des tests de qualité.
• Monitoring des flux en production et gestion du lignage des données.

Connaissances

SQL

Python

Scala

AWS/Azure/GCP

Databricks

Spark

PySpark

Git

CI/CD (GitHub Actions/GitLab CI)

Docker

Kubernetes

Terraform

Formation

Diplôme d'une école d'ingénieur ou équivalent

Description du poste

Devoteam Data Driven est l'équipe spécialiste de la Data du Groupe Devoteam. Nous sommes 300 en France et notre ambition est d'accompagner les organisations qui ont décidé de placer les données au cœur de leur stratégie, les aidant à transformer la valeur de leurs données en succès durable.

Description Du Poste

Expert de l’écosystème Databricks, vous concevez et industrialisez des architectures de données scalables pour soutenir les projets Analytics et IA. À l’intersection du Software Engineering et du Cloud, vous transformez des flux complexes en plateformes performantes, automatisées et prêtes pour l'échelle.

Missions détaillées

• Conception et développement de pipelines ETL/ELT complexes, en batch et en streaming, sur l'écosystème Databricks / Cloud
• Tuning des clusters, partitionnement des données et optimisation des requêtes pour garantir la scalabilité et maîtriser la facture
• Industrialisation des déploiements, orchestration des jobs et mise en place de tests de qualité automatisés
• Monitoring des flux en production, gestion du lignage des données et garantie de la cohérence technique entre les sources et les cibles.

Qualifications

Compétences techniques

• Maîtrise avancée de SQL et Python, une maitrise de Scala est un plus
• Expérience approfondie avec au moins une plateforme cloud (AWS, Azure, GCP) et sur Databricks
• Maitrise des frameworks de traitement de données distribuées (Spark, PySpark)
• Maîtrise du cycle de vie logiciel (Git, CI/CD via GitHub Actions/GitLab CI) et de la conteneurisation (Docker, K8s)
• Expérience avec l'IaC (Terraform)

Profil

• Issu(e) d'une école d'ingénieur ou équivalent avec minimum 4 ans d'expérience en Data Engineering dont au moins 2 ans dans un écosystème Databricks
• Excellent relationnel et capacité à travailler en équipe
• Sens prononcé du service et engagement dans vos activités
• Aptitude à résoudre des problèmes complexes
• Rigueur et souci du détail

Le Groupe Devoteam œuvre pour l'égalité des chances, pour la promotion de ses collaboratrices et de ses collaborateurs au mérite et lutte activement contre toute forme de discrimination. Nous sommes persuadés que la diversité contribue à la créativité, au dynamisme et à l'excellence de notre organisation. Tous nos postes sont ouverts aux personnes en situation de handicap.

Seniority level

Mid-Senior level

Employment type

Full-time

Job function

IT Services and IT Consulting