Data Engineer: Spark & Databricks for Sustainable Data

Phusis; Lyon; Hybride; EUR 60 000 - 90 000; Plein temps

Résumé du poste

Phusis Group recherche un Data Engineer pour accompagner des projets variés avec startups et grands comptes, en privilégiant des solutions écoresponsables et durables.

Vous concevrez et maintiendrez des pipelines robustes avec Python/Scala et Spark, en veillant à la qualité des données, à la sécurité et à la scalabilité, tout en collaborant avec les équipes multidisciplinaires et en participant au cycle de vie des projets data.

Qualifications

• Diplôme supérieur en informatique ou domaine connexe requis.
• Minimum 3 ans d’expérience en Data Engineering avec Spark et Databricks.
• Maîtrise de Python ou Scala et SQL, et expérience dans les environnements Azure et cloud.

Responsabilités

• Concevoir et implémenter des architectures de données robustes et des pipelines évolutifs.
• Gérer les flux de données, l’ingestion, la transformation et l’analyse en garantissant qualité et disponibilité.
• Travailler avec des data scientists, analystes et développeurs pour l’intégration des pipelines et l’exploitation des données.
• Participer au cycle de vie des projets data, de l’analyse des besoins à la mise en production, avec documentation et suivi des livrables.
• Optimiser les performances des pipelines et assurer leur scalabilité.
• Garantir la sécurité et la conformité des données selon les réglementations en vigueur.
• Veiller à l’innovation et à l’amélioration continue via veille technologique et bonnes pratiques.
• Mettre en place des pipelines CI/CD et tests automatiques pour assurer la qualité des livrables.

Connaissances

Python

Scala

SQL

Spark

Formation

Diplôme supérieur en informatique/ingénierie

Outils

Databricks

Snowflake

Azure

PostgreSQL

SQL Server

MongoDB

Cassandra

DynamoDB

Description du poste

Phusis Group recherche un Data Engineer pour accompagner des projets variés avec startups et grands comptes, en privilégiant des solutions écoresponsables et durables.

Vous concevrez et maintiendrez des pipelines robustes avec Python/Scala et Spark, en veillant à la qualité des données, à la sécurité et à la scalabilité, tout en collaborant avec les équipes multidisciplinaires et en participant au cycle de vie des projets data.