Data Engineer

Phusis; Lyon; Hybride; EUR 60 000 - 90 000; Plein temps

Résumé du poste

Phusis Group recherche un Data Engineer pour accompagner des projets variés avec startups et grands comptes, en privilégiant des solutions écoresponsables et durables.

Vous concevrez et maintiendrez des pipelines robustes avec Python/Scala et Spark, en veillant à la qualité des données, à la sécurité et à la scalabilité, tout en collaborant avec les équipes multidisciplinaires et en participant au cycle de vie des projets data.

Qualifications

• Diplôme supérieur en informatique ou domaine connexe requis.
• Minimum 3 ans d’expérience en Data Engineering avec Spark et Databricks.
• Maîtrise de Python ou Scala et SQL, et expérience dans les environnements Azure et cloud.

Responsabilités

• Concevoir et implémenter des architectures de données robustes et des pipelines évolutifs.
• Gérer les flux de données, l’ingestion, la transformation et l’analyse en garantissant qualité et disponibilité.
• Travailler avec des data scientists, analystes et développeurs pour l’intégration des pipelines et l’exploitation des données.
• Participer au cycle de vie des projets data, de l’analyse des besoins à la mise en production, avec documentation et suivi des livrables.
• Optimiser les performances des pipelines et assurer leur scalabilité.
• Garantir la sécurité et la conformité des données selon les réglementations en vigueur.
• Veiller à l’innovation et à l’amélioration continue via veille technologique et bonnes pratiques.
• Mettre en place des pipelines CI/CD et tests automatiques pour assurer la qualité des livrables.

Connaissances

Python

Scala

SQL

Spark

Formation

Diplôme supérieur en informatique/ingénierie

Outils

Databricks

Snowflake

Azure

PostgreSQL

SQL Server

MongoDB

Cassandra

DynamoDB

Description du poste

Vous souhaitez évoluer dans une entreprise où innovation, design centré sur l’humain et engagement écoresponsable s’entrelacent ? Phusis Group, collectif engagé dans les services Design, Développement et Data/IA, recherche un(e) Data Engineer pour accompagner des projets variés avec des startups comme des grands comptes, en mettant l'accent sur des solutions écoresponsables et durables.

• Concevoir et implémenter des architectures de données robustes : Développer, maintenir et optimiser des pipelines de données performants et évolutifs en utilisant Apache Spark, Python, et Databricks.
• Gérer le traitement des données à grande échelle : Construire et gérer des flux de données pour l’ingestion, la transformation et l’analyse, tout en garantissant leur qualité et leur disponibilité.
• Collaborer avec des équipes multidisciplinaires : Travailler en étroite collaboration avec des data scientists, des analystes, et des développeurs pour garantir l’intégration des pipelines et l’exploitation des données dans des projets variés.
• Contribuer au cycle de vie des projets data : Participer à toutes les phases, de l’analyse des besoins à la mise en production, tout en assurant la documentation et un suivi rigoureux des livrables.
• Optimiser les performances : Identifier et résoudre les problématiques liées aux performances des pipelines de données et mettre en œuvre des solutions pour garantir une scalabilité optimale.
• Garantir la sécurité et la conformité des données : Mettre en place des stratégies pour protéger les données sensibles et garantir leur conformité avec les réglementations en vigueur.
• Innover grâce à une veille technologique active : Se tenir informé des nouvelles tendances et technologies en ingénierie des données (Spark, Databricks, Python, solutions Cloud) et proposer des innovations pour améliorer les processus existants.
• Assurer une amélioration continue : Contribuer à la mise en œuvre de bonnes pratiques, à l’automatisation des processus et à l’optimisation des environnements data.
• Maîtriser les calculs distribués et la gestion de clusters : Travailler avec des solutions Big Data pour gérer des charges massives, déployer et optimiser des clusters (ex. Databricks, Spark, Hadoop) pour assurer des traitements distribués efficaces.
• Mettre en place des pipelines CI/CD : Implémenter des pipelines pour déployer des codes et workflows entre différents environnements (par exemple avec Azure DevOps), tout en intégrant des tests automatiques pour garantir la qualité et la fiabilité des livrables.

Votre environnement technique :

• Langages et outils de traitement des données : Python, Scala, SQL, Databricks, Snowflake.
• Bases de données : Bases relationnelles (PostgreSQL, SQL Server), NoSQL (MongoDB, Cassandra, DynamoDB).

Profil recherché :

• Diplôme supérieur en informatique, ingénierie ou domaine connexe.
• Minimum 3 ans d’expérience en Data Engineering avec une spécialisation sur Spark et Databricks.
• Excellente maîtrise de Python ou Scala, ainsi que de SQL.
• Expérience solide avec les services Azure et les environnements cloud.
• Compétences en analyse et résolution de problèmes complexes, avec une capacité à transformer des données en insights exploitables.
• Un esprit d’équipe aligné avec les valeurs de Phusis Group : Excellence technique, Innovation responsable, Transparence & Écoresponsabilité.

Pourquoi choisir Phusis Group ?

• Humain au cœur : Nous plaçons les individus, collaborateurs et clients, au centre de nos préoccupations, en favorisant l’épanouissement personnel et professionnel.
• Collectif fort : Une équipe multidisciplinaire expérimentée composée de 20 experts, avec une moyenne de 12 ans d’expérience.
• Gouvernance participative : Chaque collaborateur peut contribuer activement à la prise de décision et à l’évolution de l’organisation.
• Management technique : Chez Phusis Group, les managers sont des experts techniques ou des pilotes de projets, garantissant une excellente compréhension des enjeux opérationnels.
• Engagement durable : Prise en charge de 50 % des jours pour des actions solidaires, jusqu’à 2 jours par an, pour soutenir des causes qui vous tiennent à cœur.
• Ecoresponsabilité : Nous intégrons des pratiques et solutions durables dans nos projets et opérations, pour réduire notre impact environnemental.
• Cadre hybride et flexible : La priorité est toujours donnée à la politique du client, et pour le travail délocalisé un mode hybride jusqu’à 3 jours de télétravail par semaine.
• Avantages sociaux attractifs.

Envie de rejoindre une entreprise où excellence technique, innovation responsable et écoresponsabilité se rencontrent ? Postulez dès maintenant et faites partie de l’aventure Phusis Group !!