Data Engineer Python / PySpark

Wolsome; Île-de-France; Sur place; EUR 55 000 - 85 000; Plein temps

Résumé du poste

Wolsome recherche un Data Engineer Python / PySpark pour intervenir sur des projets de traitement et de valorisation des données dans un environnement on-premise basé sur Hadoop et Hive. Vous participerez à la conception, au développement et à l’optimisation de pipelines robustes et performants.

Vous maîtrisez Python et PySpark avec une expérience sur Hadoop, Hive et SQL, en environnement Linux et avec Git. Poste en collaboration avec les équipes Data, BI et infrastructure.

Qualifications

• Maîtrise du développement Python et PySpark pour des traitements Data.
• Compétence en PySpark et traitement distribué.
• Bonne connaissance de l’écosystème Hadoop et de Hive.
• Maîtrise du SQL et manipulation de données en grande volumétrie.
• Environnement Linux et outils en ligne de commande.
• Bonnes pratiques Git et développement logiciel.

Responsabilités

• Concevoir et développer des pipelines de traitement de données avec Python et PySpark.
• Développer et optimiser des traitements distribués sur Hadoop.
• Manipuler et exploiter les données dans Hive et SQL.
• Participer à l’alimentation et transformation des flux de données.
• Optimiser les performances PySpark et requêtes Hive.
• Assurer qualité, fiabilité et disponibilité des données.
• Collaborer avec les équipes Data, BI et infra.
• Contribuer à la documentation technique et à l’industrialisation.

Connaissances

Python

PySpark

Hadoop

Hive

SQL

Linux

Git

On-premise

Outils

Hadoop ecosystem

Description du poste

Dans le cadre du renforcement de nos équipes Data, nous recherchons un Data Engineer Python / PySpark pour intervenir sur des projets de traitement et de valorisation de données dans un environnement on-premise basé sur les technologies Hadoop / Hive. Vous participerez à la conception, au développement et à l’optimisation de pipelines de données robustes et performants.

• Concevoir et développer des pipelines de traitement de données avec Python et PySpark.
• Développer et optimiser des traitements distribués sur l’écosystème Hadoop.
• Manipuler et exploiter les données stockées dans Hive.
• Participer à la conception et à l’évolution des flux d’alimentation et de transformation des données.
• Optimiser les performances des traitements PySpark et des requêtes Hive.
• Assurer la qualité, la fiabilité et la disponibilité des données.
• Participer à l’analyse et à la résolution des incidents liés aux traitements de données.
• Collaborer avec les équipes Data, BI, applicatives et infrastructure.
• Contribuer à la documentation technique des traitements et des flux développés.
• Participer à l’amélioration continue des pratiques de développement, de déploiement et d’industrialisation.

Votre profil

• Vous maîtrisez Python et disposez d’une bonne expérience en développement de traitements Data.
• Vous maîtrisez PySpark et les principes du traitement distribué.
• Vous avez une bonne connaissance de Hadoop et de son écosystème.
• Vous avez une expérience pratique de Hive et du langage SQL.
• Vous êtes à l’aise dans un environnement on-premise.
• Vous maîtrisez les concepts liés aux pipelines de données, à l’ETL/ELT et à la transformation de données.
• Vous connaissez les problématiques d’optimisation des performances sur des volumes de données importants.
• Vous êtes à l’aise avec Linux et les environnements en ligne de commande.
• Vous maîtrisez Git et les bonnes pratiques de développement logiciel.
• Vous êtes rigoureux, autonome et appréciez le travail en équipe.
• Vous êtes capable d’analyser des problématiques techniques et de proposer des solutions adaptées.

Wolsome est une société de conseil multi-spécialiste créée en 2020 intervenant sur différents secteurs d’activités (Banque, Finance, Assurance, Cybersécurité, BTP, Industrie…).

Notre filiale Wolsome Bank intervient exclusivement auprès de clients Grands Comptes de la Banque et Finance tels que BNP, le groupe BPCE, BRED, Société Générale, Crédit Agricole…

À l’écoute des besoins de nos clients, nous cherchons à leur proposer des consultants spécialisés et reconnus pour leur maîtrise techniques et leur savoir-être afin de les accompagner dans la réalisation de leurs projets.

Rejoindre Wolsome c’est intégrer une entreprise où règne une atmosphère bienveillante, saine et favorable au bien-être des collaborateurs.

Dans le cadre de notre politique Diversité et Inclusion, tous nos métiers sont ouverts aux personnes en situation de handicap. Wolsome s'engage à assurer l'égalité des chances.

Postulez dès maintenant et venez faire la différence avec nous !