Data Engineer Hadoop / PySpark H/F

Kicklox; Charenton-le-Pont; Hybride; EUR 50 000 - 60 000; Plein temps

Résumé du poste

ATLANSE recherche un Data Engineer expérimenté pour piloter l’ingestion, la préparation et la transformation des données dans le Data Lake, et faire évoluer les pipelines et la plateforme Data.

Compétences requises: Python, PySpark, Hive, SQL, Shell, Linux, Git, Jenkins, Jira, GCP BigQuery et Alteryx. Travail en mode CDI avec télétravail partiel et localisation Charenton-le-Pont.

Qualifications

• Maîtrise de Python, PySpark et Hive pour ingestion et transformation des données.
• Bonnes compétences SQL et shell sous Unix/Linux pour le scripting et lAutomation.
• Maîtrise des outils Git, Jenkins et Jira pour CI/CD et suivi des tâches.

Responsabilités

• Mettre en œuvre de nouvelles ingestions de données au sein du Data Lake et développer les traitements de préparation et de transformation des données.
• Maintenir et faire évoluer les outils de gestion des pipelines et les scripts PySpark et Shell associés.
• Analyser et résoudre les problématiques techniques sur le périmètre Data et proposer des évolutions de la plateforme.

Connaissances

Python

PySpark

Hive

SQL

Shell

Linux

Git

Jenkins

Jira

GCP BigQuery

Alteryx

Outils

Git

Jenkins

Jira

GCP BigQuery

Alteryx

Altair

Description du poste

Missions à réaliser

En lien avec l’équipe de production applicative / DevOps, vous serez en charge de la mise en œuvre technique des évolutions du Data Lake. Vous interviendrez sur l’ingestion, la préparation et la transformation des données ainsi que sur l’évolution des pipelines.

Secteurs

Banque & Assurance

Ingestion et transformation des données

• Mettre en œuvre de nouvelles ingestions de données au sein du Data Lake
• Développer les traitements de préparation et de transformation des données
• Développer les traitements associés en Python, PySpark et Hive

Développement et évolution des pipelines

• Maintenir et faire évoluer les outils de gestion des pipelines de données
• Développer et maintenir les traitements en PySpark et les scripts Shell associés
• Analyser et résoudre les problématiques techniques sur le périmètre

Evolution de la plateforme Data

• Identifier les besoins d’évolution de la plateforme liés aux traitements et pipelines de données
• Formaliser et transmettre à l’équipe DevOps les demandes relatives aux évolutions de la plateforme
• Rédiger les spécifications techniques nécessaires aux évolutions mises en œuvre

Modalités

• Date de démarrage : dès que possible
• Candidats recherchés : 1
• Expérience : 5+ ans
• Type de contrat : CDI, Temps complet
• Rémunération : 50000 € - 60000 € par an selon expérience
• Localisation : 94220 Charenton-le-Pont, France
• Télétravail partiel

Le profil recherché

Compétences requises

Python pyspark hive, SQL shell linux git jenkins jira, GCP Bigquery Alteryx python

Description Du Profil

• Excellente maîtrise de l’écosystème Hadoop
• Maîtrise du développement Python, PySpark et Hive
• Bonne connaissance de SQL et du scripting Shell sous Unix/Linux
• Bonne connaissance des outils Git, Jenkins et Jira
• Expérience dans des environnements Agile / Scrum
• Connaissance d’Indexima, Alteryx, Altair, GCP / BigQuery ou des bibliothèques Python orientées API appréciée

Qualités Personnelles

• Autonomie et capacité à prendre des initiatives
• Capacité d’analyse pour résoudre des problèmes complexes
• Rigueur et aptitude à rédiger des spécifications btechniques claires et précises
• Bon relationnel et capacité à travailler en équipe

Langues

Français, Anglais

Catégories

Data Engineer

Les secteurs d'activité

Services & Systèmes d'Informations

Présentation

ATLANSE se positionne comme le partenaire de votre évolution numérique, en plaçant la responsabilité et la durabilité au cœur de sa démarche. Nous optimisons la performance de votre système d’information, en nous appuyant sur notre ressource la plus précieuse : notre capital humain.

Taille de l'entreprise

Entre 15 et 50 salariés

Type de contrat : CDI ou portage ATLANSE

Niveau d’expérience : 3 à 6 ans

Secteur : Banque

Localisation : Charenton Le Pont (94)

Langues : Français et anglais professionnels impératifs