Data engineer

CELAD; Montreuil; Sur place; EUR 45 000 - 65 000; Plein temps

Résumé du poste

Une entreprise leader dans le secteur Big Data recherche un Développeur Big Data Java/Scala pour une mission longue, projet de migration DataHub V2. Vous serez responsable de la conception technique, du développement et de la maintenance d'applications Big Data dans un environnement à forte volumétrie. Rejoignez une équipe dynamique et travaillez avec des technologies de pointe dans un cadre Agile.

Qualifications

• Confirmé (3 à 6 ans d'expérience sur des environnements similaires).
• Proactif, rigoureux et à l'aise dans des contextes techniques exigeants.

Responsabilités

• Étude et conception technique des batchs.
• Développement Spark / Scala pour traitement de données volumineuses.
• Création de batchs de publication Kafka.

Connaissances

Apache Spark

Scala

SQL

Java

Kafka

Apache Airflow

Hadoop

Cloud

CI / CD

Agile

Outils

Jenkins

Gitflow

Description du poste

Nous sommes à la recherche d?un Développeur Big Data Java / Scala ? Projet Migration DataHub V2 Objectif de la mission : Assurer un service de développement Big Data dans un environnement distribué à forte volumétrie. Accompagnement sur les phases de conception, développement, industrialisation et maintien des traitements. Stack et compétences techniques requises : Apache Spark(maîtrise attendue) Scala(langage principal sur la squad) SQL(avancé) Java(notions de base à confirmées) Kafka(bonnes bases sur les événements, topics) Apache Airflow(idéalement une première expérience) Écosystème Hadoop : HDFS, Hive, Yarn (bonnes bases requises) Cloud(une première expérience Cloud valorisée, idéalement GCP ou AWS) CI / CD : Jenkins, Gitflow, notions de DevOps Méthodologie Agile : backlog, rituels, communication proactive Responsabilités principales : Étude et conception technique des batchs Développement Spark / Scala pour traitement de données volumineuses Récupération, transformation, enrichissement, restitution Création de batchs de publication Kafka Participation à la maintenance de la chaîne CI / CD Collaboration étroite avec les Business Analysts pour garantir qualité et lisibilité des libellés Gestion autonome de certains sujets (reporting, suivi, coordination) Profil recherché : Confirmé (3 à 6 ans d?expérience sur des environnements similaires) Proactif, rigoureux, à l?aise dans les contextes techniques exigeants Capacité à interagir avec des interlocuteurs techniques et fonctionnels Démarrage : ASAP Durée : mission longue (visibilité +12 mois) Profil candidat : Nous sommes à la recherche d?un Développeur Big Data Java / Scala ? Projet Migration DataHub V2 Objectif de la mission : Assurer un service de développement Big Data dans un environnement distribué à forte volumétrie. Accompagnement sur les phases de conception, développement, industrialisation et maintien des traitements. Stack et compétences techniques requises : Apache Spark(maîtrise attendue) Scala(langage principal sur la squad) SQL(avancé) Java(notions de base à confirmées) Kafka(bonnes bases sur les événements, topics) Apache Airflow(idéalement une première expérience) Écosystème Hadoop : HDFS, Hive, Yarn (bonnes bases requises) Cloud(une première expérience Cloud valorisée, idéalement GCP ou AWS) CI / CD : Jenkins, Gitflow, notions de DevOps Méthodologie Agile : backlog, rituels, communication proactive Responsabilités principales : Étude et conception technique des batchs Développement Spark / Scala pour traitement de données volumineuses Récupération, transformation, enrichissement, restitution Création de batchs de publication Kafka Participation à la maintenance de la chaîne CI / CD Collaboration étroite avec les Business Analysts pour garantir qualité et lisibilité des libellés Gestion autonome de certains sujets (reporting, suivi, coordination) Profil recherché : Confirmé (3 à 6 ans d?expérience sur des environnements similaires) Proactif, rigoureux, à l?aise dans les contextes techniques exigeants Capacité à interagir avec des interlocuteurs techniques et fonctionnels Démarrage : ASAP Durée : mission longue (visibilité +12 mois)

Créer une alerte emploi pour cette recherche