Data Engineer Streaming (Java / Kafka Stream / Spark) H/F

SKIILS; Suresnes; Hybride; EUR 60 000 - 90 000; Plein temps

Avantages offerts par ce poste

Mutuelle et titre de transport pris en

Télétravail partiel

Résumé du poste

Data Factorii recherche un Data Engineer Java/Kafka pour concevoir et développer des traitements de données en streaming et des architectures orientées événements au sein d'un environnement technique avancé.

Vous développerez des services et API en Java/Scala avec Spring Boot, orchestrerez les pipelines via Airflow/Cloud Composer et participerez à l'amélioration continue des plateformes Data.

Qualifications

• 5 ans minimum d'expérience en Data Engineering.
• Maîtrise Java et/ou Scala.
• Expérience en traitement de streaming avec Kafka Streams.
• Maîtrise des architectures data streaming (Kafka, Pub/Sub).
• Maîtrise Spring Boot pour le développement d'API et de services.
• Expérience avec Apache Airflow / Cloud Composer.
• Maîtrise Git et CI/CD (GitLab CI) et environnements Linux.
• Méthodologies Agile / Scrum.
• Connaissance d'Apache Spark, BigQuery, Elasticsearch.

Responsabilités

• Concevoir et développer des traitements de données distribués avec Kafka Streams.
• Concevoir des architectures orientées événements (Event-Driven).
• Développer des services et API robustes en Java et/ou Scala avec Spring Boot.
• Contribuer aux traitements ELT/ETL dans les pipelines existants.
• Orchestrer les traitements de données via Airflow / Cloud Composer.
• Industrialiser les développements Data avec Git et CI/CD (GitLab CI).
• Collaborer avec les équipes techniques et métiers.
• Participer à l'amélioration continue et aux bonnes pratiques.

Connaissances

Data streaming

Event-driven

Java

Scala

Kafka

Kafka Streams

Spring Boot

API development

ETL/ELT

Git

CI/CD

Linux

Agile/Scrum

Observability

Outils

Kafka

Kafka Streams

Pub/Sub

Airflow

Cloud Composer

Git

GitLab CI

Kubernetes

Apache Spark

BigQuery

Bigtable

Elasticsearch

Scalatra

Description du poste

Tu es passionné(e) par la Data Engineering et tu aimes concevoir des plateformes de streaming capables de traiter des flux de données en temps réel ? Java, Scala, Kafka et les architectures orientées événements font partie de ton quotidien ?
Rejoins la Guild Data Factorii en tant que Data Engineer Java / Kafka et participe à des projets stratégiques de transformation data au sein d'un environnement technique de pointe.

Mais qu'est-ce que l'équipe Data Factorii adresse ?

En tant que Data Engineer H/F, tes missions seront de :

Concevoir et développer des traitements de données distribués : construire, maintenir et faire évoluer des applications de streaming performantes avec Kafka Streams, capables de gérer de très grands volumes tout en garantissant leur fiabilité.

Développer des architectures orientées événements (Event-Driven) : participer à la conception de plateformes de streaming temps réel exploitant Kafka et Pub/Sub.

Développer des services et API robustes : concevoir, développer et maintenir des composants applicatifs en Java et/ou Scala, en t'appuyant sur SpringBoot.

Contribuer aux traitements ELT/ETL : participer au développement et à l'évolution des traitements de transformation de données au sein des pipelines existants.

Orchestrer les traitements de données : planifier, monitorer et fiabiliser les pipelines via Apache Airflow / Cloud Composer.

Industrialiser les développements Data : automatiser les déploiements et garantir la qualité des livrables grâce à Git et aux pipelines CI/CD (GitLab CI).

Collaborer avec les équipes techniques et métiers : travailler en étroite collaboration avec les équipes de développement, de production et les différents interlocuteurs métier afin de proposer des solutions adaptées aux enjeux business.

Participer à l'amélioration continue : être force de proposition sur les évolutions techniques, les performances des traitements et les bonnes pratiques de développement.

Concrètement, qu'est-ce qu'on demande ?

En 1er, un savoir-être en phase avec notre culture :

Tu es curieux(se) et passionné(e) par les technologies Data.

Tu apprécies le travail en équipe et sais collaborer dans des environnements agiles.

Tu fais preuve de rigueur, d'autonomie et d'un fort esprit d'analyse.

Tu es force de proposition et aimes relever des défis techniques.

En 2nd, un bagage technique solide :

Une expérience de 5 ans minimum en tant que Data Engineer.

Une maîtrise confirmée de Java et/ou avec une bonne connaissance de Scala.

Une expérience significative en développement de traitements de streaming avec Kafka Streams.

Une bonne maîtrise des architectures de data streaming (Kafka, Pub/Sub).

Une bonne maîtrise de Spring Boot pour le développement d'API et de services.

Une expérience en traitement de données ETL/ELT.

Une expérience avec Apache Airflow / Cloud Composer.

Une maîtrise des outils Git, des chaînes CI/CD (GitLab CI) et des environnements Linux.

Une expérience des méthodologies Agile / Scrum.

Les petits plus qui feront la différence :

Une connaissance d'Apache Spark pour les traitements batch et distribués.

Une expérience avec BigQuery, Bigtable et Elasticsearch.

Une expérience en développement d'API avec Scalatra et en déploiement d'applications sur Kubernetes.

Une bonne compréhension des enjeux de performance, de scalabilité et d'industrialisation des traitements Data à grande échelle.

Une expérience des bonnes pratiques d'observabilité (monitoring, logging, alerting) serait appréciée.

Et surtout, tu as envie de participer à des projets ambitieux où la Data est au cœur de la stratégie des entreprises ?

Alors rejoins Data Factorii et construisons ensemble les plateformes Data de demain !

Ce que nous t'offrons ?

Un salaire attractif qui évolue en fonction de ton expérience et de tes compétences.

Des projets Data à forte valeur ajoutée, au sein d'environnements techniques modernes et innovants.

Une montée en compétences continue sur les technologies Big Data et Cloud les plus recherchées du marché.

Une mutuelle et un titre de transport pris en charge à 100 %.

Du télétravail partiel pour favoriser un bon équilibre entre vie professionnelle et personnelle.

Et surtout, l'opportunité de rejoindre une équipe d'experts passionnés par la Data et les nouvelles technologies.

1. LE MATCHING : Votre dossier est sélectionné, C’est l’élément déclencheur de l’aventure.

2. LA RENCONTRE : Axé sur le savoir être, car nous souhaitons avant tout travailler avec des personnalités

3. LA VALIDATION: Axée sur le savoir-faire, et là c’est notre leader technique qui prend le relais

4. … Il n’y a pas de 4ème étape ! A partir de la validation, ton onboarding est finalisé