Streaming Data Engineer - Java/Kafka Streams & Spark

SKIILS; Suresnes; Hybride; EUR 60 000 - 90 000; Plein temps

Avantages offerts par ce poste

Mutuelle et titre de transport pris en

Télétravail partiel

Résumé du poste

Data Factorii recherche un Data Engineer Java/Kafka pour concevoir et développer des traitements de données en streaming et des architectures orientées événements au sein d'un environnement technique avancé.

Vous développerez des services et API en Java/Scala avec Spring Boot, orchestrerez les pipelines via Airflow/Cloud Composer et participerez à l'amélioration continue des plateformes Data.

Qualifications

• 5 ans minimum d'expérience en Data Engineering.
• Maîtrise Java et/ou Scala.
• Expérience en traitement de streaming avec Kafka Streams.
• Maîtrise des architectures data streaming (Kafka, Pub/Sub).
• Maîtrise Spring Boot pour le développement d'API et de services.
• Expérience avec Apache Airflow / Cloud Composer.
• Maîtrise Git et CI/CD (GitLab CI) et environnements Linux.
• Méthodologies Agile / Scrum.
• Connaissance d'Apache Spark, BigQuery, Elasticsearch.

Responsabilités

• Concevoir et développer des traitements de données distribués avec Kafka Streams.
• Concevoir des architectures orientées événements (Event-Driven).
• Développer des services et API robustes en Java et/ou Scala avec Spring Boot.
• Contribuer aux traitements ELT/ETL dans les pipelines existants.
• Orchestrer les traitements de données via Airflow / Cloud Composer.
• Industrialiser les développements Data avec Git et CI/CD (GitLab CI).
• Collaborer avec les équipes techniques et métiers.
• Participer à l'amélioration continue et aux bonnes pratiques.

Connaissances

Data streaming

Event-driven

Java

Scala

Kafka

Kafka Streams

Spring Boot

API development

ETL/ELT

Git

CI/CD

Linux

Agile/Scrum

Observability

Outils

Kafka

Kafka Streams

Pub/Sub

Airflow

Cloud Composer

Git

GitLab CI

Kubernetes

Apache Spark

BigQuery

Bigtable

Elasticsearch

Scalatra

Description du poste

Data Factorii recherche un Data Engineer Java/Kafka pour concevoir et développer des traitements de données en streaming et des architectures orientées événements au sein d'un environnement technique avancé.

Vous développerez des services et API en Java/Scala avec Spring Boot, orchestrerez les pipelines via Airflow/Cloud Composer et participerez à l'amélioration continue des plateformes Data.