Data Engineer Streaming (Java / Kafka Stream / Spark) H/F

Skiils; Suresnes; Hybride; EUR 65 000 - 100 000; Plein temps

Avantages offerts par ce poste

Télétravail partiel

Mutuelle et transport pris en charge

Résumé du poste

Data Factorii recherche un Data Engineer passionné par les plateformes de streaming et le traitement en temps réel pour rejoindre une équipe technique de pointe. Vous concevrez et déployerez des pipelines distribués avec Kafka et orchestrerez les flux via Airflow, tout en développant des API robustes en Java/Scala et Spring Boot.

Le rôle exige une expertise en ELT/ETL, des architectures orientées événements et une forte appétence pour l’optimisation des performances, dans un cadre agile et

Qualifications

• Expérience minimale de 5 ans en Data Engineering.
• Maîtrise confirmée de Java et/ou Scala.
• Expérience en développement de traitements de streaming avec Kafka Streams.
• Bonne maîtrise des architectures de data streaming (Kafka, Pub/Sub).
• Maîtrise de Spring Boot pour le développement d’API et de services.
• Expérience avec Apache Airflow / Cloud Composer.
• Maîtrise des outils Git, CI/CD (GitLab CI) et Linux.
• Connaissance des méthodes Agile / Scrum.

Responsabilités

• Concevoir et développer des traitements de données distribués avec Kafka Streams.
• Développer des architectures orientées événements (Event-Driven).
• Concevoir, développer et maintenir des API et services en Java/Scala avec Spring Boot.
• Contribuer aux traitements ELT/ETL et orchestrer les pipelines via Airflow.
• Industrialiser les développements et garantir la qualité via Git et CI/CD.
• Collaborer avec les équipes techniques et métiers pour proposer des solutions adaptées.
• Participer à l’amélioration continue et aux performances des traitements Data.

Connaissances

Java

Scala

Kafka

Kafka Streams

Spring Boot

ETL/ELT

Airflow

Git CI/CD

Linux

Agile/Scrum

Outils

Kafka Streams

Apache Airflow

Cloud Composer

GitLab CI

Kubernetes

BigQuery

Elasticsearch

Pub/Sub

Description du poste

Tu es passionné(e) par la Data Engineering et tu aimes concevoir des plateformes de streaming capables de traiter des flux de données en temps réel ? Java, Scala, Kafka et les architectures orientées événements font partie de ton quotidien ?
Rejoins la Guild Data Factorii en tant que Data Engineer Java / Kafka et participe à des projets stratégiques de transformation data au sein d’un environnement technique de pointe.

Mais qu’est-ce que l’équipe Data Factorii adresse ?

En tant que Data Engineer H/F, tes missions seront de :

• Concevoir et développer des traitements de données distribués : construire, maintenir et faire évoluer des applications de streaming performantes avec Kafka Streams, capables de gérer de très grands volumes tout en garantissant leur fiabilité.

• Développer des architectures orientées événements (Event-Driven) : participer à la conception de plateformes de streaming temps réel exploitant Kafka et Pub/Sub.

• Développer des services et API robustes : concevoir, développer et maintenir des composants applicatifs en Java et/ou Scala, en t’appuyant sur SpringBoot.

• Contribuer aux traitements ELT/ETL : participer au développement et à l’évolution des traitements de transformation de données au sein des pipelines existants.

• Orchestrer les traitements de données : planifier, monitorer et fiabiliser les pipelines via Apache Airflow / Cloud Composer.

• Industrialiser les développements Data : automatiser les déploiements et garantir la qualité des livrables grâce à Git et aux pipelines CI/CD (GitLab CI).

• Collaborer avec les équipes techniques et métiers : travailler en étroite collaboration avec les équipes de développement, de production et les différents interlocuteurs métier afin de proposer des solutions adaptées aux enjeux business.

• Participer à l’amélioration continue : être force de proposition sur les évolutions techniques, les performances des traitements et les bonnes pratiques de développement.

Concrètement, qu’est-ce qu’on demande ?

En 1er, un savoir-être en phase avec notre culture :Tu es curieux(se) et passionné(e) par les technologies Data.Tu apprécies le travail en équipe et sais collaborer dans des environnements agiles.Tu fais preuve de rigueur, d’autonomie et d’un fort esprit d’analyse.Tu es force de proposition et aimes relever des défis techniques.

En 2nd, un bagage technique solide :

• Une expérience de 5 ans minimum en tant que Data Engineer.
• Une maîtrise confirmée de Java et/ou avec une bonne connaissance de Scala.
• Une expérience significative en développement de traitements de streaming avec Kafka Streams.
• Une bonne maîtrise des architectures de data streaming (Kafka, Pub/Sub).
• Une bonne maîtrise de Spring Boot pour le développement d’API et de services.
• Une expérience en traitement de données ETL/ELT.
• Une expérience avec Apache Airflow / Cloud Composer.
• Une maîtrise des outils Git, des chaînes CI/CD (GitLab CI) et des environnements Linux.
• Une expérience des méthodologies Agile / Scrum.

Les petits plus qui feront la différence :

• Une connaissance d’Apache Spark pour les traitements batch et distribués.
• Une expérience avec BigQuery, Bigtable et Elasticsearch.
• Une expérience en développement d’API avec Scalatra et en déploiement d’applications sur Kubernetes.
• Une bonne compréhension des enjeux de performance, de scalabilité et d’industrialisation des traitements Data à grande échelle.
• Une expérience des bonnes pratiques d’observabilité (monitoring, logging, alerting) serait appréciée.

Et surtout, tu as envie de participer à des projets ambitieux où la Data est au cœur de la stratégie des entreprises ?Alors rejoins Data Factorii et construisons ensemble les plateformes Data de demain !

Ce que nous t’offrons ?

• Un salaire attractif qui évolue en fonction de ton expérience et de tes compétences.
• Des projets Data à forte valeur ajoutée, au sein d’environnements techniques modernes et innovants.
• Une montée en compétences continue sur les technologies Big Data et Cloud les plus recherchées du marché.
• Une mutuelle et un titre de transport pris en charge à 100 %.
• Du télétravail partiel pour favoriser un bon équilibre entre vie professionnelle et personnelle.
• Et surtout, l’opportunité de rejoindre une équipe d’experts passionnés par la Data et les nouvelles technologies.