Data Engineer Streaming (Java / Kafka Stream / Spark) H/F

SKIILS; Puteaux; Híbrido; EUR 65.000 - 90.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

Télétravail partiel

Mutuelle

Titre de transport

Équipe d'experts passionnés

Descripción de la vacante

Data Factorii recherche un Data Engineer Java/Kafka pour concevoir des plateformes de streaming en temps réel, maîtrisant Java, Scala et Kafka Streams dans un cadre Data/Cloud. Vous développerez des services avec Spring Boot, piloterez des pipelines ELT/ETL et orchestrerez les flux via Airflow, tout en assurant l’industrialisation avec GitLab CI et Kubernetes.

En équipe agile, vous collaborez avec les métiers pour livrer des solutions robustes et évolutives.

Formación

• 5 ans minimum d'expérience en Data Engineering.
• Maîtrise Java et/ou Scala confirmée.
• Expérience en streaming avec Kafka Streams.
• Connaissance des architectures data streaming (Kafka, Pub/Sub).
• Maîtrise de Spring Boot pour API/services.
• Expérience ETL/ELT.
• Maîtrise Apache Airflow/Cloud Composer.
• Maîtrise Git, CI/CD (GitLab CI) et Linux.
• Expérience Agile/Scrum.

Responsabilidades

• Concevoir et développer des traitements de données distribués : construire, maintenir et faire évoluer des applications de streaming performantes avec Kafka Streams.
• Développer des architectures orientées événements (Event-Driven) avec Kafka et Pub/Sub.
• Développer des services et API robustes en Java et/ou Scala via Spring Boot.
• Contribuer aux traitements ELT/ETL dans les pipelines existants.
• Orchestrer les pipelines via Apache Airflow / Cloud Composer.
• Industrialiser les développements Data avec Git et pipelines CI/CD (GitLab CI).
• Collaborer avec les équipes techniques et métiers pour proposer des solutions adaptées.
• Participer à l'amélioration continue, performances et bonnes pratiques.

Conocimientos

Java

Scala

Kafka Streams

Linux

Agile/Scrum

Herramientas

Spring Boot

Git

GitLab CI

Airflow

Cloud Pub/Sub

Kubernetes

BigQuery

Descripción del empleo

Tu es passionné(e) par la Data Engineering et tu aimes concevoir des plateformes de streaming capables de traiter des flux de données en temps réel ? Java, Scala, Kafka et les architectures orientées événements font partie de ton quotidien ? Rejoins la Guild Data Factorii en tant que Data Engineer Java / Kafka et participe à des projets stratégiques de transformation data au sein d'un environnement technique de pointe.

Mais qu'est-ce que l'équipe Data Factorii adresse ?

En tant que Data Engineer H/F, tes missions seront de :

• Concevoir et développer des traitements de données distribués : construire, maintenir et faire évoluer des applications de streaming performantes avec Kafka Streams, capables de gérer de très grands volumes tout en garantissant leur fiabilité.
• Développer des architectures orientées événements (Event-Driven) : participer à la conception de plateformes de streaming temps réel exploitant Kafka et Pub/Sub.
• Développer des services et API robustes : concevoir, développer et maintenir des composants applicatifs en Java et/ou Scala, en t'appuyant sur SpringBoot.
• Contribuer aux traitements ELT/ETL : participer au développement et à l'évolution des traitements de transformation de données au sein des pipelines existants.
• Orchestrer les traitements de données : planifier, monitorer et fiabiliser les pipelines via Apache Airflow / Cloud Composer.
• Industrialiser les développements Data : automatiser les déploiements et garantir la qualité des livrables grâce à Git et aux pipelines CI/CD (GitLab CI).
• Collaborer avec les équipes techniques et métiers : travailler en étroite collaboration avec les équipes de développement, de production et les différents interlocuteurs métier afin de proposer des solutions adaptées aux enjeux business.
• Participer à l'amélioration continue : être force de proposition sur les évolutions techniques, les performances des traitements et les bonnes pratiques de développement.

Concrètement, qu'est-ce qu'on demande ?

En 1er, un savoir-être en phase avec notre culture :

Tu es curieux(se) et passionné(e) par les technologies Data.

Tu apprécies le travail en équipe et sais collaborer dans des environnements agiles.

Tu fais preuve de rigueur, d'autonomie et d'un fort esprit d'analyse.

Tu es force de proposition et aimes relever des défis techniques.

En 2nd, un bagage technique solide :

• Une expérience de 5 ans minimum en tant que Data Engineer.
• Une maîtrise confirmée de Java et/ou avec une bonne connaissance de Scala.
• Une expérience significative en développement de traitements de streaming avec Kafka Streams.
• Une bonne maîtrise des architectures de data streaming (Kafka, Pub/Sub).
• Une bonne maîtrise de Spring Boot pour le développement d'API et de services.
• Une expérience en traitement de données ETL/ELT.
• Une expérience avec Apache Airflow / Cloud Composer.
• Une maîtrise des outils Git, des chaînes CI/CD (GitLab CI) et des environnements Linux.
• Une expérience des méthodologies Agile / Scrum.

Les petits plus qui feront la différence :

• Une connaissance d'Apache Spark pour les traitements batch et distribués.
• Une expérience avec BigQuery, Bigtable et Elasticsearch.
• Une expérience en développement d'API avec Scalatra et en déploiement d'applications sur Kubernetes.
• Une bonne compréhension des enjeux de performance, de scalabilité et d'industrialisation des traitements Data à grande échelle.
• Une expérience des bonnes pratiques d'observabilité (monitoring, logging, alerting) serait appréciée.

Et surtout, tu as envie de participer à des projets ambitieux où la Data est au cœur de la stratégie des entreprises ?

Alors rejoins Data Factorii et construisons ensemble les plateformes Data de demain !

Ce que nous t'offrons ?

• Un salaire attractif qui évolue en fonction de ton expérience et de tes compétences.
• Des projets Data à forte valeur ajoutée, au sein d'environnements techniques modernes et innovants.
• Une montée en compétences continue sur les technologies Big Data et Cloud les plus recherchées du marché.
• Une mutuelle et un titre de transport pris en charge à 100 %.
• Du télétravail partiel pour favoriser un bon équilibre entre vie professionnelle et personnelle.
• Et surtout, l'opportunité de rejoindre une équipe d'experts passionnés par la Data et les nouvelles technologies.

Chez nous, aucun process de recrutement ne doit prendre plus de 15 jours et il est super simple !

• 1. LE MATCHING : Votre dossier est sélectionné, C’est l’élément déclencheur de l’aventure.
• 2. LA RENCONTRE : Axé sur le savoir être, car nous souhaitons avant tout travailler avec des personnalités
• 3. LA VALIDATION: Axée sur le savoir-faire, et là c’est notre leader technique qui prend le relais
• 4. … Il n’y a pas de 4ème étape ! A partir de la validation, ton onboarding est finalisé