Data Engineer Java (H/F)

DGTL Performance; Lyon; Hybrid; EUR 65,000 - 90,000; Full time

Benefits offered by this job

Télétravail partiel (2 jours/semaine)

Localisation Lyon

Job summary

DGTL Performance recherche un Data Engineer confirmé pour rejoindre une grande plateforme data. Vous concevrez et développerez des services de traitement de données accessibles via API, tout en accélérant les traitements analytiques et en renforçant l'alignement entre les besoins métier et décisionnels.

Vous évoluerez dans un cadre cloud moderne, agile/Scrum, avec des projets autour de référentiels critiques et d'optimisation de pipelines.

Qualifications

• Solide expérience en développement Java et/ou Scala (3–7 ans) avec programmation fonctionnelle
• Maîtrise d'Apache Spark pour le traitement distribué sur de gros volumes
• Expertise Apache Kafka pour la gestion des flux de données
• Expérience avec Google Cloud Platform (GCP) et BigQuery, SQL avancé
• Compétences DBT pour l'orchestration des pipelines
• Expérience Pub/Sub pour ingestion et traitement en temps réel
• Maîtrise CI/CD, GitLab CI/CD, Docker et Docker Compose
• Connaissance Linux et outils CLI
• Expérience Git et workflows collaboratifs
• Agilité/Scrum et capacité à itérer rapidement
• Formation Bac+5 en informatique ou équivalent

Responsibilities

• Concevoir et développer des services de traitement de données en Java et/ou Scala
• Architecturer et maintenir des pipelines avec Spark et Kafka
• Piloter ingestion et traitement de flux via Pub/Sub
• Optimiser requêtes et modèles de données dans BigQuery et SQL avancé
• Orchestrer les workflows avec DBT
• Mettre en place CI/CD via GitLab CI/CD et Docker Compose
• Contribuer à l'évolution de l'infrastructure cloud sur GCP
• Collaborer avec les équipes métier, data science et infra dans un cadre Agile
• Documenter et maintenir les standards de qualité et de performance

Skills

Java/Scala

Functional programming

Spark

Kafka

GCP/BigQuery

DBT

Pub/Sub

CI/CD (GitLab)

Docker

Git

Linux/CLI

Agile/Scrum

English/Français technique

Education

Bac+5 en informatique

Tools

BigQuery

DBT

Pub/Sub

Docker

GitLab CI/CD

Job description

DGTL / Signe + est le facilitateur pour tous les acteurs qui recherchent des ressources ou des missions DATA.
Spécialiste du marché Data et BI, nous intervenons dans toute la France comme à l'étranger ; en sous-traitance, pré-embauche, recrutement, portage commercial, portage salarial, etc.
Depuis 2018, nous accompagnons nos clients avec proximité, juste prix et préoccupation éthique de tous les instants.
https://www.dgtl-performance.com

Le poste :

Rejoignez une grande plateforme data au sein d'un acteur majeur du secteur de la grande distribution. Vous contribuerez à la conception et au développement de services digitaux centralisés, permettant aux équipes métier d'accéder à des données fiables, accessibles et exploitables via API, tout en accélérant les traitements analytiques et renforçant l'alignement entre les besoins opérationnels et décisionnels.

Vous interviendrirez dans un environnement technique moderne, basé sur le cloud et l'écosystème big data, au sein d'une équipe agile et collaborative. Vos missions porteront notamment sur des projets à forte valeur ajoutée liés à la gestion de référentiels critiques (articles, points de vente) et à l'optimisation des pipelines de données.

Responsabilités :

• Concevoir et développer des services de traitement de données robustes et scalables en Java et/ou Scala, en appliquant les principes de programmation fonctionnelle
• Architcter et maintenir des pipelines de données complexes utilisant Apache Spark et Apache Kafka, en garantissant performance et fiabilité sur de grands volumes
• Piloter l'ingestion et le traitement de flux de données en temps réel via Pub/Sub, en assurant la cohérence et la qualité des données
• Optimiser les requêtes et les modèles de données dans BigQuery, en maîtrisant le SQL avancé pour extraire des insights sur des volumes massifs
• Orchestrer et automatiser les workflows de données avec DBT (Data Build Tool), en structurant les transformations et les dépendances
• Mettre en place et maintenir les chaînes CI/CD via GitLab CI/CD et Docker Compose, en garantissant des déploiements fiables et reproductibles
• Contribuer à l'évolution de l'infrastructure cloud sur Google Cloud Platform (GCP), en suivant les bonnes pratiques de sécurité et d'optimisation
• Collaborer activement avec les équipes métier, data science et infrastructure dans un contexte Agile/Scrum, en partageant les connaissances et en proposant des améliorations continues
• Documenter et maintenir les standards de qualité et de performance des solutions développées

Télétravail : 2 jours par semaine
Localisation : Lyon

Indispensables :

• Solide expérience en développement Java et/ou Scala (minimum 3 à 7 ans), avec une compréhension approfondie de la programmation fonctionnelle et des paradigmes réactifs
• Maîtrise confirmée d'Apache Spark pour le traitement distribué de données et optimisation des performances sur de gros volumes
• Expertise en Apache Kafka pour la gestion des flux de données asynchrones et la construction d'architectures événementielles
• Expérience significative avec Google Cloud Platform (GCP) et maîtrise de BigQuery, incluant le SQL avancé et les optimisations de requêtes
• Compétences solides en DBT (Data Build Tool) pour l'orchestration et la gestion des pipelines de transformation de données
• Expérience pratique avec Pub/Sub pour l'ingestion et le traitement de flux en temps réel
• Maîtrise des outils CI/CD, notamment GitLab CI/CD, et familiarité avec Docker et Docker Compose pour la conteneurisation
• Bonne connaissance de l'environnement Linux et des outils ligne de commande (bash, scripting)
• Expérience confirmée avec Git pour la gestion de version et les workflows collaboratifs
• Capacité à travailler en méthodologie Agile/Scrum et à s'adapter à des cycles itératifs
• Formation Bac+5 en informatique ou expérience professionnelle équivalente

Fortement appréciés :

• Expérience antérieure dans le secteur du retail, de la grande distribution ou de l'e-commerce
• Excellente maîtrise de la communication écrite et orale en français
• Capacité d'analyse fine et talent pour proposer des solutions architecturales adaptées aux contraintes métier et techniques
• Rigueur dans le respect des délais et des standards de qualité du code
• Esprit collaboratif affirmé, avec aptitude au partage de connaissances et au mentorat
• Démarche proactive d'amélioration continue et de veille technologique