Data Engineer – Places

digiRocks; Île-de-France; Presencial; EUR 70 000 - 105 000; Tempo integral

Resumo da oferta

DigiRocks, une entreprise technologique française en forte croissance, recherche un Data Engineer expérimenté pour concevoir des pipelines géospatiaux en production.

Vous travaillerez avec les équipes Data, Backend et Produit et utiliserez PySpark, Spark SQL et Spark Streaming pour traiter des volumes importants et livrer des données fiables et exploitables.

L'anglais est la langue de travail; autonomie et impact direct sur les produits grand public vous attendent.

Qualificações

• Maîtrise Python et SQL, avec expérience de production sur Python ou Scala.
• Expérience dans la conception et l'exploitation de pipelines Data traitant des gros volumes.
• Maîtrise PySpark, Spark SQL et Spark Streaming.
• Connaissance des architectures Data Lake et des formats Parquet et Apache Iceberg.
• Expérience traitement de données géospatiales et POI.
• Capacité à améliorer qualité des données via métriques et qualité.
• Capacité à collaborer étroitement avec les ingénieurs Backend.

Responsabilidades

• Concevoir et développer des pipelines de données géospatiales à grande échelle.
• Améliorer la qualité et la fiabilité des données géographiques via nettoyage et rapprochement.
• Construire et optimiser des datasets fiables et réutilisables.
• Collaborer avec Backend et Produit pour déployer en production et mesurer l'impact utilisateur.
• Développer et maintenir des pipelines capables de traiter de gros volumes de données.

Conhecimentos

Python

SQL

PySpark

Spark SQL

Spark Streaming

Data Lake

Parquet

Apache Iceberg

Geospatial data

POI data

Data quality metrics

Backend collaboration

Ferramentas

Apache Flink

Rust

Descrição da oferta de emprego

Fan de Data Engineering, de géolocalisation et de traitement de données à grande échelle ? Envie de transformer des données géospatiales complexes en fonctionnalités concrètes utilisées par des millions de personnes ?

Rejoignez l'aventure !

Rejoignez une entreprise technologique française en forte croissance, spécialisée dans le développement de produits numériques grand public à vocation internationale.

Ils conçoivent des applications innovantes reposant sur des infrastructures performantes et l'exploitation de volumes importants de données en temps réel.

Vous rejoignez leur équipe Engineering, dans un environnement technique exigeant qui privilégie l'autonomie, l'expérimentation et la collaboration entre les équipes Data, Backend et Produit.

Mission & Résultats attendus

• Concevoir et développer des pipelines de données géospatiales à grande échelle, permettant de collecter, transformer et exploiter des informations relatives aux lieux, aux positions géographiques et aux Points of Interest (POI), en utilisant notamment Python, SQL et des technologies de traitement distribué.
• Améliorer la qualité et la fiabilité des données géographiques en développant des mécanismes de validation, de nettoyage, de rapprochement et d'enrichissement de données issues de sources multiples, souvent hétérogènes, incomplètes ou bruitées.
• Construire et optimiser des datasets fiables et réutilisables, définir des indicateurs de qualité et expérimenter de nouvelles approches de traitement et d'identification des lieux, notamment grâce à l'analyse de données, au prototypage et aux tests A/B.
• Collaborer avec les équipes Backend et Produit pour transformer les expérimentations en solutions robustes intégrées aux systèmes de production, tout en mesurant leur efficacité et leur impact sur l'expérience utilisateur.

3 résultats attendus

• Des données géospatiales fiables et exploitables à grande échelle

Vous développez des pipelines capables de traiter des volumes importants de données géographiques, tout en améliorant leur qualité, leur cohérence et leur disponibilité pour les applications.

• Une identification et une attribution des lieux plus précises

Vous améliorez les mécanismes de traitement des signaux géographiques pour rapprocher efficacement les informations issues de différentes sources, limiter les erreurs d'identification et renforcer la fiabilité des données relatives aux Points of Interest.

• Des traitements Data intégrés au produit et dont la qualité est mesurable

Vous transformez vos expérimentations en solutions opérationnelles, accompagnées de métriques et de mécanismes d'évaluation permettant de mesurer leur efficacité et d'améliorer continuellement la qualité des données.

Profil recherché pour le poste

Vous êtes un Data Engineer expérimenté, passionné par les problématiques de traitement distribué, de qualité des données et d'exploitation de données géospatiales à grande échelle.

Vous possédez :

• Une excellente maîtrise de Python et SQL, avec une expérience concrète de développement en production sur Python ou Scala.
• Une expérience significative dans la conception, le développement et l'exploitation de pipelines Data traitant des volumes importants.
• Une bonne maîtrise des technologies de traitement distribué, notamment PySpark, Spark SQL et Spark Streaming.
• Une connaissance des architectures Data Lake et des formats de stockage comme Parquet et Apache Iceberg.
• Une expérience pratique du traitement de données géospatiales, de Points of Interest (POI), du rapprochement de lieux ou de données décrivant des entités du monde réel.
• Une capacité à exploiter des données complexes, hétérogènes ou incomplètes, et à développer des mécanismes permettant d'en améliorer la qualité.
• Une bonne maîtrise des démarches d'expérimentation, de définition de métriques et de mesure de la qualité des données.
• Une capacité à collaborer étroitement avec des ingénieurs Backend et à comprendre les contraintes de systèmes applicatifs en production.

Sont particulièrement appréciées :

• Une expérience dans les domaines de la cartographie, de la mobilité, de la recherche locale ou des systèmes géospatiaux.
• Une connaissance des mécanismes de ranking, de recommandation, d'embeddings ou d'Entity Resolution.
• Une expérience avec Apache Flink ou d'autres technologies de traitement de flux en temps réel.
• Une capacité à comprendre ou modifier ponctuellement des composants Backend développés en Rust.

Vous êtes autonome, curieux, pragmatique et appréciez les problématiques techniques complexes.

Vous aimez comprendre les données en profondeur, identifier les sources d'erreurs, expérimenter différentes approches et mesurer objectivement les résultats de votre travail.

Vous êtes aussi à l'aise dans l'exploration de données et le prototypage que dans leur industrialisation et leur intégration à des systèmes de production.

Votre diplôme ou votre école ne sont pas des critères déterminants : vos réalisations techniques, votre expertise et votre capacité à résoudre des problèmes complexes feront la différence.

L'anglais est la langue de travail. La maîtrise du français n'est pas obligatoire.

L'avis du Rockeur / Rockeuse

Un poste particulièrement stimulant pour un Data Engineer souhaitant travailler sur des problématiques géospatiales complexes et avoir un impact direct sur le fonctionnement de produits numériques grand public.

Contrairement à de nombreux postes de Data Engineering principalement orientés vers l'alimentation de plateformes analytiques ou la production de reporting, vous interviendrez sur des données directement intégrées aux fonctionnalités des applications.

Vous travaillerez sur des problématiques techniques particulièrement intéressantes : traitement distribué de données massives, identification de lieux, résolution d'entités, qualité des données et intégration aux systèmes Backend.

Vous bénéficierez également d'une grande autonomie et pourrez intervenir sur l'ensemble du cycle de développement d'une solution Data, de l'exploration et du prototypage jusqu'à sa mise en production et à la mesure de son efficacité.