Data Engineer - Python/IA Agentic H/F

Jems Group; Le Chesnay-Rocquencourt; On-site; EUR 70,000 - 110,000; Full time

Job summary

Jems Group recherche un Data Engineer confirmé, spécialisé Python et IA, pour concevoir et industrialiser des pipelines Data dans des environnements Cloud et Big Data à Paris. Vous contribuerez au cycle de vie des projets, de l'architecture à la mise en production, avec un focus sur les performances et la scalabilité.

Vous manipulerez PySpark, Spark, Databricks, et développerez des solutions IA générative selon les projets, tout en assurant les meilleures pratiques CI/CD et la sécurité des

Qualifications

• Bac+5 ou équivalent en informatique, data ou SI.
• Au moins 5 ans d'expérience en Data Engineering.
• Solide maîtrise de conception et industrialisation de solutions Data.

Responsibilities

• Concevoir et maintenir des pipelines de données ETL/ELT.
• Optimiser les pipelines Spark et PySpark pour de gros volumes.
• Industrialiser les déploiements via CI/CD et assurer la production.
• Intervenir sur Databricks, AWS et Azure et sécuriser les flux.
• Conduire des revues de code et encadrer les développeurs.

Skills

Python

SQL

PySpark / Apache Spark

Bash

CI/CD

Monitoring/Logging

Databricks

Education

Bac+5 ou équivalent en informatique/data/SI

Tools

Git / GitHub / GitLab

Docker

Kubernetes

Job description

Dans le cadre du développement de nos activités Data, nous recherchons un(e) Data Engineer confirmé(e) - Python/IA Agentic H/F en CDI sur Paris disposant d'une solide expertise dans la conception et l'industrialisation de pipelines de données sur des environnements Cloud et Big Data.

Vous interviendrez sur des projets à forts enjeux techniques et métier, au sein d'environnements complexes nécessitant des compétences avancées en traitement de données distribuées, optimisation des performances et mise en production de solutions Data.

Vous serez impliqué(e) sur l'ensemble du cycle de vie des projets, de la conception des architectures techniques au déploiement des pipelines en production, en passant par le développement, les phases de tests et l'optimisation des traitements.

Vous pourrez également intervenir sur des projets innovants intégrant des cas d'usage d'Intelligence Artificielle générative et des architectures basées sur les LLM.

1. Conception et développement Data

• Concevoir, développer et maintenir des pipelines de données ETL/ELT.
• Développer des traitements distribués avec Python, PySpark et Apache Spark.
• Concevoir des architectures Data robustes, évolutives et adaptées aux enjeux de volumétrie.
• Mettre en place des frameworks et composants réutilisables pour industrialiser les développements.
• Participer à la modélisation et à l'intégration de données issues de sources hétérogènes.
• Garantir la qualité, la cohérence et la fiabilité des données.
• Optimiser les performances des traitements Spark et PySpark sur des volumes importants de données.
• Analyser les performances des jobs et identifier les axes d'amélioration (Spark UI, partitionnement, jointures, gestion des ressources et dimensionnement des clusters).
• Industrialiser les pipelines et automatiser les déploiements via des chaînes CI/CD.
• Assurer le monitoring, la supervision et la maintenance des traitements en production.
• Mettre en place des mécanismes de gestion des erreurs, de reprise et de traçabilité.
• Participer à l'amélioration continue des plateformes Data.

3. Environnements Cloud et Big Data

• Intervenir sur des plateformes Data Cloud, notamment Databricks, AWS et/ou Azure.
• Concevoir et faire évoluer des architectures de stockage et de traitement distribuées.
• Développer et déployer des solutions Data dans des environnements containerisés (Docker, Kubernetes).
• Participer à la sécurisation des flux et à la gestion des accès aux données.
• Accompagner les équipes dans l'adoption des bonnes pratiques de développement et d'exploitation.

4. Leadership et expertise technique

• Participer aux choix d'architecture et aux orientations techniques des projets.
• Définir et promouvoir les standards de développement et les bonnes pratiques Data Engineering.
• Réaliser des revues de code et accompagner techniquement les développeurs.
• Concevoir des accélérateurs techniques et des socles de développement réutilisables.
• Participer à la planification et à la priorisation des développements.
• Accompagner la montée en compétences des équipes techniques.

5. Innovation Data & IA (selon les projets)

• Participer à l'intégration de solutions d'IA générative dans les écosystèmes Data.
• Contribuer à la conception de pipelines d'ingestion documentaire et de préparation des données pour des applications RAG.
• Intervenir sur des architectures basées sur les LLM et des systèmes multi-agents.
• Participer à l'industrialisation et au déploiement de ces solutions.

Votre profil

De formation supérieure en informatique, Data ou systèmes d'information (Bac+5 ou équivalent), vous justifiez d'au moins 5 ans d'expérience en Data Engineering.

Vous avez développé une solide expertise dans la conception, le développement et l'industrialisation de solutions Data, idéalement dans des environnements Cloud et Big Data.

Compétences techniques recherchées

Langages et traitement de données

• Python : maîtrise avancée.
• SQL : maîtrise avancée.
• PySpark / Apache Spark : expérience confirmée à experte.
• Bash : connaissance appréciée.

Plateformes Data et Cloud

• Databricks : expérience significative.
• Connaissance des architectures Data Lake / Data Warehouse.
• Expérience sur des solutions de stockage distribuées et des bases SQL/NoSQL.
• Git, GitLab ou GitHub.
• CI/CD et automatisation des déploiements.
• Monitoring, logging et supervision des pipelines.

IA générative : un plus

• Connaissance des LLM et des API OpenAI / Azure OpenAI.
• Expérience sur des architectures RAG et la recherche vectorielle.
• Connaissance des architectures multi-agents.