[FBO] Architecte Data & Data Integration – DataOps / LLM (IT) / Freelance

Onyx-Conseil; Montreuil-sur-Mer; Sur place; EUR 60 000 - 90 000; Plein temps

Résumé du poste

Onyx-Conseil recherche un ingénieur data pour concevoir et maintenir des pipelines de données robustes, collectant et transformant les données depuis sources internes et externes vers les environnements du projet.

Vous intégrerez des flux entre sources, systèmes applicatifs et environnements de simulation, en assurant traçabilité et fiabilité, avec une architecture modulaire et scalable.

Qualifications

• Expérience avérée dans la construction et l’optimisation de pipelines de données.
• Maîtrise des formats de données hétérogènes et outils de data engineering.
• Connaissance des architectures orientées microservices et des principes CI/CD.

Responsabilités

• Conception, mise en œuvre, test et maintenance de pipelines de données robustes.
• Intégration fluide des flux entre sources de données, systèmes applicatifs et environnements de simulation.
• Participation à une architecture modulaire et scalable pensée pour prototypage rapide puis industrialisation.
• Développement de connecteurs et d’interfaces pour alimenter les agents LLM et faciliter l’échange de données.
• Implémentation de DataOps: orchestration des pipelines, surveillance des flux, gestion des erreurs et versioning des schémas.

Connaissances

Ingénierie de pipelines de données

Python

SQL

CI/CD

Microservices

Cloud / hybride

Prefect

Airflow

RabbitMQ

Kafka

LLM integration

Outils

Prefect

Airflow

RabbitMQ

Kafka

Description du poste

Les missions sont :

• Conception, mise en œuvre, test et maintenance de pipelines de données robustes pour assurer la collecte, la transformation et la disponibilité des données depuis diverses sources internes et externes vers les environnements de du projet.
• Intégration fluide des flux de données entre les sources de données de l’entreprise, les systèmes applicatifs et les environnements de simulation, en garantissant la fiabilité et la traçabilité des échanges.
• Participation à la mise en place d’une architecture de données modulaire et scalable, pensée pour le prototypage rapide mais avec une trajectoire claire vers l’industrialisation.
• Contribution au développement de connecteurs, de microservices et d’interfaces pour alimenter dynamiquement les agents LLM, tout en facilitant la circulation des données entre les agents et les modules d’analyse.
• Implémentation de pratiques de DataOps solides, incluant l’orchestration des pipelines, la surveillance des flux, la gestion des erreurs et le versioning des schémas de données.

Compétences souhaitées :

• Expérience confirmée dans la construction et l’optimisation de pipelines de données en environnement cloud ou hybride.
• Bonne compréhension de l’ingénierie des données, des formats de données hétérogènes (API, bases relationnelles, NoSQL, fichiers plats, logs…) et des outils associés.
• Connaissance des architectures orientées microservices et des principes d’intégration continue / déploiement continu (CI/CD).
• Maîtrise des langages de programmation pour la donnée, notamment Python et SQL ; des compétences en Bash est un plus.
• Pratique des outils d’orchestration de workflows (Prefect, Airflow, …) et des solutions de messagerie asynchrone (RabbitMQ, Kafka…).
• Compréhension du rôle des LLM dans une architecture de traitement distribué, et capacité à alimenter des agents LLM avec des données structurées et contextualisées.
• Forte capacité d’analyse, rigueur dans la gestion de flux complexes, et sens de la fiabilité des systèmes.