Architecte Data & Intégration – Pipelines Robustes et LLM

Onyx-Conseil; Montreuil-sur-Mer; Sur place; EUR 60 000 - 90 000; Plein temps

Résumé du poste

Onyx-Conseil recherche un ingénieur data pour concevoir et maintenir des pipelines de données robustes, collectant et transformant les données depuis sources internes et externes vers les environnements du projet.

Vous intégrerez des flux entre sources, systèmes applicatifs et environnements de simulation, en assurant traçabilité et fiabilité, avec une architecture modulaire et scalable.

Qualifications

• Expérience avérée dans la construction et l’optimisation de pipelines de données.
• Maîtrise des formats de données hétérogènes et outils de data engineering.
• Connaissance des architectures orientées microservices et des principes CI/CD.

Responsabilités

• Conception, mise en œuvre, test et maintenance de pipelines de données robustes.
• Intégration fluide des flux entre sources de données, systèmes applicatifs et environnements de simulation.
• Participation à une architecture modulaire et scalable pensée pour prototypage rapide puis industrialisation.
• Développement de connecteurs et d’interfaces pour alimenter les agents LLM et faciliter l’échange de données.
• Implémentation de DataOps: orchestration des pipelines, surveillance des flux, gestion des erreurs et versioning des schémas.

Connaissances

Ingénierie de pipelines de données

Python

SQL

CI/CD

Microservices

Cloud / hybride

Prefect

Airflow

RabbitMQ

Kafka

LLM integration

Outils

Prefect

Airflow

RabbitMQ

Kafka

Description du poste

Onyx-Conseil recherche un ingénieur data pour concevoir et maintenir des pipelines de données robustes, collectant et transformant les données depuis sources internes et externes vers les environnements du projet.

Vous intégrerez des flux entre sources, systèmes applicatifs et environnements de simulation, en assurant traçabilité et fiabilité, avec une architecture modulaire et scalable.