Data Engineer (H/F)

SILKHOM SAS; Nantes; Sur place; EUR 55 000 - 70 000; Plein temps

Avantages offerts par ce poste

Partage du succès : prime d'intéressem

Résumé du poste

Brief IA recherche un Data Engineer pour piloter le parcours de la donnée, de l acquisition à la mise à disposition pour traitement et valorisation, en lien avec le Responsable Système d Information et le Lead Data Scientist.

Vous concevrez et développerez des pipelines ETL/ELT sur Azure (Databricks, Azure ML), assurerez la qualité des données et accompagnerez les équipes Data et métiers dans la création de dashboards Power BI.

Qualifications

• Maîtrise des concepts de collecte, stockage et mise à disposition des données.
• Conception et développement de pipelines de données automatisés et scalables.
• Assurance qualité des données et documentation des bases de données.
• Industrialisation des modèles ML et monitoring en production sur Azure.

Responsabilités

• Analyser et spécifier les besoins métiers et les traduire en specs techniques robustes.
• Concevoir et développer pipelines ETL/ELT automatisés et scalables.
• Garantir la qualité des données et documenter les bases.
• Mettre les données à disposition via API et aider les équipes à créer des dashboards Power BI.
• Industrialiser les modèles ML et assurer leur suivi sur Azure.

Connaissances

SQL

Python

ETL/ELT

Data modeling

API usage

Power BI

Azure

Outils

SQL Server

PostgreSQL

Azure Databricks

Azure ML

Power BI

API

Description du poste

Rattaché(e) au Responsable Système d'Information, avec un lien fonctionnel vers la cheffe de projet Data, vous pilotez le parcours de la donnée, de son acquisition jusqu'à sa mise à disposition pour traitement et valorisation. Vous êtes le maillon clé entre les sources de données de l'entreprise et les équipes qui les exploitent.

Vos missions :

• Analyser et spécifier : recueillir les besoins des services métiers en matière de collecte, de stockage et de mise à disposition des données, puis les traduire en spécifications techniques robustes
• Concevoir et développer des pipelines de données (ETL/ELT) automatisés, scalables et robustes, pour agréger des sources variées et hétérogènes : essais en fermes pilotes, capteurs IoT d'élevage, données de formulation, API, bases de données
• Garantir la qualité des données : industrialiser le nettoyage, gérer et documenter les bases de données, réaliser les tests unitaires et d'intégration
• Mettre les données à disposition : concevoir et administrer les points d'exposition (API.) pour rendre la donnée accessible et sécurisée, et accompagner les équipes Data et métiers dans la création de leurs tableaux de bord Power BI
• Industrialiser les modèles : faire passer les modèles statistiques et de machine learning du stade de POC à la production sur Azure, en binôme avec le Lead Data Scientist, et assurer leur monitoring dans le temps
• Maintenir et faire évoluer les solutions déployées, rédiger la documentation et être force de proposition sur l'architecture data
• Ce poste s'adresse à un(e) data engineer doté(e) d'une première expérience réussie, qui souhaite construire une plateforme data dans un environnement à fort impact concret, aux côtés d'un lead technique.

Environnement technologique :

SQL (SQL Server, PostgreSQL.) / Python / ETL-ELT / orchestration de flux / Azure (Databricks, Azure ML) / Power BI / API

Avantages financiers :

• Partage du succès : prime d'intéressement et de participation, en moyenn