Mise en œuvre Data Lake et applications Stage 3ème année

LHIRR; Paris; On-site; EUR 15,000 - 19,000; Full time

Benefits offered by this job

Tickets restaurants 10€/jour

Transports pris en charge (60% ou 58€/

Job summary

LHIRR recherche un stagiaire en data engineering pour contribuer à la conception d’un Datalake et à la mise en place d’un pipeline de traitement de données énergétiques et bâtimentaires. Vous explorerez les données d’entrée et les métadonnées associées pour proposer une architecture adaptée.

Vous participerez à l’expérimentation sur des cas concrets, avec un accompagnement de l’équipe et une forte dimension d’appropriation des outils et concepts liés aux données, stockage et automatisation au

Qualifications

• Étudiant dans un domaine connexe à l’analyse de données ou à la programmation.
• Intérêt pour les projets ambitieux et la vulgarisation des connaissances.

Responsibilities

• Comprendre les structures de données d’entrée et de sortie utilisées.
• Proposer une pipeline et une architecture, stockages et automatisation.
• Mettre en place un Datalake selon l’architecture validée et accompagner l’équipe sur les cas d’usages.
• Expérimenter sur des cas concrets et encourager l’intégration de nouveaux cas d’usage.

Skills

Analyse de données

Programmation

Education

Domaine connexe à l’analyse de données

Job description

Le stage

Nous réalisons différents types de missions de conseil visant à réduire l’empreinte carbone des bâtiments, avec une spécialisation sur les bâtiments tertiaires. Ces missions nous amènent à produire des analyses structurées variées:

• Analyses énergétiques
• Calculs à partir de courbes de charge énergétiques
• Indicateurs de performance d’équipements techniques
• Sensibilité des consommations aux conditions météo extérieures

Dans ce cadre, nous collectons une vaste quantité de données hétérogènes (consommation d’énergie, températures, pressions, positions de vannes, etc.), et avons formalisé des analyses et formats de données structurés.

La phase de passage à l’échelle est cependant difficile et nécessite une infrastructure dédiée, permettant de faire le lien entre les données brutes récoltées, des données dans des formats standardisés et des formats consolidés dont nous avons besoin pour alimenter nos analyses.

l’approche par une architecture type «Datalake» semble adaptée pour résoudre cet enjeu: elle permet suffisamment de modularité pour s’adapter aux formats variés de données brutes, et peut intégrer des logiques de comparaison, de calcul et de regroupement dont nous avons besoin pour nos travaux. Une preuve de concept a été réalisée en interne et a produit des résultats satisfaisants pour envisager un déploiement à grande échelle.

Votre rôle sera alors de permettre la réalisation de ce projet, via:

• La compréhension des structures de données d’entrée et de sortie avec lesquelles nous travaillons
• La revue de l’état de l’art et la proposition d’une pipeline, tant sur les aspects de stockage que d’automatisation
• La mise en place d’un Datalake après un choix d’architecture définitif
• L’expérimentation sur des cas concrets et l’accompagnement de notre équipe sur l’intégration de nouveaux cas d’usages

Détail technique

1-Structuration de données d’entrée

Nous avons commencé à structurer les données que nous utilisons dans une carte mentale, permettant d’identifier les ensembles et les métadonnées pertinentes pour nos analyses.

Cela amène à différents types de données d’entrées:

• Valeurs numériques, pouvant être issues:
  • De flux de données automatisés (API)
  • D’export de données structurées depuis une base de données
  • De relevés manuels
• Métadonnées bâtimentaires (emplacement, propriétaire, taille, services, …)
• Données contextuelles: périodes de congés, zone climatique, etc…

Figure 2 – Extrait de la de la carte mentale produite lors de la preuve de concept réalisée en interne

2-Qu’est ce qu’un datalake?

Un datalake est une architecture de stockage centralisée permettant de conserver de grands volumes de données brutes, provenant de sources variées (bases de données, fichiers, API, capteurs, logs applicatifs…), sans imposer de structure ou de schéma fixe au moment de leur ingestion. Contrairement à un entrepôt de données traditionnel, qui exige un modèle de données défini en amont, le datalake accepte des données non structurées, semi-structurées ou structurées, dans leur format d’origine.

Une organisation courante consiste à structurer un datalake en plusieurs niveaux de qualité, souvent appelés architecture medallion :

• Couche bronze : données brutes, telles que reçues des sources, sans transformation ;
• Couche argent : données nettoyées, validées et structurées selon un schéma cohérent ;
• Couche or : données agrégées et prêtes à être exploitées pour l’analyse métier, le reporting ou les tableaux de bord.

3-Architecture de pipeline

Notre preuve de concept repose sur une base Iceberg (le datalake), mise à jour par des jupyter notebook orchestrés depuis un notebook «maitre». Les données d’entrée sont organisées en sous dossier, chacun comprenant un notebook de formatage dans un des formats standardisé dans le datalake.

Enfin, des scripts d’export permettent l’extraction des données structurées du datalake pour réaliser des formats prêts à l’emploi pour des analyses définies.

Cette architecture peut tout à fait faire l’objet de réflexions techniquesau début et durant le stage :

• Mode de stockage
• Technologie d’écriture et de lecture sur le Datalake
• Point d’entrée des données brutes
• Format de récupération des données structurées

4-Exemple concret

Un cas typique est constitué par des séries de données de relevés énergétiques, échantillonnées selon des fréquences variables (infrahoraire, horaire, journalier, mensuel, …). Ces données constituent la couche brute, que nous avons besoin de formater pour rentrer dans un cadre standardisé. Dans l’exemple, ce cadre peut être une série unique, contenant des information de consommation journalière.

Une fois les données obtenues dans le format standardisées, elles sont stockées dans le datalake, prêtes à être sorties et agrégées à nouveaux pour créer des formats consolidés. Cela peut être, par exemple, la somme des consommations journalières des compteurs thermiques d’un bâtiment.

Nous avons identifié plusieurs cas similaires, un des objectifs du stage est également de permettre d’identifier de nouveaux cas pouvant s’intégrer à ce type de processus.

Conditions

• Lieu: Paris 11è, 10 rue Mercœur
• Indemnité:
  • 3eme année Rémunération au SMIC, 1662€ net / mois pour 151.67 h par mois en moyenne
  • 2eme année Rémunération 90% du SMIC, 1496€ net / mois pour 151.67 h par mois en moyenne
  • 1ere année Rémunération 80% du SMIC, 1329€ net / mois pour 151.67 h par mois en moyenne
• Tickets restaurants: 10€/j pris en charge à 60%
• Frais de transports: transports en commun (Navigo) pris en charge à 75% ou forfait mobilités durables 58€/mois

Vous étudiez dans un domaine connexe à l’analyse de données ou à la programmation, et avez déjà pu travailler sur des projets informatiques ambitieux. Vous aimez produire les outils permettant d’atteindre vos objectifs, de la preuve de concept à la solution validée. Découvrir de nouveaux sujets ne vous fait pas peur, vous savez faire preuve d’initiative et prendre en main des problématiques nouvelles. Vous appréciez mettre en œuvre vos connaissances sur des cas concrets. Vous savez vulgariser vos connaissances et les retranscrire à des interlocuteurs divers, vous vous exprimez avec clarté et rigueur.