Stage - Data Engineer H / F

Socotec; Palaiseau; Sur place; EUR 40 000 - 60 000; Plein temps

Résumé du poste

Une entreprise dans le domaine des données recherche un stagiaire pour maintenir et optimiser son Datalake. Vous serez responsable de la création de flux de données et de la mise en place d'outils de reporting comme Power BI. Le candidat idéal a un Master en Big Data et maîtrise les bases de données SQL et NoSQL. Ce stage peut aboutir à un CDI.

Qualifications

• Expérience avec les services AWS (Lambda, EMR, S3) appréciée.
• Intérêt marqué pour les technologies innovantes.
• Autonomie et qualités dans la rédaction et communication de code.

Responsabilités

• Maintenance et optimisation du Datalake.
• Création et validation des flux de données.
• Mise en place d'outils de reporting tels que Power BI.
• Définition de la stratégie optimale de données.

Connaissances

Maîtrise des bases de données SQL et NoSQL

Connaissance de la stack Big Data (Airflow, Spark, Hadoop)

Expérience avec des outils collaboratifs de développement

Esprit d'équipe

Anglais courant

Formation

Master en Big Data ou diplôme d'ingénieur en informatique

Outils

Amazon Web Services (AWS)

Apache Airflow

Spark

Gitlab

Kubernetes

Power BI

Description du poste

En intégrant le Data & IA Hub SOCOTEC, vous participerez activement à la maintenance et à l'optimisation de notre Datalake, ainsi qu'à la création et à la mise à jour des flux de données. Vous serez responsable de la documentation et de la validation de ces flux, ainsi que de la création et de la mise en place d'outils de reporting tels que Power BI. Vous proposerez également de nouvelles solutions, participerez aux qualifications techniques et contribuerez à l'amélioration continue de notre infrastructure data.

Vous travaillerez sur deux missions principales :

• Au sein de l'entité Socotec Monitoring France (20%), vous participerez à la définition de la stratégie optimale de données pour Socotec Monitoring (structuration, processus, open data, achats de données externes)
• Pour le compte du groupe Socotec (80%), vous participez à la construction du Data Lake à l'échelle mondiale. Votre objectif sera de développer les flux de données pour leur analyse en lien avec les équipes BI et Data Science. Vous apprendrez à organiser et ordonnancer les flux d'extraction, de transformation et de chargement des données en garantissant leur fiabilité, leur disponibilité, etc.

Le stack technique utilisée :

• Amazon Web Services (AWS)
• Apache Airflow comme ordonnanceur
• Spark pour les pipelines ETL
• Gitlab pour versionner les sources
• Kubernetes
• DeltaLake
• S3
• Gérer les metadata avec OpenMetadata
• Power BI, l'outil de BI, géré avec les équipes BI

Chez SOCOTEC, les carrières sont construites avec vous vers ce qui vous correspond le mieux : expertise technique, management d'une équipe (lead data), etc. Vous aurez la possibilité d'interagir à l'international (US, UK, ITA, ESP, NL) et des opportunités de mobilité internationale sont possibles. Vous ferez preuve d'autonomie, de sagacité et de qualités certaines dans la rédaction et la communication de votre code.

L'offre peut déboucher sur un CDI à la fin du stage.

Profil recherché :

• Master en Big Data ou diplôme d'ingénieur en informatique avec une forte appétence pour la data
• Maîtrise des bases de données SQL et NoSQL, ainsi que des concepts associés
• Connaissance de la stack Big Data (Airflow, Spark, Hadoop)
• Expérience avec les outils collaboratifs de développement (Git, GitLab, Jupyter Notebooks, etc.)
• Connaissance appréciée des services AWS (Lambda, EMR, S3)
• Intérêt marqué pour les technologies innovantes
• Esprit d'équipe
• Anglais courant, y compris un bon niveau technique