Data Engineer H / F

SIBYLONE; Vanves; Sur place; EUR 45 000 - 65 000; Plein temps

Résumé du poste

Une entreprise technologique en Île-de-France recherche un Data Engineer pour concevoir et déployer des architectures Big Data. Le candidat idéal aura un Bac +5 minimum, une maîtrise des technologies Big Data, et une expertise en Google Cloud Platform (GCP). Vous travaillerez sur des solutions sophistiquées et collaborerez avec des équipes IT pour optimiser les systèmes d'information. Ce rôle est une excellente opportunité pour un profil passionné par l'analyse de données et l'innovation technologique.

Qualifications

• Expérience avec la conception d'architectures data.
• Solide expérience avec Hadoop et environnement Cloud.
• Capacité à développer des pipelines d'ingestion de données.

Responsabilités

• Analyser et cadrer les besoins métiers.
• Développer des pipelines d'ingestion de données.
• Assurer le maintien en conditions opérationnelles des plateformes data.

Connaissances

Spark

Scala

Python

Java

Google Cloud Platform (GCP)

Hadoop

Formation

Bac +5 en informatique, ingénierie, mathématiques

Outils

BigQuery

Dataflow

Dataproc

Description du poste

Dans le cadre du développement de notre activité Data, nous recherchons plusieurs Data Engineer.

Le Data Engineer participe à la conception, la construction, le déploiement et le maintien en production d'architectures Big Data, ces dernières ayant pour objectif de permettre tant l'évolution que l'optimisation du système d'information décisionnel existant en permettant de nouveaux usages Analytics et IA.

Vous intégrerez une équipe projet Big Data dont l'objectif premier est de conduire des projets ayant traits à des problématiques d'architecture et de conception dans un contexte Big Data & Cloud.

Pourquoi pas vous ?

Responsabilités :

• Analyser, comprendre et cadrer les besoins métiers pour concevoir des architectures data robustes.
• Développer et mettre en oeuvre des pipelines d'ingestion de données à grande échelle.
• Assurer le maintien en conditions opérationnelles des plateformes et des environnements data complexes (Hadoop, Cloudera, Cloud).
• Travailler sur des solutions clusterisées (Hadoop, Spark) et des bases SQL / NoSQL (HDFS, Hive, HBase).
• Développer des applications data avec Spark / pySpark, Scala, Python pour alimenter les flux de données et les applications analytiques.
• Collaborer avec les équipes IT et métier pour traduire les besoins en solutions techniques performantes.
• Promouvoir et formaliser les best practices dans la gestion des plateformes data.
• Intégrer et optimiser des solutions sur Google Cloud Platform (GCP), en exploitant les outils spécifiques comme BigQuery, Dataflow ou Dataproc.

Profil recherché :

• Bac +5 minimum en informatique, ingénierie, mathématiques ou domaines connexes.
• Maîtrise des technologies Spark, Scala, Python, Java et une solide expérience avec les environnements Hadoop et Cloud.
• Compétence indispensable en Google Cloud Platform (GCP) et une expérience significative avec ses services data (BigQuery, Dataflow, Dataproc, etc.).
• Expérience dans le développement de pipelines d'ingestion et de préparation des données.
• Capacité à travailler en équipe, à communiquer efficacement avec les équipes métier et IT.
• Esprit d'analyse, proactivité et veille technologique permanente.