Data Engineer H / F

SIBYLONE; Boulogne-Billancourt; Sur place; EUR 45 000 - 65 000; Plein temps

Résumé du poste

Une entreprise de data recherchée un Data Engineer pour rejoindre sa dynamique équipe Big Data. Le candidat idéal doit avoir une formation Bac +5 et une solide expertise en Spark, Scala, Python ainsi que Google Cloud Platform. Il sera chargé de concevoir des architectures robustes et de développer des pipelines d'ingestion de données. Opportunité de travailler sur des projets innovants et de promouvoir les meilleures pratiques en matière de gestions des plateformes data.

Qualifications

• Minimum Bac +5 en informatique, ingénierie, mathématiques.
• Solide expérience avec Hadoop et GCP.
• Compétences en développement de pipelines d'ingestion.

Responsabilités

• Concevoir des architectures data robustes.
• Développer des pipelines d'ingestion de données.
• Maintenir les plateformes et environnements data complexes.
• Travailler sur des solutions clusterisées et bases SQL/NoSQL.
• Collaborer avec les équipes IT et métier.
• Intégrer et optimiser des solutions sur Google Cloud Platform.

Connaissances

Spark

Scala

Python

Hadoop

Google Cloud Platform (GCP)

Java

Formation

Bac +5 en informatique, ingénierie, mathématiques ou domaines connexes

Outils

Hadoop

BigQuery

Dataflow

Dataproc

Description du poste

Dans le cadre du développement de notre activité Data, nous recherchons plusieurs Data Engineer.

Le Data Engineer participe à la conception, la construction, le déploiement et le maintien en production d'architectures Big Data, ces dernières ayant pour objectif de permettre tant l'évolution que l'optimisation du système d'information décisionnel existant en permettant de nouveaux usages Analytics et IA.

Vous intégrerez une équipe projet Big Data dont l'objectif premier est de conduire des projets ayant traits à des problématiques d'architecture et de conception dans un contexte Big Data & Cloud.

Responsabilités :

• Analyser, comprendre et cadrer les besoins métiers pour concevoir des architectures data robustes.
• Développer et mettre en oeuvre des pipelines d'ingestion de données à grande échelle.
• Assurer le maintien en conditions opérationnelles des plateformes et des environnements data complexes (Hadoop, Cloudera, Cloud).
• Travailler sur des solutions clusterisées (Hadoop, Spark) et des bases SQL / NoSQL (HDFS, Hive, HBase).
• Développer des applications data avec Spark / pySpark, Scala, Python pour alimenter les flux de données et les applications analytiques.
• Collaborer avec les équipes IT et métier pour traduire les besoins en solutions techniques performantes.
• Promouvoir et formaliser les best practices dans la gestion des plateformes data.
• Intégrer et optimiser des solutions sur Google Cloud Platform (GCP), en exploitant les outils spécifiques comme BigQuery, Dataflow ou Dataproc.

Pourquoi pas vous ?

Profil recherché :

• Bac +5 minimum en informatique, ingénierie, mathématiques ou domaines connexes.
• Maîtrise des technologies Spark, Scala, Python, Java et une solide expérience avec les environnements Hadoop et Cloud.
• Compétence indispensable en Google Cloud Platform (GCP) et une expérience significative avec ses services data (BigQuery, Dataflow, Dataproc, etc.).
• Expérience dans le développement de pipelines d'ingestion et de préparation des données.
• Capacité à travailler en équipe, à communiquer efficacement avec les équipes métier et IT.
• Esprit d'analyse, proactivité et veille technologique permanente.