Architecte Pipelines Data Java & GCP

OCTOGONE; Valbonne; Presencial; EUR 55.000 - 85.000; Jornada completa

Descripción de la vacante

OCTOGONE recherche un Data Engineer pour concevoir et optimiser les pipelines d'ingestion, transformation et chargement des données. Vous utiliserez Java pour les composants d’intégration et travaillerez avec Google Cloud Storage et BigQuery pour structurer et mettre à disposition les données.

Vous maintiendrez les pipelines existants, analyserez les anomalies et implémenterez les correctifs tout en assurant des contrôles qualité et une utilisation optimisée des ressources cloud.

Formación

• Expérience en conception et déploiement de pipelines de données.
• Maîtrise du langage Java pour composants d’intégration et traitement.
• Connaissance des outils cloud (GCS, BigQuery) et des bonnes pratiques de transformation.
• Capacité à maintenir et optimiser des flux de données et à diagnostiquer des anomalies.
• Connaissance des contrôles qualité et des métriques de données."

Responsabilidades

• Concevoir et développer des pipelines d'ingestion, transformation et chargement des données.
• Développer en Java les composants d'intégration et de traitement des données.
• Utiliser Google Cloud Storage pour le stockage et les échanges de données.
• Exploiter BigQuery pour structurer et transformer les données et les rendre accessibles.
• Maintenir les pipelines, diagnostiquer les anomalies et appliquer les corrections.
• Mettre en place des contrôles de qualité pour garantir cohérence et intégrité des données.
• Optimiser les traitements, les requêtes et l'utilisation des ressources cloud.
• Documenter les flux et les règles de transformation et les procédures d'exploitation.
• Collaborer avec les Data Engineers et les parties prenantes pour proposer des solutions adaptées.

Conocimientos

Ingestion pipelines

Java

BigQuery

Google Cloud Storage

Data quality

Cloud optimization

Data modeling

Descripción del empleo

OCTOGONE recherche un Data Engineer pour concevoir et optimiser les pipelines d'ingestion, transformation et chargement des données. Vous utiliserez Java pour les composants d’intégration et travaillerez avec Google Cloud Storage et BigQuery pour structurer et mettre à disposition les données.

Vous maintiendrez les pipelines existants, analyserez les anomalies et implémenterez les correctifs tout en assurant des contrôles qualité et une utilisation optimisée des ressources cloud.