Data Engineer Expert H / F

AddixGroup; Nice; À distance; EUR 50 000 - 70 000; Plein temps

Résumé du poste

Une entreprise technologique recherche un(e) Data Engineer expérimenté(e) pour migrer une application métier vers Google Cloud Platform. Vous serez responsable de concevoir des pipelines de données robustes et scalables, tout en garantissant qualité et sécurité des données. Ce poste est ouvert au full remote et nécessite une bonne maîtrise des outils GCP et Apache Spark.

Qualifications

• 4 ans d'expérience en tant que Data Engineer avec migration vers GCP.
• Maîtrise des outils Spark et environnements Unix/Linux.
• Bonne connaissance des problématiques de qualité de données.

Responsabilités

• Évaluer l'architecture data et les flux ETL existants.
• Redéfinir et réimplémenter les pipelines dans GCP.
• Gérer le monitoring et le support des flux de données migrés.
• Documenter les processus dans Confluence.

Connaissances

Langages de programmation

Apache Spark

Anglais courant

Méthodologie Agile

Scripting

Gestion des données

Formation

Diplôme d'Ingénieur ou Bac +5

Outils

Google Cloud Platform

Power BI

Control-M

Bamboo

Jira

Confluence

Description du poste

Overview

Dans le cadre de la migration d'une application métier vers Google Cloud Platform (GCP), nous recherchons un(e) Data Engineer expérimenté(e), capable de concevoir, adapter et déployer des pipelines de données robustes et scalables dans un environnement distribué. Le projet implique la transformation d'un système de traitement de données on-premise vers un environnement cloud moderne, en garantissant la continuité de service, la performance et la sécurité.

Responsabilités

• Migration & Refonte – Évaluer l'existant : architecture data, flux ETL, référentiels, performances.
• Redéfinir et réimplémenter les pipelines dans un écosystème GCP.
• Participer à la migration des traitements Hadoop vers Spark sur cloud.
• Développer et automatiser les scripts nécessaires à l'intégration continue des données (CI / CD).
• Développement et industrialisation – Développer des traitements de données robustes et performants.
• Assurer la qualité et la traçabilité des données tout au long des étapes de migration.
• Intégrer les traitements dans des outils d'ordonnancement (Control-M).
• Déployer les flux via des outils d'intégration (Bamboo, Git).
• Restitution & reporting – Assurer la génération de rapports et tableaux de bord via Power BI, Spotfire ou BO.
• Collaborer avec les équipes BI pour garantir la cohérence de la chaîne de reporting.
• Maintenance & amélioration continue – Gérer le monitoring et le support des flux de données migrés.
• Participer à l'amélioration continue de l'architecture de traitement.
• Documenter les processus dans Confluence et suivre les tickets Jira.

Environnement technologique

• Langages & Frameworks : Java (REST API, Hadoop MapReduce), Apache Spark, Scripting : Shell / Python / Bash
• Cloud & Orchestration : Google Cloud Platform (BigQuery, Cloud Storage, Dataflow, Composer), Control-M, Bamboo
• Outils BI & Reporting : Power BI, Business Objects, TIBCO Spotfire
• Base de données : MongoDB, SQL (PostgreSQL, MySQL), Teradata, BigQuery
• DevOps & Collaboration : Git, Unix / Linux, Jira, Confluence, Méthodologie Agile (Scrum / Kanban)

Profil recherché

Diplômé Ingénieur ou Bac +5. Anglais courant. Poste ouvert au full remote.

Expérience

Expérience significative (4 ans) en tant que Data Engineer, avec une ou plusieurs expériences de migration vers GCP. Maîtrise des outils Spark, GCP, et des environnements Unix / Linux. Bonne connaissance des problématiques de volumétrie, qualité de données, sécurité. Sens de l'autonomie, rigueur technique et appétence pour le travail en équipe Agile.