DATA ENGINEER EXPERT (H / F)

Objectware; Lille; Sur place; EUR 45 000 - 65 000; Plein temps

Résumé du poste

Une entreprise du secteur RETAIL recherche un Data Engineer Senior pour concevoir et optimiser des solutions de données sur Google Cloud Platform. Le candidat idéal maîtrise GCP, SQL et Python, et a de l'expérience avec des outils d'orchestration tels qu'Airflow. Ce poste implique une collaboration étroite avec les équipes métiers pour développer des pipelines de données performants.

Qualifications

• Maîtrise approfondie de GCP, y compris BigQuery et Cloud Functions.
• Solides connaissances en SQL et Python.
• Expérience avec les outils d'orchestration de workflows.

Responsabilités

• Concevoir et développer des pipelines de données sur GCP.
• Mettre en place des solutions de monitoring et d'alerting.
• Assurer la maintenance et l'évolution des pipelines existants.

Connaissances

GCP

SQL

Python

Kafka

Outils

BigQuery

Cloud Functions

Dataflow

Airflow

Description du poste

Pour l'un de nos clients du secteur RETAIL, nous recherchons un DATA ENGINEER SENIOR (H / F)

MISSIONS :

Au sein de notre équipe Data, vous serez un acteur clé dans la conception, la mise en œuvre et l'optimisation de nos solutions de données sur la plateforme Google Cloud Platform (GCP).

Vous travaillerez en étroite collaboration avec les équipes métiers et les autres ingénieurs pour garantir la qualité, la fiabilité et la performance de nos traitements de données.

Conception et développement :

• Concevoir et développer des pipelines de données robustes et évolutifs sur GCP, en utilisant principalement BigQuery et Cloud Functions.
• Modéliser les données, optimiser les requêtes SQL et les schémas pour améliorer les performances.
• Mettre en place des solutions de monitoring et d'alerting pour assurer la disponibilité des traitements.

Maintenance et évolution :

• Assurer la maintenance et l'évolution des pipelines existants.
• Identifier et résoudre les problèmes techniques.
• Mettre en œuvre de nouvelles fonctionnalités et améliorer les performances.

Collaboration :

• Travailler en étroite collaboration avec les équipes métiers pour comprendre leurs besoins et leur fournir des solutions adaptées.
• Participer aux choix techniques et à l'amélioration continue des processus.

Profil recherché :

Maîtrise approfondie de GCP (BigQuery, Cloud Functions, Cloud Storage, Dataflow, etc.).

Solides connaissances en SQL et Python.

Connaissances Kafka

Expérience avec les outils d'orchestration de workflows (Kestra, Airflow / Composer).