Data Engineer GCP H/F

Open; Levallois-Perret; Hybride; EUR 65 000 - 95 000; Plein temps

Avantages offerts par ce poste

Hybrid work

Résumé du poste

Open, acteur majeur de la transformation digitale, recherche un ingénieur Data/Big Data pour concevoir et exploiter une plateforme de données robuste. Vous interviendrez sur des pipelines d’ingestion vers BigQuery et leur orchestration via des services GCP, dans un cadre hybride et agile.

Le poste nécessite une expertise en Python, SQL et Data Engineering, avec une forte appétence pour l’automatisation, le déploiement et l’observabilité des flux de données.

Qualifications

• Maîtrise du Python et SQL pour l’ingénierie des données.
• Expérience avec les pipelines sur Google Cloud Platform (GCP).
• Connaissance des concepts DevOps et CI/CD.
• Capacité à concevoir des solutions scalables et sûres.

Responsabilités

• Concevoir et déployer des pipelines d’ingestion vers BigQuery.
• Concevoir et implémenter des pipelines de transformation dans BigQuery.
• Automatiser les flux de données avec Pub/Sub, Eventarc et Dataflow.
• Orchestrer les flux de données et lancer les services de calcul et de ML.
• Maintenir la haute disponibilité et la surveillance des flux de données.
• Contribuer à l’amélioration continue de la CI/CD et du déploiement.

Connaissances

Python

SQL

Data engineering

Big Data

Formation

Bachelor en informatique ou data

Outils

Dataflow

Dataform

Pub/Sub

Eventarc

Airflow

Cloud Workflows

Docker

GKE

Description du poste

Le Big Data est aujourd’hui au cœur de la transformation digitale des entreprises. Chez nous, il ne s’agit pas seulement de technologie, mais d’un véritable levier de création de valeur pour nos clients. Vous êtes passionné(e) par la data, curieux(se) des technologies de pointe et motivé(e) par des projets complexes et innovants ? Au sein de notre Business Unit Open Data & IA, vous interviendrez sur des missions à forte valeur ajoutée pour des clients Grands Comptes, dans un environnement hybride, agile et collaboratif.

Le.a consultant.e interviendra sur les missions clés suivantes, visant à construire et maintenir une plateforme de données robuste et exploitable :

Ingestion & Flux de Données

• Conception, optimisation et déploiement de pipelines d’ingestion de données performants et robustes vers Google Cloud BigQuery.

Transformation des Données

• Conception et implémentation de pipelines de transformation de données complexes et efficaces au sein de BigQuery.

Architecture Événementielle

• Automatisation du flux de données dès leur mise à disposition en exploitant les services GCP de gestion des événements (Event-Driven Architecture) tels que Pub/Sub et Eventarc.

Orchestration Data/ML

• Mise en œuvre et gestion de l’orchestration globale des flux de données, depuis le traitement initial jusqu’au lancement des services de calcul et de Machine Learning.

Exploitabilité de la Solution

• Garantir la haute disponibilité et la maintenance du système par la mise en place d’une stratégie de logging complète, de mécanismes de gestion d’erreurs robustes et d'un monitoring efficace des flux de données.

Industrialisation & DevOps

• Contribution à l’amélioration continue de la chaîne CI/CD et sécurisation du déploiement des livrables en production.

Environnement fonctionnel & technique

Plateforme Cloud : Google Cloud Platform (GCP) : Maîtrise confirmée de l'ensemble de la plateforme.

Services GCP Clés

• Data Warehouse : BigQuery (SQL avancé requis).
• Flux & Ingestion de Données : Dataflow, Dataform, Eventarc, Pub/Sub.
• Orchestration : Google Cloud Workflows, Airflow, Kubeflow.
• Compute & Virtualisation : Cloud Run, Docker, notions sur Dataproc (PySpark) et GKE (Kubernetes).
• Exploitabilité & DevOps : Concepts d’observabilité (Logging, Monitoring) sur GCP.

Environnement de Développement

Langages : Python (pour transformation de données et automatisation), SQL, notions de script Shell.

Méthodes & Outils Méthodologie

• Culture DevOps appliquée à l’écosystème GCP.
• Approche d’amélioration continue de la chaîne CI/CD.

Outils & Technologies

• Data Engineering : BigQuery, Dataflow, Dataform, Pub/Sub, Eventarc, Cloud Workflows.
• Orchestration : Airflow, Cloud Workflows.
• Déploiement & Conteneurisation : Docker, Cloud Run, notions de GKE.
• Langages de Scripting : Python, SQL, Shell.
• Observabilité : Solutions de Logging et Monitoring GCP.
• CI/CD : Outils et pratiques liés à la chaîne d’intégration et de déploiement continus sur GCP.

Compétences Optionnelles

• Data Science : Compréhension du cycle de vie d'un modèle Machine Learning.
• Visualisation de Données : Connaissance de Power BI.

Pourquoi nous rejoindre ?

Une équipe engagée, des projets stimulants, des défis techniques quotidiens et un environnement propice à la montée en compétences.

Process de recrutement

un bref échange téléphonique, un premier échange RH d'environ 1h pour parler de vous, de vos aspirations professionnelles et de notre offre, un deuxième échange avec votre futur Manager et un dernier échange avec un de nos experts pour parler technique.

Témoignages

Ce sont nos Ambassadeurs qui en parlent le mieux, découvrez leurs témoignages sans filtre : https://www.youtube.com/watch?v=C4w_dkkVq40

Code REC

ACH23516

Rejoignez nous

Qu’attendez-vous pour être Open ? Plus de 1 500 nouveaux collaborateurs en 2023 ! Pourquoi pas vous ? #1500ByOpen

Statistiques

Avec 4 000 collaborateurs et un chiffre d’affaires de 400 M€ en 2022, Open se positionne comme le Partenaire de Confiance des grandes entreprises françaises publiques et privées, engagé dans leur transformation IT et digitale et intervient principalement en France et à l’international au Luxembourg et en Roumanie.

Mission

Notre mission : conseiller nos clients dans leur trajectoire de transformation, concevoir, réaliser et opérer des systèmes d’information agiles, résilients et sécurisés et apporter des solutions logicielles innovantes en mode Saas, en s’appuyant sur nos trois activités : Digital Consulting, Digital & IT Services, Digital Solutions.

Valeurs

Open inscrit sa raison d’être dans une logique d’avenir « Faire du numérique le vecteur de transformation pour un monde respectueux des valeurs humaines et environnementales » en cohérence avec ses valeurs d’entreprise : Agilité, Responsabilité, Engagement.

Rejoindre l’équipe Open

Rejoindre les équipes Open, c’est concevoir et intégrer les solutions technologiques innovantes de demain.

Engagement

Parce que votre talent mérite notre engagement, « Recrutez-Nous » pour créer votre différence ! Et vous, qu’attendez-vous pour être Open ?