GCP Data Engineering Tech Lead - Cloud Orchestration

INFOGENE; Courbevoie; Sur place; EUR 70 000 - 110 000; Plein temps

Résumé du poste

Infogene recherche un Tech Lead Data Engineering expérimenté, expert GCP, pour concevoir et industrialiser des pipelines Data sur des environnements cloud. Vous interviendrez sur l’ingestion, le stockage et le traitement, en collaboration avec des Data Scientists et les équipes techniques.

Le poste implique l’orchestration des workflows, la mise en œuvre CI/CD et le déploiement d’architectures scalables via Terraform, Cloud Run et GKE, avec une forte composante leadership et autonomie.

Qualifications

• Maîtrise des environnements GCP (Cloud Run/GKE, IAM, BigQuery/GCS).
• Conception et industrialisation de pipelines Data.

Responsabilités

• Concevoir et faire évoluer des architectures et pipelines Data Engineering sur GCP.
• Développer et industrialiser les processus d’ingestion de données publiques et internes.
• Développer des traitements et outils d’ingestion en Python.
• Manipuler et optimiser les données avec SQL.
• Exploiter BigQuery et Google Cloud Storage (GCS).
• Déployer des workloads avec Cloud Run / GKE.
• Gérer les problématiques d’accès et de sécurité avec IAM.
• Mettre en place et maintenir les infrastructures Cloud via Terraform.
• Utiliser des outils d’ingestion tels que Fivetran et Rclone.
• Concevoir et orchestrer les workflows Data avec Cloud Workflows / Airflow.
• Développer des interfaces ou applications de visualisation avec Streamlit.
• Industrialiser les déploiements via des pipelines CI/CD.
• Utiliser GitLab CI ou équivalent.
• Collaborer étroitement avec les Data Scientists.
• Apporter une expertise et un leadership technique.
• Coordonner et faciliter les différents sujets techniques.
• Communiquer clairement sur l’avancement et les points de blocage.

Connaissances

GCP

SQL

Python

BigQuery

GCS

Terraform

Airflow

Cloud Run

GKE

IAM

Fivetran

Rclone

Cloud Workflows

Streamlit

CI/CD

GitLab CI

Outils

GCP

SQL

Python

BigQuery

GCS

Terraform

Airflow

Cloud Run

GKE

IAM

Fivetran

Rclone

Cloud Workflows

Streamlit

CI/CD

GitLab CI

Description du poste

Infogene recherche un Tech Lead Data Engineering expérimenté, expert GCP, pour concevoir et industrialiser des pipelines Data sur des environnements cloud. Vous interviendrez sur l’ingestion, le stockage et le traitement, en collaboration avec des Data Scientists et les équipes techniques.

Le poste implique l’orchestration des workflows, la mise en œuvre CI/CD et le déploiement d’architectures scalables via Terraform, Cloud Run et GKE, avec une forte composante leadership et autonomie.