Data Engineer GCP (IT) / Freelance

Hexateam; Paris; Hybride; EUR 45 000 - 80 000; Plein temps

Résumé du poste

Une entreprise innovante recherche un Data Engineer GCP pour concevoir et optimiser des pipelines de données sur Google Cloud Platform. Dans ce rôle, vous collaborerez avec des équipes de Data Science et DevOps pour garantir la fiabilité et la scalabilité des infrastructures de données. Vous serez responsable de l'automatisation des flux de données et de la mise en œuvre des meilleures pratiques DevOps. Si vous avez une passion pour les données et que vous souhaitez évoluer dans un environnement dynamique, cette opportunité est faite pour vous. Rejoignez une équipe qui valorise l'innovation et la collaboration.

Qualifications

• Minimum 5 ans en ingénierie des données, dont 2 ans sur GCP.
• Certifications GCP comme Professional Data Engineer sont un plus.

Responsabilités

• Concevoir et optimiser des pipelines de données sur GCP.
• Gérer et déployer des bases de données relationnelles et NoSQL.
• Collaborer avec les équipes Data Science et documenter les processus.

Connaissances

Google Cloud Platform

BigQuery

Dataflow (Apache Beam)

Dataproc (Apache Spark)

Cloud Composer (Apache Airflow)

Python

SQL

Scala

Java

Terraform

Formation

Bac +5 en informatique

Équivalent en data science ou ingénierie

Outils

GitHub Actions

GitLab CI / CD

Jenkins

Cloud Monitoring

Stackdriver

Prometheus

Description du poste

Informations Générales
Intitulé du poste : Data Engineer GCP
Localisation : [Ville, Pays] (possibilité de télétravail selon politique de l'entreprise)
Type de contrat : CDI / Freelance / Autre
Rémunération : Selon profil et expérience
Département : Data / IT
Rattachement hiérarchique : Lead Data Engineer / Data Architect

Missions Principales

En tant que Data Engineer GCP, vous serez responsable de la conception, de la mise en place et de l'optimisation des pipelines de données sur Google Cloud Platform. Vous travaillerez en collaboration avec les équipes Data Science, BI et DevOps pour garantir la fiabilité et la scalabilité des infrastructures de données.

1. Conception et Développement de Pipelines de Données
   Concevoir, développer et maintenir des pipelines ETL / ELT robustes et performants sur GCP.
   Utiliser BigQuery, Dataflow (Apache Beam), Dataproc (Apache Spark), Cloud Composer (Apache Airflow) pour l'ingestion, la transformation et le stockage des données.
   Assurer l'optimisation des performances et la scalabilité des traitements de données.
   Automatiser les flux de données en intégrant les meilleures pratiques DevOps et CI / CD.
2. Gestion et Optimisation des Bases de Données
   Déployer et gérer des bases de données relationnelles et NoSQL sur GCP : BigQuery, Cloud SQL, Firestore, Spanner.
   Assurer la qualité, la gouvernance et la sécurité des données (GDPR, RGPD, DLP).
   Implémenter des stratégies de partitionnement, d'indexation et d'optimisation des coûts sur BigQuery.
3. Sécurité, Monitoring et Fiabilité
   Mettre en place des bonnes pratiques de sécurité (IAM, chiffrement des données, gestion des accès).
   Assurer le monitoring des pipelines et des infrastructures de données avec Cloud Monitoring, Stackdriver et Prometheus.
   Gérer les incidents et optimiser les performances des traitements et des requêtes SQL.
4. Collaboration et Documentation
   Travailler en étroite collaboration avec les Data Scientists, Data Analysts et équipes métiers.
   Documenter les pipelines, les architectures et les bonnes pratiques.
   Sensibiliser et accompagner les équipes sur l'utilisation des données et des outils GCP.

Compétences Requises

Compétences Techniques
Maîtrise de Google Cloud Platform : BigQuery, Dataflow (Apache Beam), Dataproc (Apache Spark), Cloud Composer (Apache Airflow), Pub/Sub.
ETL / ELT : Conception et optimisation de pipelines de données.
Langages de programmation : Python, SQL, Scala, Java.
Bases de données : BigQuery, Cloud SQL, Firestore, Spanner.
Infrastructure as Code (IaC) : Terraform, Deployment Manager.
CI / CD et DevOps : GitHub Actions, GitLab CI / CD, Jenkins.
Sécurité et Gouvernance des données : IAM, GDPR, DLP.
Monitoring et Logging : Cloud Monitoring, Stackdriver, Prometheus.

Compétences Transverses
Bonne capacité d'analyse et de résolution de problèmes.
Capacité à vulgariser des concepts techniques complexes.
Esprit collaboratif et bonne communication.
Force de proposition et autonomie.

Profil candidat : Profil Recherché

Formation : Bac +5 en informatique, data science, ingénierie ou équivalent.
Expérience : Minimum 5 ans en ingénierie des données, dont au moins 2 ans sur GCP.
Certifications GCP (un plus) : Professional Data Engineer, Professional Cloud Architect.