Data Engineer (IT) / Freelance

Free-Work; Nantes; Sur place; EUR 60 000 - 90 000; Plein temps

Résumé du poste

Free-Work recherche un Data Engineer freelance pour renforcer l’équipe IA sur des sujets GCP et BigQuery. Vous coderez des pipelines d’ingestion et de transformation, cartographierez les sources de données et industrialiserez les solutions issues des POC.

Vous interviendrez sur l’automatisation (IaC, CI/CD) et veillerez à la sécurité et à la fiabilité des flux en production. Le poste requiert une expertise Linux et des compétences en manipulation de données (Teradata, Informatica) ainsi que des

Qualifications

• Maîtriser Python et SQL pour développer des pipelines de données.
• Bonne connaissance des concepts DataOps et de modélisation des données.

Responsabilités

• Cadrer les besoins métiers et les traduire en spécifications techniques data (data modelling).
• Développer et maintenir les pipelines d’ingestion et de transformation sur GCP (BigQuery).
• Industrialiser les solutions issues des POC et optimiser coûts et performances.
• Automatiser les déploiements via IaC et CI/CD, assurer la supervision et la sécurité des flux.

Connaissances

Python

SQL

Outils

Informatica

Teradata

Description du poste

Notre client dans le secteur Agroalimentaire recherche un/une Data Engineer H/F

Description de la mission :

Pour renforcer son équipe en charge des sujets IA notre client recherche un freelance Data Engineer dans l'environnement GCP.

Amont d'étude et structuration des données

• Cadrer les besoins métiers et les traduire en spécifications techniques data.

• Analyser et cartographier les sources de données (dont le legacy Teradata), concevoir les modèles de données et définir les règles de transformation et de qualité.

Industrialisation

• Développer, déployer et maintenir les pipelines d'ingestion et de transformation vers le socle GCP / BigQuery.

• Industrialiser les solutions issues des POC : passage à l'échelle, optimisation des traitements, des performances et des coûts.

• Automatiser les déploiements (IaC, CI/CD) et assurer la supervision, la fiabilité et la sécurité des flux en production.

Workflow, process et outillage

• Concevoir les workflows de bout en bout (chaînes de traitement, ordonnancement, procédures d'exploitation) et les interfaces d'échange avec les applications consommatrices.

• Contribuer aux standards et bonnes pratiques DataOps de la Data Factory, documenter et diffuser les compétences auprès des équipes.
  

Langages & frameworks

Python, SQL

Cloud & data

Google Cloud Platform (GCP), BigQuery, services d'ingestion GCP

ETL / intégration

Informatica, Teradata (existant / migration)

Système

Environnement Linux (shell scripting)