Remote Data Engineer - GCP Data Platforms

M.C. Engineering S.r.l.; Torino; Sur place; EUR 279 000 - 446 400; Plein temps

Résumé du poste

M.C. Engineering Srl Torino cerca un Data Engineer specializzato in Google Cloud Platform per guidare progetti di data platform.

Lavorerai su pipeline batch e streaming,Ottimizzazione architetture dati e gestione dati in contesti enterprise, con focus su ingestione, trasformazione e orchestrazione. Si richiede esperienza su BigQuery, Dataflow, Pub/Sub e Spark, conoscenza di Python/Java e SQL avanzato, nonché abilità di orchestrazione (Airflow).

Qualifications

• Esperienza di almeno 2 anni in ambito Data Engineering.
• Esperienza nella progettazione e realizzazione di data pipeline batch e streaming su Google Cloud.
• Ottima conoscenza di BigQuery (modellazione dati, ottimizzazione performance/costi, partizionamento e clustering).
• Esperienza con servizi GCP per ingestion e processing (Dataflow, Pub/Sub, Cloud Storage, Dataproc – Spark).
• Sviluppo in Python e/o Java e utilizzo di SQL avanzato.
• Esperienza con orchestrazione e scheduling (Cloud Composer / Airflow o equivalenti).
• Conoscenza di approcci ETL/ELT, data quality, data validation e gestione errori/ri-processamenti
• Esperienza con CI/CD, versioning Git e automazione (Cloud Build o equivalenti).
• Conoscenza di IAM, gestione permessi, service account e security-by-design.
• Esprienza con monitoring & logging (Cloud Monitoring/Logging) e observability.
• Familiarità con containerizzazione (Docker) e preferibilmente GKE.

Responsabilités

• Progettare e realizzare pipeline dati batch e streaming su GCP.
• Gestire ingestion, trasformazione e orchestrazione dei dati in contesti enterprise.
• Sviluppare soluzioni data-driven basate su servizi GCP.
• Collaborare con team per garantire qualità, scalabilità e sicurezza delle pipeline.

Connaissances

Data Engineering

GCP

BigQuery

Python

Java

SQL

Airflow

ETL/ELT

CI/CD

IAM

Monitoring

Outils

Dataflow

Pub/Sub

Cloud Storage

Dataproc

Docker

GKE

Cloud Composer

Airflow

Description du poste

M.C. Engineering Srl Torino cerca un Data Engineer specializzato in Google Cloud Platform per guidare progetti di data platform.

Lavorerai su pipeline batch e streaming,Ottimizzazione architetture dati e gestione dati in contesti enterprise, con focus su ingestione, trasformazione e orchestrazione. Si richiede esperienza su BigQuery, Dataflow, Pub/Sub e Spark, conoscenza di Python/Java e SQL avanzato, nonché abilità di orchestrazione (Airflow).