Senior Databricks Data Engineer - Data Lakehouse Pipelines

Sopra Steria; Chieti; In loco; EUR 33.000 - 40.000; Tempo pieno

Vantaggi offerti da questo lavoro

Trasferte nazionali e internazionali

Ambiente dinamico e progetti nazionali

Opportunità di crescita professionale

Progetti internazionali

Descrizione del lavoro

Sopra Steria cerca un Data Engineer per integrare il centro di competenza Data Engineering. Progetterai architetture dati moderne e robuste, lavorando con Data Scientist e Data Architect su pipeline scalabili sia in batch sia streaming, in ambienti Cloud (Azure/AWS/GCP).

Farai parte di progetti internazionali e guiderai design e gestione di architetture Medallion e Delta Lake, garantendo qualità e governance dei dati per trasformazione digitale dei clienti.

Competenze

• Collaborazione cross-funzionale per progetti complessi di data engineering.
• Attenzione alla qualità dei dati e governance in pipeline complesse.
• Adeguata comprensione di architetture dati moderne e robuste.

Mansioni

• Progettare, sviluppare e implementare pipeline di dati scalabili.
• Ottimizzare carichi di lavoro con Data Scientist e Data Architect.
• Guidare design dell’architettura Medallion e gestione Delta Lake.
• Garantire data quality e risoluzione di colli di bottiglia in scenari batch e streaming.
• Sviluppare pipeline ETL/ELT con Apache Spark (PySpark, Spark SQL, Scala).
• Gestire Data Lakehouse con partizionamento e indexing per performance.
• Collaborare con ML e Power BI durante l’esposizione di dataset.
• Automatizzare workflow con Databricks Jobs, CI/CD e monitoraggio qualità dati.

Conoscenze

Cross-functional collaboration

Quality focus

Data governance

Strumenti

Apache Spark

Databricks

Azure

Descrizione del lavoro

Sopra Steria cerca un Data Engineer per integrare il centro di competenza Data Engineering. Progetterai architetture dati moderne e robuste, lavorando con Data Scientist e Data Architect su pipeline scalabili sia in batch sia streaming, in ambienti Cloud (Azure/AWS/GCP).

Farai parte di progetti internazionali e guiderai design e gestione di architetture Medallion e Delta Lake, garantendo qualità e governance dei dati per trasformazione digitale dei clienti.