Senior Databricks Engineer: Scale Pipelines & Lakehouse

Sopra Steria; Terni; In loco; EUR 33.000 - 40.000; Tempo pieno

Vantaggi offerti da questo lavoro

Trasferte nazionali e internazionali

Ambiente dinamico e progetti internaz.

Opportunità di crescita professionale

Descrizione del lavoro

Sopra Steria cerca un Data Engineer per integrare il centro di competenza Data Engineering e progettare architetture dati moderne e robuste. Lavorerai con Data Scientist e Data Architect per garantire pipeline scalabili e performanti su ambienti Cloud, guidando design e gestione di architetture Medallion e Delta Lake.

La posizione prevede progetti internazionali, un contesto di innovazione orientato al business e opportunità di crescita professionale, con attenzione a data quality, governance e

Competenze

• Esperienza con Apache Spark (batch/streaming)
• Esperto in ingestione dati su ambienti Cloud (Azure)
• Forte attenzione alla qualità dei dati e governance
• Capacità di collaborare trasversalmente con Data Scientist/Data Architect

Mansioni

• Progettare, sviluppare e implementare pipeline di dati scalabili in contesto Cloud
• Ottimizzare carichi di lavoro in collaborazione con Data Scientist e Data Architect
• Guidare design dell’architettura Medallion (Bronze/Silver/Gold) e gestione Delta Lake
• Garantire data quality e risoluzione di colli di bottiglia in scenari batch e streaming
• Sviluppare pipeline ETL/ELT con Apache Spark (PySpark, Spark SQL, Scala)
• Gestire Data Lakehouse con partizionamento e indexing per performance
• Collaborare con ML e Power BI durante l’esposizione di dataset
• Automatizzare workflow con Databricks Jobs, CI/CD e monitoraggio qualità dati

Conoscenze

Apache Spark

Azure

Data ingestion

Data quality

Cross-functional collaboration

Strumenti

Databricks

Delta Lake

Descrizione del lavoro

Sopra Steria cerca un Data Engineer per integrare il centro di competenza Data Engineering e progettare architetture dati moderne e robuste. Lavorerai con Data Scientist e Data Architect per garantire pipeline scalabili e performanti su ambienti Cloud, guidando design e gestione di architetture Medallion e Delta Lake.

La posizione prevede progetti internazionali, un contesto di innovazione orientato al business e opportunità di crescita professionale, con attenzione a data quality, governance e