Senior Databricks Data Engineer for Global Data Lakehouse

Sopra Steria; Puglia; Ibrido; EUR 33.000 - 40.000; Tempo pieno

Vantaggi offerti da questo lavoro

Smart working (policy aziendale)

Trasferte nazionali e internazionali

Ambiente dinamico e opportunità di co‑

Descrizione del lavoro

Sopra Steria cerca un Data Engineer per integrare il centro di competenza Data Engineering in Puglia. Progetterai architetture dati moderne su ambienti Cloud (Azure/AWS/GCP) e guiderai pipeline ETL/ELT con Spark, Delta Lake e Data Governance.

Lavorerai su progetti internazionali, con opportunità di crescita e smart working. La posizione richiede esperienza con Apache Spark e Hadoop, Scala e Python, nonché competenze in data ingestion batch e streaming e Microsoft Azure.

Competenze

• Esperienza con Apache Spark e Hadoop ecosystem.
• Conoscenza di Scala e Python.
• Almeno 2 anni di esperienza su Microsoft Azure.
• Competenza in data ingestion batch e streaming.
• Capacità di progettare pipeline dati scalabili e governance.

Mansioni

• Progettare, sviluppare e implementare pipeline di dati scalabili.
• Ottimizzare carichi di lavoro in collaborazione con Data Scientist e Data Architect.
• Guidare design dell’architettura Medallion e gestione Delta Lake.
• Garantire data quality e risoluzione di colli di bottiglia in batch e streaming.
• Develop ETL/ELT con PySpark, Spark SQL e Scala.
• Gestire Data Lakehouse con partitioning e indexing.
• Implementare Data Governance & Security tramite Unity Catalog.
• Collaborare con ML e Power BI durante l’esposizione di dataset.
• Automatizzare workflow con Databricks Jobs e CI/CD.

Conoscenze

Apache Spark

Ecosistema Hadoop

Scala

Python

Azure Cloud

Data ingestion (batch/streaming)

Cross-functional collaboration

Data quality

Strumenti

Databricks

CI/CD

Descrizione del lavoro

Sopra Steria cerca un Data Engineer per integrare il centro di competenza Data Engineering in Puglia. Progetterai architetture dati moderne su ambienti Cloud (Azure/AWS/GCP) e guiderai pipeline ETL/ELT con Spark, Delta Lake e Data Governance.

Lavorerai su progetti internazionali, con opportunità di crescita e smart working. La posizione richiede esperienza con Apache Spark e Hadoop, Scala e Python, nonché competenze in data ingestion batch e streaming e Microsoft Azure.