Senior Databricks Data Engineer

Sopra Steria; Puglia; Ibrido; EUR 33.000 - 40.000; Tempo pieno

Vantaggi offerti da questo lavoro

Smart working (policy aziendale)

Trasferte nazionali e internazionali

Ambiente dinamico e opportunità di co‑

Descrizione del lavoro

Sopra Steria cerca un Data Engineer per integrare il centro di competenza Data Engineering in Puglia. Progetterai architetture dati moderne su ambienti Cloud (Azure/AWS/GCP) e guiderai pipeline ETL/ELT con Spark, Delta Lake e Data Governance.

Lavorerai su progetti internazionali, con opportunità di crescita e smart working. La posizione richiede esperienza con Apache Spark e Hadoop, Scala e Python, nonché competenze in data ingestion batch e streaming e Microsoft Azure.

Competenze

• Esperienza con Apache Spark e Hadoop ecosystem.
• Conoscenza di Scala e Python.
• Almeno 2 anni di esperienza su Microsoft Azure.
• Competenza in data ingestion batch e streaming.
• Capacità di progettare pipeline dati scalabili e governance.

Mansioni

• Progettare, sviluppare e implementare pipeline di dati scalabili.
• Ottimizzare carichi di lavoro in collaborazione con Data Scientist e Data Architect.
• Guidare design dell’architettura Medallion e gestione Delta Lake.
• Garantire data quality e risoluzione di colli di bottiglia in batch e streaming.
• Develop ETL/ELT con PySpark, Spark SQL e Scala.
• Gestire Data Lakehouse con partitioning e indexing.
• Implementare Data Governance & Security tramite Unity Catalog.
• Collaborare con ML e Power BI durante l’esposizione di dataset.
• Automatizzare workflow con Databricks Jobs e CI/CD.

Conoscenze

Apache Spark

Ecosistema Hadoop

Scala

Python

Azure Cloud

Data ingestion (batch/streaming)

Cross-functional collaboration

Data quality

Strumenti

Databricks

CI/CD

Descrizione del lavoro

Overview

In questo ruolo, integrerai il centro di competenza Data Engineering per progettare architetture dati moderne e robuste. Lavorerai a stretto contatto con Data Scientist e Data Architect per garantire pipeline scalabili e performanti su ambienti Cloud (Azure/AWS/GCP). Guidando design e gestione di architetture Medallion e Delta Lake, risolverai colli di bottiglia e assicurerai qualità e governance dei dati in contesti Batch e Streaming. L’opportunità ti permette di operare in progetti internazionali in un contesto di innovazione tecnologica orientato al business, contribuendo significativamente alla trasformazione digitale dei clienti.

Retribuzione / Benefits

• RAL tra 33.000 e 40.000
• smart working (policy aziendale)
• trasferte nazionali e internazionali
• ambiente dinamico e progetti nazionali/internazionali
• opportunità di crescita professionale

Responsabilità

• Progettare, sviluppare e implementare pipeline di dati scalabili
• Ottimizzare carichi di lavoro in collaborazione con Data Scientist e Data Architect
• Guidare design dell’architettura Medallion (Bronze/Silver/Gold) e gestione Delta Lake
• Garantire data quality e risoluzione di colli di bottiglia in scenari batch e streaming
• Sviluppare pipeline ETL/ELT con Apache Spark (PySpark, Spark SQL, Scala)
• Gestire Data Lakehouse con partizionamento e indexing per performance
• Implementare Data Governance & Security tramite Unity Catalog
• Collaborare con ML e Power BI durante l’esposizione di dataset
• Automatizzare workflow con Databricks Jobs, CI/CD e monitoraggio qualità dati

Requisiti fondamentali

• Apache Spark
• Ecosistema Hadoop
• Scala e Python
• Almeno 2 anni di esperienza su servizi cloud Microsoft Azure
• Esperto in data ingestion sia batch che streaming, focus su performance e qualità del dato

• Collaborazione cross-funzionale
• Orientamento alla qualità del dato
• Problem solving
• Apache Spark
• Ecosistema Hadoop
• Scala