Senior Databricks Data Engineer

Sopra Steria; Cuneo; In loco; EUR 33.000 - 40.000; Tempo pieno

Vantaggi offerti da questo lavoro

Trasferte nazionali e internazionali

Ambiente dinamico

Opportunità di crescita professionale

Descrizione del lavoro

Sopra Steria sta selezionando un data engineer per progettare architetture dati moderne. Lavorerai a stretto contatto con Data Scientist e Data Architect per garantire pipeline scalabili su ambienti Cloud (Azure/AWS/GCP) e guidare design Medallion e Delta Lake, assicurando qualità e governance in scenari batch e streaming.

La posizione offre opportunità di crescita professionale in progetti nazionali e internazionali, in un contesto dinamico orientato all’innovazione.

Competenze

• Apache Spark
• Almeno 2 anni di esperienza su servizi cloud Microsoft Azure
• Esperto in data ingestion sia batch che streaming, focus su performance e qualità del dato
• Collaborazione cross-funzionale
• Orientamento alla qualità del dato

Mansioni

• Progettare, sviluppare e implementare pipeline di dati scalabili
• Ottimizzare carichi di lavoro in collaborazione con Data Scientist e Data Architect
• Guidare design dell’architettura Medallion (Bronze/Silver/Gold) e gestione Delta Lake
• Garantire data quality e risoluzione di colli di bottiglia in scenari batch e streaming
• Sviluppare pipeline ETL/ELT con Apache Spark (PySpark, Spark SQL, Scala)
• Gestire Data Lakehouse con partizionamento e indexing per performance
• Collaborare con ML e Power BI durante l’esposizione di dataset
• Automatizzare workflow con Databricks Jobs, CI/CD e monitoraggio qualità dati

Conoscenze

Apache Spark

Azure

Data ingestion

Collaboration

Data quality

Strumenti

Databricks

Spark SQL

Scala

PySpark

Descrizione del lavoro

In questo ruolo, integrerai il centro di competenza Data Engineering per progettare architetture dati moderne e robuste. Lavorerai a stretto contatto con Data Scientist e Data Architect per garantire pipeline scalabili e performanti su ambienti Cloud (Azure/AWS/GCP). Guidando design e gestione di architetture Medallion e Delta Lake, risolverai colli di bottiglia e assicurerai qualità e governance dei dati in contesti Batch e Streaming. L’opportunità ti permette di operare in progetti internazionali in un contesto di innovazione tecnologica orientato al business, contribuendo significativamente alla trasformazione digitale dei clienti.

Retribuzione / Benefits

• RAL tra 33.000 e 40.000
• trasferte nazionali e internazionali
• ambiente dinamico e progetti nazionali/internazionali
• opportunità di crescita professionale

Responsabilità

• Progettare, sviluppare e implementare pipeline di dati scalabili
• Ottimizzare carichi di lavoro in collaborazione con Data Scientist e Data Architect
• Guidare design dell’architettura Medallion (Bronze/Silver/Gold) e gestione Delta Lake
• Garantire data quality e risoluzione di colli di bottiglia in scenari batch e streaming
• Sviluppare pipeline ETL/ELT con Apache Spark (PySpark, Spark SQL, Scala)
• Gestire Data Lakehouse con partizionamento e indexing per performance
• Collaborare con ML e Power BI durante l’esposizione di dataset
• Automatizzare workflow con Databricks Jobs, CI/CD e monitoraggio qualità dati

Requisiti fondamentali

• Apache Spark
• Almeno 2 anni di esperienza su servizi cloud Microsoft Azure
• Esperto in data ingestion sia batch che streaming, focus su performance e qualità del dato
• Collaborazione cross-funzionale
• Orientamento alla qualità del dato
• Apache Spark