Senior Databricks Data Engineer - Spark & Delta Lake

SmartRecruiters, Inc.; Roma; Ibrido; EUR 33.000 - 40.000; Tempo pieno

Vantaggi offerti da questo lavoro

Smart working

Sede Roma

Descrizione del lavoro

Sopra Steria cerca un/una Senior Databricks Data Engineer per potenziare il centro di Data Engineering e Advanced Analytics a Roma. La risorsa garantirà la qualità di processi di ingestione e trasformazione, promuovendo best practice su ambienti Cloud (Azure/AWS/GCP) all'interno di team di progetto.

Progetterà, svilupperà ed implementerà pipeline di dati scalabili, coordinando l’ottimizzazione dei carichi con Data Scientist e Data Architect.

Competenze

• Almeno 2 anni di esperienza su servizi e tecnologie cloud Microsoft Azure, con progettazione di architetture dati.
• Esperto in ingestion di dati sia batch che streaming e ottimizzazione delle pipeline.
• Conoscenza di Apache Spark (PySpark) e Spark SQL; familiarità con Scala e Python.

Mansioni

• Progettare, sviluppare e implementare pipeline di dati scalabili e performanti.
• Gestire e ottimizzare Delta Lake e architetture Medallion (Bronze/Silver/Gold).
• Collaborare con Data Scientist e Data Architect per integrazione ML e BI.
• Guidare design e best practice su ambienti Cloud (Azure/AWS/GCP).
• Monitorare qualità dei dati e automatizzare i workflow con Databricks Jobs.

Conoscenze

Apache Spark

Scala

Python

Azure

Data ingestion (batch/streaming)

Strumenti

Delta Lake

Descrizione del lavoro

Sopra Steria cerca un/una Senior Databricks Data Engineer per potenziare il centro di Data Engineering e Advanced Analytics a Roma. La risorsa garantirà la qualità di processi di ingestione e trasformazione, promuovendo best practice su ambienti Cloud (Azure/AWS/GCP) all'interno di team di progetto.

Progetterà, svilupperà ed implementerà pipeline di dati scalabili, coordinando l’ottimizzazione dei carichi con Data Scientist e Data Architect.