Senior Databricks Data Engineer

Soprasteria; Town of Italy (NY); On-site; USD 90,000 - 120,000; Full time

Job summary

Soprasteria, con sede a New York, ricerca un Senior Databricks Data Engineer per sviluppare architetture dati moderne. Il candidato ideale avrà competenze in Apache Spark e esperienza con servizi cloud, garantendo l'ottimizzazione dei processi di ingestione e trasformazione dei dati.

In un ambiente collaborativo e innovativo, il Senior Data Engineer lavorerà a stretto contatto con team di Data Science e Data Architecture per realizzare pipeline di dati scalabili e performanti.

Qualifications

• Almeno 2 anni di esperienza su servizi e tecnologie del cloud Microsoft Azure.
• Competenze nella progettazione e gestione di architetture dati cloud‑native.
• Esperto nei processi di data ingestion orientato alle performance e alla qualità.

Responsibilities

• Progettare e implementare pipeline di dati scalabili utilizzando Apache Spark.
• Gestire e ottimizzare tabelle Delta Lake per massimizzare le performance.
• Configurare la sicurezza e il controllo accessi ai dati tramite Unity Catalog.
• Collaborare con Data Scientist per l'integrazione di modelli di Machine Learning.
• Implementare workflow tramite Databricks Jobs e monitorare la qualità del dato.

Skills

Apache Spark

Programmazione Scala

Programmazione Python

Servizi Microsoft Azure

Data ingestion (batch e streaming)

Job description

Descrizione del lavoro

Per l’ampliamento del nostro centro di competenza dedicato alla Data Engineering e all'Advanced Analytics, siamo alla ricerca di un/una Senior Databricks Data Engineer che operi come pilastro tecnico per la costruzione di architetture dati moderne. La risorsa garantirà la qualità dei processi di ingestione e trasformazione, promuovendo le best practice di sviluppo su ambienti Cloud (Azure/AWS/GCP) all’interno dei team di progetto.

Sarai responsabile di progettare, sviluppare e implementare pipeline di dati scalabili e performanti, coordinando l'ottimizzazione dei carichi di lavoro in collaborazione con i Data Scientist e i Data Architect.

In scenari complessi, guiderai il design dell'architettura Medallion (Bronze, Silver, Gold) e la gestione del Delta Lake, risolvendo colli di bottiglia tecnici e garantendo la consegna di soluzioni robuste per il processamento di grandi volumi di dati (Batch e Streaming).

In un contesto orientato all'innovazione tecnologica con un’impostazione Business Oriented, ti occuperai di:

• Sviluppo Pipeline ETL/ELT: Progettazione e implementazione di flussi di dati complessi utilizzando Apache Spark (PySpark, Spark SQL, Scala).
• Gestione del Data Lakehouse: Ottimizzazione delle tabelle Delta Lake e implementazione di logiche di partizionamento e indexing per massimizzare le performance di lettura/scrittura.
• Data Governance & Security: Configurazione della sicurezza e del controllo accessi ai dati tramite Unity Catalog, garantendo la conformità alle policy aziendali.
• Collaborazione Agile: Cooperazione con i Data Scientist per l'integrazione di modelli di Machine Learning (MLflow) e con i Power BI Developer per l'esposizione di set di dati ottimizzati (Gold Layer).
• Automazione e Monitoraggio: Implementazione di workflow tramite Databricks Jobs, integrazione con strumenti di CI/CD e monitoraggio della qualità del dato (Data Quality checks).

Competenze richieste:

• Apache Spark
• Programmazione Scala e Python
• Almeno 2 anni di esperienza su servizi e tecnologie del cloud Microsoft Azure, con competenze nella progettazione e gestione di architetture dati cloud‑native.
• Esperto nei processi di data ingestion sia batch che streaming, orientato alle performance e alla qualità del dato.

Ulteriori informazioni

Location: ROMA (Roma Centro). Possibilità di smart working secondo la policy aziendale, con disponibilità a trasferte sul territorio nazionale e internazionale.

Il presente annuncio è rivolto ad entrambi i sessi, ai sensi delle leggi 903/77 e 125/91 e a persone di tutte le età e tutte le nazionalità, ai sensi dei decreti legislativi 215/03 e 216/03.

Tutte le regole relative ai tuoi dati raccolti in questo modo sono dettagliate nell'Informativa sulla Protezione dei Dati dei Candidati (https://www.soprasteria.it/footer/protezione_dati_candidati). In conformità con la legislazione / i regolamenti vigenti in materia di tecnologia dell'informazione, documenti e libertà civili, hai diritti di accesso, rettifica, cancellazione, portabilità, limitazione, opposizione e definizione di istruzioni riguardanti la sorte dei tuoi Dati personali dopo la tua morte. Questi diritti saranno esercitati inviando un'email al responsabile della protezione dei dati (DPO) all'indirizzo [e-mail] o per posta a questo indirizzo: Sopra Steria Group S.p.A. - Ufficio legale - Strada 4 Palazzo A7 - 20090 Assago (MI). Hai anche il diritto di presentare un reclamo Garante per la Protezione dei Dati Personali (Piazza di Monte Citorio n. 121 00186 Roma), se il titolare del trattamento non rispetta gli obblighi previsti dalla legislazione in vigore.