Senior Databricks Data Engineer: Scale Data Pipelines & Delta Lake

Soprasteria; Town of Italy (NY); Hybrid; USD 90,000 - 120,000; Full time

Job summary

Soprasteria, con sede a New York, ricerca un Senior Databricks Data Engineer per sviluppare architetture dati moderne. Il candidato ideale avrà competenze in Apache Spark e esperienza con servizi cloud, garantendo l'ottimizzazione dei processi di ingestione e trasformazione dei dati.

In un ambiente collaborativo e innovativo, il Senior Data Engineer lavorerà a stretto contatto con team di Data Science e Data Architecture per realizzare pipeline di dati scalabili e performanti.

Qualifications

• Almeno 2 anni di esperienza su servizi e tecnologie del cloud Microsoft Azure.
• Competenze nella progettazione e gestione di architetture dati cloud‑native.
• Esperto nei processi di data ingestion orientato alle performance e alla qualità.

Responsibilities

• Progettare e implementare pipeline di dati scalabili utilizzando Apache Spark.
• Gestire e ottimizzare tabelle Delta Lake per massimizzare le performance.
• Configurare la sicurezza e il controllo accessi ai dati tramite Unity Catalog.
• Collaborare con Data Scientist per l'integrazione di modelli di Machine Learning.
• Implementare workflow tramite Databricks Jobs e monitorare la qualità del dato.

Skills

Apache Spark

Programmazione Scala

Programmazione Python

Servizi Microsoft Azure

Data ingestion (batch e streaming)

Job description

Soprasteria, con sede a New York, ricerca un Senior Databricks Data Engineer per sviluppare architetture dati moderne. Il candidato ideale avrà competenze in Apache Spark e esperienza con servizi cloud, garantendo l'ottimizzazione dei processi di ingestione e trasformazione dei dati.

In un ambiente collaborativo e innovativo, il Senior Data Engineer lavorerà a stretto contatto con team di Data Science e Data Architecture per realizzare pipeline di dati scalabili e performanti.