Databricks Developer

ADENTIS Italia; Italia; In loco; EUR 26.000 - 31.000; Tempo pieno

Descrizione del lavoro

ADENTIS Italia cerca una figura Data Engineer da inserire in un progetto di piattaforma dati su Databricks, con responsabilità di sviluppo e gestione delle pipeline e integrazione dati internazionali (USA e Brasile) nel dominio contratti e prezzi.

La risorsa lavorerà con architettura Medallion (Bronze/Silver/Gold), Delta Lake, PySpark e Spark SQL, supportando stakeholder tecnici e di business per fornire dati puliti e di qualità in un contesto multi-country.

Competenze

• Esperienza nello sviluppo di Data Pipeline su Databricks.
• Conoscenza di PySpark e Spark SQL.
• Conoscenza architettura Medallion Bronze/Silver/Gold.
• Esperienza con Delta Lake.
• Gestione dati da sorgenti eterogenee e multi-country.
• Fluente in inglese.

Mansioni

• Sviluppo, gestione e manutenzione di data pipeline su Databricks.
• Implementazione di pipeline secondo architettura Medallion (Bronze/Silver/Gold).
• Ingestion e integrazione di dati da sorgenti eterogenee (SQL, Cloudera, Excel).
• Trasformazione, pulizia e strutturazione dei dati attraverso i livelli Bronze/Silver/Gold.
• Collaborazione con stakeholder tecnici e di business per requisiti e disponibilità dati.
• Gestione dati provenienti da diversi Paesi e integrazione nel modello dati comune.

Conoscenze

Data pipeline

SQL

PySpark

Apache Spark

Medallion architecture

Integrazione dati

Analisi dati

English proficiency

Strumenti

Databricks

Delta Lake

Cloudera / Hadoop

Excel

Descrizione del lavoro

ADENTIS Italia è un gruppo europeo di consulenza ingegneristica e operativa facente parte del Gruppo MoOngy.

Presente in 14 paesi europei con oltre 9.000 dipendenti, abbiamo aperto, da quattro anni, la prima sede italiana a Milano e, vista la continua crescita, stiamo rafforzando e ampliando il nostro team con persone che condividano gli stessi valori della nostra società: AMBIZIONE, DINAMISMO e VOGLIA DI METTERSI IN GIOCO, il tutto in una realtà in continua evoluzione, nella quale le relazioni umane sono sempre al primo posto.

Siamo alla ricerca di un/una Data Engineer da inserire all’interno di un progetto di sviluppo di una piattaforma dati su Databricks, a supporto di un'importante area di business internazionale.

La risorsa lavorerà alla realizzazione e gestione di una piattaforma dati che integra informazioni provenienti da USA e Brasile, con particolare riferimento al dominio contratti e prezzi.

Il progetto prevede l'utilizzo di un'architettura Medallion (Bronze/Silver/Gold), con l'obiettivo di trasformare dati provenienti da sorgenti eterogenee in informazioni strutturate e fruibili dal business.

Responsabilità

La risorsa si occuperà principalmente di:

• Sviluppo, gestione e manutenzione di data pipeline su Databricks.
• Implementazione di pipeline secondo architettura Medallion, gestendo i layer Bronze, Silver e Gold.
• Ingestion e integrazione di dati provenienti da sorgenti eterogenee, tra cui database SQL, Cloudera e file Excel.
• Trasformazione, pulizia e strutturazione dei dati attraverso i diversi layer della piattaforma.
• Implementazione di processi di data transformation e data integration tramite PySpark e Spark SQL.
• Analisi delle sorgenti dati (source/data discovery) per comprendere struttura, natura, qualità e caratteristiche.
• Identificazione di eventuali anomalie, inconsistenze o problematiche qualitative presenti nei dati sorgente.
• Collaborazione con gli stakeholder tecnici e di business per comprendere i requisiti e rendere i dati disponibili per le successive attività di analisi.
• Gestione di dati provenienti da diversi Paesi e relativa integrazione all'interno di un modello dati comune.
• Esperienza professionale nello sviluppo di Data Pipeline su Databricks.
• Buona conoscenza di PySpark / Apache Spark.
• Buona padronanza di SQL.
• Esperienza con architetture Medallion (Bronze/Silver/Gold).
• Conoscenza ed esperienza con Delta Lake.
• Esperienza nell'integrazione e trasformazione di dati provenienti da sorgenti differenti.
• Capacità di effettuare source/data discovery in autonomia.
• Capacità di analizzare struttura, qualità e caratteristiche dei dati prima della loro trasformazione.
• Ottima conoscenza della lingua inglese.
• Esperienza con Cloudera / Hadoop ecosystem.
• Esperienza nella gestione e integrazione di dati provenienti da file Excel.
• Esperienza in progetti internazionali / multi-country.
• Esperienza nell'integrazione di dati provenienti da differenti sistemi e Paesi.
• Conoscenza di pratiche di data quality e data governance.
• Supporto tecnico specialistico da parte del team senior qualora necessario.
• Percorso di crescita professionale strutturato.
• Formazione continua su competenze tecniche e trasversali.
• Ambiente dinamico e altamente qualificato.

La retribuzione annua lorda per questo ruolo è compresa tra 26.000 EUR e 31.000 EUR.

Il posizionamento all'interno del range sarà definito in base alle competenze tecniche, all'esperienza specifica nel ruolo e agli esiti del processo di selezione, secondo criteri oggettivi e predefiniti. In presenza di profili con caratteristiche eccezionali rispetto al range indicato, una revisione potrà essere valutata previa approvazione interna

ADENTIS Italia è un equal opportunities employer: crediamo che tutte le forme di diversità siano fonte di arricchimento reciproco. Ci impegniamo a garantire un ambiente di lavoro inclusivo, nel quale ogni singola risorsa possa apportare un valore unico alla nostra realtà. Pertanto, accogliamo candidature senza distinzione di età, genere, nazionalità, disabilità, orientamento sessuale, religione o stato civile.

Inoltre, teniamo fede ai nostri impegni prestando attenzione alle risorse appartenenti alle categorie protette ai sensi degli articoli 1 e 18 della Legge 68/99.

I dati personali saranno trattati in conformità alle disposizioni contenute nel regolamento UE 2016/679.