Databricks Developer

ADENTIS Italia; Italia; In loco; EUR 26.000 - 31.000; Tempo pieno

Descrizione del lavoro

ADENTIS Italia cerca una Data Engineer da inserire in un progetto di sviluppo di una piattaforma dati su Databricks, a supporto di un’area di business internazionale.

La risorsa lavorerà sull’integrazione di dati provenienti da USA e Brasile, con architettura Medallion Bronze/Silver/Gold, trasformazione e governance della qualità dei dati per fornire insight fruibili dal business.

Competenze

• Esperienza nello sviluppo di Data Pipeline su Databricks e gestione di architetture Medallion (Bronze/Silver/Gold).
• Competenza in PySpark e Spark SQL per trasformazione e integrazione dati.
• Buona padronanza di SQL e conoscenza di Delta Lake e governance dei dati.
• Esperienza in progetti internazionali/multi-country e integrazione dati da fonti eterogenee.

Mansioni

• Sviluppo, gestione e manutenzione di data pipeline su Databricks.
• Implementazione di pipeline secondo architettura Medallion e gestione dei livelli Bronze/Silver/Gold.
• Ingestion e integrazione di dati da sorgenti eterogenee tra cui SQL, Cloudera e Excel.
• Trasformazione, pulizia e strutturazione dei dati attraverso i vari layer della piattaforma.
• Analisi delle sorgenti dati per qualità, caratteristiche e anomalie.
• Collaborazione con stakeholder tecnici e di business per requisiti e disponibilità dei dati.

Conoscenze

Databricks

PySpark

SQL

Delta Lake

Data Pipeline

Data governance

Data quality

Hadoop ecosystem

Cloudera

Excel

Strumenti

Cloudera

Hadoop

Excel

Descrizione del lavoro

ADENTIS Italia è un gruppo europeo di consulenza ingegneristica e operativa facente parte del Gruppo MoOngy.

Presente in 14 paesi europei con oltre 9.000 dipendenti, abbiamo aperto, da quattro anni, la prima sede italiana a Milano e, vista la continua crescita, stiamo rafforzando e ampliando il nostro team con persone che condividano gli stessi valori della nostra società: AMBIZIONE, DINAMISMO e VOGLIA DI METTERSI IN GIOCO, il tutto in una realtà in continua evoluzione, nella quale le relazioni umane sono sempre al primo posto.

Siamo alla ricerca di un/una Data Engineer da inserire all’interno di un progetto di sviluppo di una piattaforma dati su Databricks, a supporto di un'importante area di business internazionale.

La risorsa lavorerà alla realizzazione e gestione di una piattaforma dati che integra informazioni provenienti da USA e Brasile, con particolare riferimento al dominio contratti e prezzi.

Il progetto prevede l'utilizzo di un'architettura Medallion (Bronze/Silver/Gold), con l'obiettivo di trasformare dati provenienti da sorgenti eterogenee in informazioni strutturate e fruibili dal business.

Responsabilità

La risorsa si occuperà principalmente di:

• Sviluppo, gestione e manutenzione di data pipeline su Databricks.
• Implementazione di pipeline secondo architettura Medallion, gestendo i layer Bronze, Silver e Gold.
• Ingestion e integrazione di dati provenienti da sorgenti eterogenee, tra cui database SQL, Cloudera e file Excel.
• Trasformazione, pulizia e strutturazione dei dati attraverso i diversi layer della piattaforma.
• Implementazione di processi di data transformation e data integration tramite PySpark e Spark SQL.
• Analisi delle sorgenti dati (source/data discovery) per comprenderne struttura, natura, qualità e caratteristiche.
• Identificazione di eventuali anomalie, inconsistenze o problematiche qualitative presenti nei dati sorgente.
• Collaborazione con gli stakeholder tecnici e di business per comprendere i requisiti e rendere i dati disponibili per le successive attività di analisi.
• Gestione di dati provenienti da diversi Paesi e relativa integrazione all'interno di un modello dati comune.
• Esperienza professionale nello sviluppo di Data Pipeline su Databricks.
• Buona conoscenza di PySpark / Apache Spark.
• Buona padronanza di SQL.
• Esperienza con architetture Medallion (Bronze/Silver/Gold).
• Conoscenza ed esperienza con Delta Lake.
• Esperienza nell'integrazione e trasformazione di dati provenienti da sorgenti differenti.
• Capacità di effettuare source/data discovery in autonomia.
• Capacità di analizzare struttura, qualità e caratteristiche dei dati prima della loro trasformazione.
• Ottima conoscenza della lingua inglese.
• Esperienza con Cloudera / Hadoop ecosystem.
• Esperienza nella gestione e integrazione di dati provenienti da file Excel.
• Esperienza in progetti internazionali / multi-country.
• Esperienza nell'integrazione di dati provenienti da differenti sistemi e Paesi.
• Conoscenza di pratiche di data quality e data governance.
• Supporto tecnico specialistico da parte del team senior qualora necessario.
• Percorso di crescita professionale strutturato.
• Formazione continua su competenze tecniche e trasversali.
• Ambiente dinamico e altamente qualificato.

La retribuzione annua lorda per questo ruolo è compresa tra 26.000 EUR e 31.000 EUR.

Il posizionamento all'interno del range sarà definito in base alle competenze tecniche, all'esperienza specifica nel ruolo e agli esiti del processo di selezione, secondo criteri oggettivi e predefiniti. In presenza di profili con caratteristiche eccezionali rispetto al range indicato, una revisione potrà essere valutata previa approvazione interna

ADENTIS Italia è un equal opportunities employer: crediamo che tutte le forme di diversità siano fonte di arricchimento reciproco. Ci impegniamo a garantire un ambiente di lavoro inclusivo, nel quale ogni singola risorsa possa apportare un valore unico alla nostra realtà. Pertanto, accogliamo candidature senza distinzione di età, genere, nazionalità, disabilità, orientamento sessuale, religione o stato civile.

Inoltre, teniamo fede ai nostri impegni prestando attenzione alle risorse appartenenti alle categorie protette ai sensi degli articoli 1 e 18 della Legge 68/99.

I dati personali saranno trattati in conformità alle disposizioni contenute nel regolamento UE 2016/679.