Data Engineer - Databricks Lakehouse & CI/CD

ADENTIS Italia; Italia; On-site; EUR 28,000 - 35,000; Full time

Job summary

ADENTIS Italia cerca un Data Engineer per progettare e sviluppare pipeline dati affidabili, sia batch che streaming, nell’ecosistema Databricks e Lakehouse. La risorsa sarà coinvolta in sviluppo, amministrazione, ottimizzazione performance, monitoraggio qualità dati e pratiche CI/CD, con uso intensivo di Python (PySpark) e SQL.

Si lavora con Delta Lake, Unity Catalog e Delta Live Tables, gestendo governance e accessi.

Qualifications

• Conoscenza di pipeline ETL/ELT e processi batch/streaming.
• Abilità nell’uso di Databricks e Lakehouse.
• Ottima conoscenza di SQL avanzato e data modeling.
• Esperienza con Python per data engineering (PySpark, Pandas).
• Gestione governance e accessi ai dati (Unity Catalog).
• Esperienza con CI/CD per piattaforme dati.

Responsibilities

• Progettare e implementare pipeline ETL/ELT affidabili.
• Sviluppare pipeline batch e streaming e orchestrazione.
• Lavorare su Databricks, ottimizzando performance e governance.
• Applicare framework di data validation e CI/CD su piattaforme dati.

Skills

Python

SQL

PySpark

Pandas

Data Modeling

Git

CI/CD

Spark SQL

Tools

Databricks

Apache Spark

Delta Lake

Unity Catalog

Delta Live Tables

Databricks Workflows

Auto Loader

Job description

ADENTIS Italia cerca un Data Engineer per progettare e sviluppare pipeline dati affidabili, sia batch che streaming, nell’ecosistema Databricks e Lakehouse. La risorsa sarà coinvolta in sviluppo, amministrazione, ottimizzazione performance, monitoraggio qualità dati e pratiche CI/CD, con uso intensivo di Python (PySpark) e SQL.

Si lavora con Delta Lake, Unity Catalog e Delta Live Tables, gestendo governance e accessi.