Data Engineer Lakehouse – Python, PySpark & Airflow

agap2 Italia; Bologna; On-site; EUR 25,000 - 35,000; Full time

Benefits offered by this job

Smart Working flessibile

Buoni pasto giornalieri

Formazione continua (hard & soft)

Follow-up con HR e Business Manager

Piano di crescita professionale

Job summary

AGAP2 cerca un Data Engineer (Mid-Senior / Senior) da inserire in una delle realtà logistiche italiane più dinamiche. La sfida è fondare una Data Platform basata sull’Architettura Medallion e costruire da zero un Data Lakehouse moderno, superando il DWH legacy.

Avrai il focus sullo sviluppo e l’ottimizzazione delle pipeline del Lakehouse, lavorando su flussi basati su eventi e tabelle analitiche ad alte prestazioni, con minimo uso di codice legacy.

Qualifications

• 2–3 anni di esperienza nello sviluppo di pipeline ETL/ELT.
• Ottima conoscenza di Python e PySpark.
• Esperienza con Apache Airflow per orchestrazione.
• Conoscenza concetti Data Lakehouse, Architettura Medallion e formati moderni (Iceberg, Delta o Hudi).
• Capacità di estendere modelli dati esistenti e progettare nuove tabelle dimensionali.

Responsibilities

• Sviluppo e ottimizzazione delle pipeline del Lakehouse.
• Lavoro su flussi basati su eventi e tabelle di staging evolute.
• Ricostruzione delle logiche di business nel backend, riducendo uso del codice legacy.
• Collaborazione con Enterprise Architect e team per implementare la nuova Data Platform.

Skills

Python

PySpark

Airflow

Data Lakehouse

Data Modeling

Tools

Iceberg

Delta

Hudi

Job description

AGAP2 cerca un Data Engineer (Mid-Senior / Senior) da inserire in una delle realtà logistiche italiane più dinamiche. La sfida è fondare una Data Platform basata sull’Architettura Medallion e costruire da zero un Data Lakehouse moderno, superando il DWH legacy.

Avrai il focus sullo sviluppo e l’ottimizzazione delle pipeline del Lakehouse, lavorando su flussi basati su eventi e tabelle analitiche ad alte prestazioni, con minimo uso di codice legacy.