Data Engineer – Data Platform & Streaming Specialist

agap2 Italia; Italia; On-site; EUR 30,000 - 38,000; Full time

Job summary

AGAP2 Italia sta assumendo un Data Engineer per un progetto in ambito Data Platform, con focus su pipeline dati, streaming e architetture Lakehouse basate su Cloudera.

Si richiede esperienza su CDP o piattaforme on-premise, Spark/SQL avanzati, Kafka e Debezium con Oracle, NiFi e Iceberg, e buona gestione di Linux e troubleshooting. Retribuzione tra €30.000 e €38.000 RAL. CCNL Commercio e Terziario.

Qualifications

• Esperienza con Cloudera Data Platform (CDP) o piattaforme on-premise equivalenti.
• Ottima conoscenza di Apache Spark e SQL.
• Esperienza con Apache Kafka e pipeline CDC, preferibilmente con Debezium e Oracle.
• Conoscenza di Apache NiFi e dei formati Lakehouse, preferibilmente Apache Iceberg.
• Buona padronanza di Linux e delle attività di troubleshooting.

Responsibilities

• Progettazione e sviluppo di pipeline di acquisizione dati CDC da Oracle tramite Debezium e Kafka Connect.
• Sviluppo e ottimizzazione di flussi dati con Apache NiFi.
• Implementazione di processi batch e streaming con Apache Spark (PySpark e/o Scala/Java).
• Gestione e ottimizzazione di tabelle Apache Iceberg e delle relative funzionalità.
• Ottimizzazione delle query SQL e delle performance tramite Apache Impala.
• Monitoraggio della piattaforma, troubleshooting e supporto alla sicurezza degli accessi.

Skills

CDP/On-premise

Spark & SQL

Kafka & Debezium

NiFi & Iceberg

Linux troubleshooting

Tools

Kubernetes

Job description

AGAP2 Italia sta assumendo un Data Engineer per un progetto in ambito Data Platform, con focus su pipeline dati, streaming e architetture Lakehouse basate su Cloudera.

Si richiede esperienza su CDP o piattaforme on-premise, Spark/SQL avanzati, Kafka e Debezium con Oracle, NiFi e Iceberg, e buona gestione di Linux e troubleshooting. Retribuzione tra €30.000 e €38.000 RAL. CCNL Commercio e Terziario.