Data Engineer

agap2 Italia; Italia; On-site; EUR 30,000 - 38,000; Full time

Job summary

AGAP2 Italia sta assumendo un Data Engineer per un progetto in ambito Data Platform, con focus su pipeline dati, streaming e architetture Lakehouse basate su Cloudera.

Si richiede esperienza su CDP o piattaforme on-premise, Spark/SQL avanzati, Kafka e Debezium con Oracle, NiFi e Iceberg, e buona gestione di Linux e troubleshooting. Retribuzione tra €30.000 e €38.000 RAL. CCNL Commercio e Terziario.

Qualifications

• Esperienza con Cloudera Data Platform (CDP) o piattaforme on-premise equivalenti.
• Ottima conoscenza di Apache Spark e SQL.
• Esperienza con Apache Kafka e pipeline CDC, preferibilmente con Debezium e Oracle.
• Conoscenza di Apache NiFi e dei formati Lakehouse, preferibilmente Apache Iceberg.
• Buona padronanza di Linux e delle attività di troubleshooting.

Responsibilities

• Progettazione e sviluppo di pipeline di acquisizione dati CDC da Oracle tramite Debezium e Kafka Connect.
• Sviluppo e ottimizzazione di flussi dati con Apache NiFi.
• Implementazione di processi batch e streaming con Apache Spark (PySpark e/o Scala/Java).
• Gestione e ottimizzazione di tabelle Apache Iceberg e delle relative funzionalità.
• Ottimizzazione delle query SQL e delle performance tramite Apache Impala.
• Monitoraggio della piattaforma, troubleshooting e supporto alla sicurezza degli accessi.

Skills

CDP/On-premise

Spark & SQL

Kafka & Debezium

NiFi & Iceberg

Linux troubleshooting

Tools

Kubernetes

Job description

AGAP2 è un gruppo europeo di consulenza ingegneristica e operativa facente parte del Gruppo MoOngy.

Presente in 14 paesi europei con oltre 8.500 dipendenti, abbiamo aperto, da sei anni, la prima sede italiana a Milano e, vista la continua crescita, stiamo rafforzando e ampliando il nostro team con persone che condividano gli stessi valori della nostra società: AMBIZIONE, SORRISO, DINAMISMO, VOGLIA DI METTERSI IN GIOCO, il tutto in una realtà in continua evoluzione, nella quale le relazioni umane sono sempre al primo posto

Per un progetto in ambito Data Platform, siamo alla ricerca di un Data Engineer con esperienza nello sviluppo di pipeline dati, processi di streaming e architetture Lakehouse, da inserire in un contesto tecnologico strutturato basato su Cloudera.

Di cosa ti occuperai?

• Progettazione e sviluppo di pipeline di acquisizione dati CDC da Oracle tramite Debezium e Kafka Connect.
• Sviluppo e ottimizzazione di flussi dati con Apache NiFi.
• Implementazione di processi batch e streaming con Apache Spark (PySpark e/o Scala/Java).
• Gestione e ottimizzazione di tabelle Apache Iceberg e delle relative funzionalità.
• Ottimizzazione delle query SQL e delle performance tramite Apache Impala.
• Monitoraggio della piattaforma, troubleshooting e supporto alla sicurezza degli accessi.

Requisiti fondamentali

• Esperienza con Cloudera Data Platform (CDP) o piattaforme on-premise equivalenti.
• Ottima conoscenza di Apache Spark e SQL.
• Esperienza con Apache Kafka e pipeline CDC, preferibilmente con Debezium e Oracle.
• Conoscenza di Apache NiFi e dei formati Lakehouse, preferibilmente Apache Iceberg.
• Buona padronanza di Linux e delle attività di troubleshooting.

Retribuzione e inquadramento

La retribuzione per questo ruolo è compresa tra €30.000 e €38.000 di RAL.

La posizione è inquadrata nell’ambito del CCNL Commercio e Terziario applicato dalla nostra società.

Il posizionamento all’interno del range sarà definito in base alle competenze tecniche, all’esperienza specifica nel ruolo e agli esiti del processo di selezione, secondo criteri oggettivi e neutri.

In presenza di profili con caratteristiche eccezionali rispetto al range indicato, potrà essere valutata una revisione previa approvazione interna.