Data Engineer: Real-Time CDC & Lakehouse Specialist

Soft Strategy s.p.a; Lazio; In loco; EUR 27.000 - 33.000; Tempo pieno

Descrizione del lavoro

Soft Strategy s.p.a. cerca un Data Engineer da inserire nel team dedicato a TIDE, una piattaforma di raccolta dati in tempo reale. Il candidato implementerà e manterrà flussi CDC, garantendo integrità e zero data loss, e collaborerà a evoluzioni di streaming e governance.

Il ruolo richiede 4–6 anni di esperienza, solide competenze SQL, Python e Spark, oltre a conoscenze di Kafka, Debezium/Confluent e NiFi. Sede Bari, tempo pieno in presenza.

Competenze

• Laurea in Informatica o equivalente oppure esperienza lavorativa equivalente.
• 4–6 anni di esperienza come Data Engineer o ruoli similari su pipeline dati.
• Conoscenza di SQL e DB relazionali (Oracle, PostgreSQL, MySQL o SQL Server).
• Python per sviluppo di job dati con Spark/PySpark (streaming e/o batch).
• Conoscenza di Apache Kafka e concetti di streaming eventi.

Mansioni

• Sviluppare e mantenere pipeline CDC di ingestion dai database sorgente al layer Bronze con Debezium/Confluent, garantendo zero data loss.
• Gestire Bronze → Silver → Gold con Spark/Spark Streaming in Python e Apache NiFi.
• Gestire tabelle Apache Iceberg su storage; evoluzioni di schema e ottimizzazioni.
• Configurare topic Kafka, offset e DLQ; analisi, reprocessing e alerting.
• Monitorare e mettere in atto tuning delle pipeline (latenza, volume, soglie).
• Seguire standard di progetto, commit, documentazione e CI per pipeline data.

Conoscenze

SQL

Python

Apache Spark

Apache Kafka

ETL/ELT concepts

Formazione

Laurea in Informatica o equivalente

Strumenti

Debezium / Confluent

Groovy

Apache NiFi

Apache Iceberg

Cloudera

Descrizione del lavoro

Soft Strategy s.p.a. cerca un Data Engineer da inserire nel team dedicato a TIDE, una piattaforma di raccolta dati in tempo reale. Il candidato implementerà e manterrà flussi CDC, garantendo integrità e zero data loss, e collaborerà a evoluzioni di streaming e governance.

Il ruolo richiede 4–6 anni di esperienza, solide competenze SQL, Python e Spark, oltre a conoscenze di Kafka, Debezium/Confluent e NiFi. Sede Bari, tempo pieno in presenza.