Data Engineer

Soft Strategy; Puglia; Presencial; EUR 22.000 - 31.000; Jornada completa

Descripción de la vacante

Soft Strategy S.p.A. cerca un Data Engineer da inserire nel team che sviluppa TIDE, una piattaforma in tempo reale per la gestione dati ed eventi tramite CDC e un architettura Lakehouse.

Il candidato lavorerà su pipeline CDC, integrazione con Debezium/Confluent, gestione Iceberg e monitoraggio delle pipeline, con percorsi di crescita su streaming, governance e data quality.

Formación

• Laurea in Informatica/Ingegneria o esperienza equivalente.
• 4-6 anni come Data Engineer o ruolo analogo su pipeline dati.
• Ottima conoscenza SQL e database relazionali.
• Padronanza di Python per job data e Spark/ PySpark.
• Conoscenza di Kafka e concetti di streaming.

Responsabilidades

• Sviluppare e mantenere pipeline CDC dai database sorgente al layer Bronze.
• Realizzare flussi Bronze → Silver → Gold con Spark e NiFi.
• Gestire tabelle Iceberg e evoluzioni di schema.
• Configurare Kafka, DLQ e monitoring delle code di messaggi.

Conocimientos

SQL

Python

Kafka

Big data

ETL/ELT

CI/CD

Data lineage

Teamwork

Problem solving

Shell scripting

Educación

Laurea in Informatica/Ingegneria

Herramientas

Debezium

Confluent

Apache Spark

Apache NiFi

Iceberg

Hadoop

Parquet

Ozone

Git

CDP

Descripción del empleo

Le tue sfide

Cerchiamo un Data Engineer da inserire nel team che sta realizzando TIDE (Trasferimento Infrastrutturale Dati ed Eventi): una piattaforma infrastrutturale di raccolta e propagazione, in tempo reale e "certificabile", degli eventi di variazione dati provenienti dai database operazionali aziendali. La soluzione si basa su un paradigma di Change Data Capture (CDC) e su un'architettura Lakehouse Medallion (Bronze / Silver / Gold) costruita su tecnologie enterprise: Confluent Kafka, Cloudera Data Platform, Apache Iceberg, Apache Spark, Apache NiFi. È un progetto in forte crescita, con roadmap pluriennale, che alimenta servizi di business come la Centrale Eventi e casi d'uso di analytics avanzato. Entrerai in un team strutturato, dove i profili senior definiscono architettura e standard: il tuo compito sarà implementare, far evolvere e mantenere robusti i flussi dati, con reale possibilità di crescere sui temi di streaming, governance e data quality.

Cosa farai

• Sviluppare e mantenere pipeline di ingestion CDC dai database sorgente verso il layer Bronze, tramite connettori Debezium / Confluent, garantendo zero data loss ed extract-once.
• Realizzare ed evolvere i flussi di elaborazione tra i layer Bronze → Silver → Gold con Apache Spark / Spark Streaming in Python (PySpark) e con Apache NiFi (processori e script Groovy).
• Gestire le tabelle in formato Apache Iceberg su storage Ozone, incluse evoluzioni di schema (DDL) e ottimizzazioni.
• Configurare e gestire topic Kafka, offset e code di dead-letter (DLQ): analisi, reprocessing e alerting sui messaggi in errore.
• Implementare monitoraggio, alerting e tuning delle pipeline (salute dei flussi, latenza, volumi, soglie).
• Applicare gli standard di progetto: naming convention, tracciabilità, data lineage, accessi e visibilità sui data tier.
• Contribuire alle attività di testing, versionamento e pipeline CI, oltre alla documentazione tecnica.
• Supportare le fasi di migrazione dei flussi attraverso gli ambienti (Test → Collaudo → Produzione).

Perché dovremmo sceglierti

Riteniamo Fondamentali Per La Tua Candidatura

• Laurea (triennale o magistrale) in Informatica, Ingegneria Informatica, ICT o discipline affini, oppure esperienza equivalente maturata sul campo.
• 4-6 anni di esperienza come Data Engineer o in ruoli equivalenti su pipeline dati.
• Solida conoscenza di SQL e dei principali database relazionali (almeno uno tra Oracle, PostgreSQL, MySQL, SQL Server).
• Buona padronanza di Python per lo sviluppo di job dati, con esperienza pratica di Apache Spark / PySpark (ambito streaming e/o batch su dati strutturati).
• Conoscenza di Apache Kafka e dei concetti di event streaming (topic, partizioni, offset, consumer group).
• Familiarità con ecosistemi big data / Hadoop / Cloudera e con formati di file colonnari (Parquet).
• Comprensione dei concetti di pipeline dati, ETL/ELT e architetture a layer (es. Medallion).
• Dimestichezza con Git e con logiche di versionamento e CI.

Requisiti Che Costituiscono Un Plus

• Esperienza con CDC e con connettori Debezium / Confluent.
• Conoscenza di Apache NiFi e capacità di scripting in Groovy (processori custom, filtri).
• Esperienza con Open Table Format (Apache Iceberg, Delta, Hudi) e concetti di time travel / data versioning.
• Conoscenza di strumenti di data lineage / data catalog / governance (Apache Atlas, OpenMetadata).
• Nozioni di data quality, data security e auditing.
• Esperienza con MongoDB o altre sorgenti NoSQL.
• Conoscenza di Ozone o altri storage distribuiti.
• Familiarità con strumenti di collaborazione Jira / Confluence.

Competenze trasversali

• Attenzione a robustezza, affidabilità e qualità del dato.
• Metodo e precisione nel seguire standard e convenzioni condivise.
• Capacità di lavorare in team e di coordinarsi con figure architetturali e di business.
• Autonomia nella diagnosi e risoluzione di problemi su flussi in esercizio.
• Buona comunicazione e propensione alla documentazione.
• Ottime capacità di problem solving e di analisi.
• Attitudine al lavoro in team e alla gestione autonoma dei progetti.

Dettagli Contrattuali e Retributivi

• Sede di lavoro: Bari (modalità in presenza)
• Orario di lavoro: Full-time, 40h settimanali (9:00-18:00, dal lunedì al venerdì)
• Trasferte: occasionali su territorio nazionale
• Contratto: tempo indeterminato - CCNL Terziario, livello da definire
• Pacchetto retributivo: €30.000 - €40.000, compresi eventuali benefit
• Job Family: Tech Consultant
• Ruoli possibili: Consultant - Senior Consultant
• Attività svolta anche presso sedi dei clienti; possibile variazione di contesto e orari in funzione dei progetti, nel rispetto della normativa vigente.

Sede di lavoro: Bari, con attività svolta interamente in presenza presso il cliente.

Perché scegliere Soft Strategy?

Chi siamo

Siamo un'affermata realtà nel settore della consulenza ed offriamo servizi altamente specializzati in ambito Management Consulting, Information Technology e della Customer Experience.

Investiamo nel nostro asset migliore: le persone

Sarai immerso immediatamente in sfide coinvolgenti, offrendoti l'opportunità di ampliare le tue competenze e gestire progetti complessi e stimolanti presso i nostri clienti.

Formazione

Valorizziamo il capitale umano per renderlo un asset competitivo. Crediamo nella formazione perché aumenta il valore della nostra impresa e la motivazione delle nostre risorse.

Diversity and inclusion

La ricerca rispetta il D.lgs. 198/2006, il D.lgs. 215/03 e il D.lgs. 216/03 ed è aperta a candidati di qualsiasi orientamento sessuale o espressione di genere, età, etnia e credo religioso.

Settore: Informatica

Ruolo: Informatica/Tecnologia

CCNL applicato: COMMERCIO - Confcommercio

Salario mensile lordo: EUR 2000 - EUR 2800

Tipo di occupazione: Contratto a tempo indeterminato