Data Engineer

Soft Strategy S.p.A.; Puglia; In loco; EUR 30.000 - 40.000; Tempo pieno

Vantaggi offerti da questo lavoro

Sede Bari in presenza

Formazione professionale

Descrizione del lavoro

Soft Strategy ricerca un Data Engineer da inserire nel team responsabile di TIDE, piattaforma di raccolta ed elaborazione dati in tempo reale, basata su CDC, Medallion e tecnologie enterprise (Confluent Kafka, Cloudera, Iceberg, Spark).

Il ruolo prevede sviluppo, evoluzione e manutenzione di flussi dati robusti, con opportunità di crescita in streaming, governance e data quality, inserito in Bari in presenza e contratto a tempo indeterminato.

Competenze

• 4-6 anni di esperienza come Data Engineer o ruoli equivalenti su pipeline dati.
• Solida conoscenza di SQL e dei principali database relazionali ( Oracle, PostgreSQL, MySQL, SQL Server ).
• Buona padronanza di Python per lo sviluppo di job dati, con esperienza pratica di Apache Spark / PySpark (streaming e/o batch).
• Conoscenza di Apache Kafka e dei concetti di event streaming (topic, partizioni, offset).
• Familiarità con ecosistemi big data / Hadoop / Cloudera e con formati di file colonnari (Parquet).
• Comprensione dei concetti di pipeline dati, ETL/ELT e architetture a layer (Medallion).
• Dimestichezza con Git e CI.

Mansioni

• Sviluppare pipeline CDC ingestion dai database sorgente verso il layer Bronze, tramite connettori Debezium / Confluent, garantendo zero data loss ed extract-once.
• Realizzare ed evolvere i flussi di elaborazione tra i layer Bronze → Silver → Gold con Apache Spark / Spark Streaming in Python (PySpark) e con Apache NiFi.
• Gestire le tabelle in formato Apache Iceberg su storage Ozone, incluse evoluzioni di schema (DDL) e ottimizzazioni.
• Configurare e gestire topic Kafka, offset e code di dead-letter (DLQ): analisi, reprocessing e alerting sui messaggi in errore.
• Implementare monitoraggio, alerting e tuning delle pipeline (salute dei flussi, latenza, volumi, soglie).
• Applicare gli standard di progetto: naming convention, tracciabilità, data lineage, accessi e visibilità sui data tier.
• Contribuire alle attività di testing, versionamento e pipeline CI, oltre alla documentazione tecnica.
• Supportare le fasi di migrazione dei flussi attraverso gli ambienti (Test → Collaudo → Produzione).

Conoscenze

SQL

Python

Apache Spark

PySpark

Apache Kafka

Debezium

Apache NiFi

Git

CI/CD

Parquet

Formazione

Laurea in Informatica o equivalente

Strumenti

Confluent

Apache NiFi

Apache Iceberg

Ozone

Cloudera

OpenMetadata

Atlas

Git

Descrizione del lavoro

Le tue sfide

Cerchiamo un Data Engineer da inserire nel team che sta realizzando TIDE (Trasferimento Infrastrutturale Dati ed Eventi): una piattaforma infrastrutturale di raccolta e propagazione, in tempo reale e "certificabile", degli eventi di variazione dati provenienti dai database operazionali aziendali.
La soluzione si basa su un paradigma di Change Data Capture (CDC) e su un'architettura Lakehouse Medallion (Bronze / Silver / Gold) costruita su tecnologie enterprise: Confluent Kafka, Cloudera Data Platform, Apache Iceberg, Apache Spark, Apache NiFi. È un progetto in forte crescita, con roadmap pluriennale, che alimenta servizi di business come la Centrale Eventi e casi d'uso di analytics avanzato.
Entrerai in un team strutturato, dove i profili senior definiscono architettura e standard: il tuo compito sarà implementare, far evolvere e mantenere robusti i flussi dati, con reale possibilità di crescere sui temi di streaming, governance e data quality.

Cosa farai

• Sviluppare e mantenere pipeline di ingestion CDC dai database sorgente verso il layer Bronze, tramite connettori Debezium / Confluent, garantendo zero data loss ed extract-once.
• Realizzare ed evolvere i flussi di elaborazione tra i layer Bronze → Silver → Gold con Apache Spark / Spark Streaming in Python (PySpark) e con Apache NiFi (processori e script Groovy).
• Gestire le tabelle in formato Apache Iceberg su storage Ozone, incluse evoluzioni di schema (DDL) e ottimizzazioni.
• Configurare e gestire topic Kafka, offset e code di dead-letter (DLQ): analisi, reprocessing e alerting sui messaggi in errore.
• Implementare monitoraggio, alerting e tuning delle pipeline (salute dei flussi, latenza, volumi, soglie).
• Applicare gli standard di progetto: naming convention, tracciabilità, data lineage, accessi e visibilità sui data tier.
• Contribuire alle attività di testing, versionamento e pipeline CI, oltre alla documentazione tecnica.
• Supportare le fasi di migrazione dei flussi attraverso gli ambienti (Test → Collaudo → Produzione).
  

Perché dovremmo sceglierti

Riteniamo Fondamentali Per La Tua Candidatura

• Laurea (triennale o magistrale) in Informatica, Ingegneria Informatica, ICT o discipline affini, oppure esperienza equivalente maturata sul campo.
• 4-6 anni di esperienza come Data Engineer o in ruoli equivalenti su pipeline dati.
• Solida conoscenza di SQL e dei principali database relazionali (almeno uno tra Oracle, PostgreSQL, MySQL, SQL Server).
• Buona padronanza di Python per lo sviluppo di job dati, con esperienza pratica di Apache Spark / PySpark (ambito streaming e/o batch su dati strutturati).
• Conoscenza di Apache Kafka e dei concetti di event streaming (topic, partizioni, offset, consumer group).
• Familiarità con ecosistemi big data / Hadoop / Cloudera e con formati di file colonnari (Parquet).
• Comprensione dei concetti di pipeline dati, ETL/ELT e architetture a layer (es. Medallion).
• Dimestichezza con Git e con logiche di versionamento e CI.

Requisiti Che Costituiscono Un Plus

• Esperienza con CDC e con connettori Debezium / Confluent.
• Conoscenza di Apache NiFi e capacità di scripting in Groovy (processori custom, filtri).
• Esperienza con Open Table Format (Apache Iceberg, Delta, Hudi) e concetti di time travel / data versioning.
• Conoscenza di strumenti di data lineage / data catalog / governance (Apache Atlas, OpenMetadata).
• Nozioni di data quality, data security e auditing.
• Esperienza con MongoDB o altre sorgenti NoSQL.
• Conoscenza di Ozone o altri storage distribuiti.
• Familiarità con strumenti di collaborazione Jira / Confluence.
  

Competenze trasversali

• Attenzione a robustezza, affidabilità e qualità del dato.
• Metodo e precisione nel seguire standard e convenzioni condivise.
• Capacità di lavorare in team e di coordinarsi con figure architetturali e di business.
• Autonomia nella diagnosi e risoluzione di problemi su flussi in esercizio.
• Buona comunicazione e propensione alla documentazione.
• Ottime capacità di problem solving e di analisi.
• Attitudine al lavoro in team e alla gestione autonoma dei progetti.
  

Dettagli Contrattuali e Retributivi

• Sede di lavoro: Bari (modalità in presenza)
• Orario di lavoro: Full-time, 40h settimanali (9:00-18:00, dal lunedì al venerdì)
• Trasferte: occasionali su territorio nazionale
• Contratto: tempo indeterminato - CCNL Terziario, livello da definire
• Pacchetto retributivo: €30.000 - €40.000, compresi eventuali benefit
• Job Family: Tech Consultant
• Ruoli possibili: Consultant - Senior Consultant
• Attività svolta anche presso sedi dei clienti; possibile variazione di contesto e orari in funzione dei progetti, nel rispetto della normativa vigente.
  

Sede di lavoro: Bari, con attività svolta interamente in presenza presso il cliente.

Perché scegliere Soft Strategy?

Chi siamo

Siamo un'affermata realtà nel settore della consulenza ed offriamo servizi altamente specializzati in ambito Management Consulting, Information Technology e della Customer Experience.

Investiamo nel nostro asset migliore: le persone

Sarai immerso immediatamente in sfide coinvolgenti, offrendoti l'opportunità di ampliare le tue competenze e gestire progetti complessi e stimolanti presso i nostri clienti.

Formazione

Valorizziamo il capitale umano per renderlo un asset competitivo. Crediamo nella formazione perché aumenta il valore della nostra impresa e la motivazione delle nostre risorse.

Diversity and inclusion

La ricerca rispetta il D.lgs. 198/2006, il D.lgs. 215/03 e il D.lgs. 216/03 ed è aperta a candidati di qualsiasi orientamento sessuale o espressione di genere, età, etnia e credo religioso.

Iter di selezione

Se Condividi La Nostra Passione Per Il Mondo Della Tecnologia e Dell'innovazione e Pensi Di Poter Dare Un Contributo Che Possa Lasciare Un Segno, Segui Questi Rapidi Step

• ESPLORA: visita il nostro sito e scopri le posizioni aperte per individuare quella che più si addice al tuo profilo.
• PRIMO CONTATTO TELEFONICO CON HR: entra nel vivo della nostra mission aziendale e condividi le tue esperienze e conoscenze.
• COLLOQUIO CON I MANAGER: approfondisci i nostri ambiti di sviluppo.
• COLLOQUIO HR: avvicinati alla nostra realtà e mettiti alla prova mostrando la tua motivazione e il tuo potenziale.
• WELCOME IN SOFT STRATEGY: Ora fai parte del nostro gruppo, una squadra fatta di persone, impegno ed innovazione. Costruiamo insieme il nostro futuro digitale.
  

Settore: Informatica
Ruolo: Informatica/Tecnologia
CCNL applicato: COMMERCIO - Confcommercio
Salario mensile lordo: EUR 2000 - EUR 2800
Tipo di occupazione: Contratto a tempo indeterminato