Senior Data Engineer

Cerved; San Donato Milanese; Ibrido; EUR 45.000 - 60.000; Tempo pieno

Descrizione del lavoro

Cerved è la tech company italiana che guida la trasformazione digitale delle imprese con dati e analytics. Cerchiamo un Senior Data Engineer per progettare, sviluppare e ottimizzare pipeline di dati robuste e scalabili, a supporto di Analytics, AI e ML.

La posizione prevede Python/Java, Spark e Databricks, integrazione di sorgenti eterogenee su AWS e gestione di workflow con Airflow o Databricks Workflows. Sede Milano/Padova/Roma, modello ibrido, CCNL Terziario e range 45.000–60.000 euro.

Competenze

• Laurea in Informatica, Ingegneria Informatica, Matematica o discipline affini.
• Certificazioni AWS o Databricks apprezzate.
• Minimo 3 anni nello sviluppo di pipeline dati in contesti produttivi.
• Competenze Python (pandas, PySpark, asyncio, FastAPI) e/o Java (Spring Boot, Maven/Gradle).
• Esperienza con Apache Spark e Databricks (notebooks, jobs, Delta Live Tables).
• Conoscenza servizi AWS per dati S3, Glue, Redshift, EMR, Kinesis, Lambda, IAM.
• Databricks Delta Live Tables, Auto Loader e formati Parquet/Delta; data modeling.
• Familiarità con Airflow o Databricks Workflows e sistemi di messaggistica (Kafka, Kinesis).
• Ottima conoscenza SQL avanzato e pratiche DevOps/DataOps (Git, CI/CD, Docker, Kubernetes).
• Vantaggi: conoscenza di ML/AI su dati, Vector Store, architetture RAG.
• Propensione al lavoro in team Agile e attenzione alla qualità del codice.

Mansioni

• Progettare, sviluppare e mantenere pipeline di ingestione, trasformazione e distribuzione dati (ETL/ELT) con Python/Java, Spark e Databricks.
• Implementare e ottimizzare Job Spark (batch e streaming) su Databricks, garantendo performance e test coverage.
• Integrare sorgenti dati eterogenee (relazionali, API REST, file system, messaging) con AWS S3/Glue/Kinesis/SQS/Lambda/Redshift.
• Scrivere codice production‑grade, testabile e documentato (unità/integration).
• Costruire workflow di orchestrazione con Airflow o Databricks Workflows, monitoraggio ed error handling.
• Garantire data lineage e data quality lungo tutto il flusso (Delta Live Tables, Databricks SQL).
• Collaborare con Data Architect, Data Science e BI; contribuire al DevOps/DataOps.
• Realizzare pipeline ML/AI, feature engineering e feature store per applicazioni Generative AI.

Conoscenze

Python

PySpark

Java

SQL

Databricks

Spark

Airflow

Kafka

Docker

Kubernetes

AWS

Git

Formazione

Laurea in Informatica/Oing. Informatica

Strumenti

Databricks

Docker

Kubernetes

Git

Terraform

Airflow

Descrizione del lavoro

Cerved è la tech company italiana che, grazie a segnali predittivi unici e a un patrimonio esclusivo di dati e analytics, supporta la crescita sostenibile, la gestione del rischio e la trasformazione digitale di imprese e istituzioni.

Con Cerved Rating Agency, elaboriamo valutazioni sul merito di credito, rating ESG e analisi sulle emissioni di debito.

Dal 2021 Cerved è parte di ION Group, uno dei più grandi operatori FinTech internazionali.

Per consolidare il nostro Team Data Models Tools & Processes, siamo alla ricerca di una figura di Senior Data Engineer che avrà la responsabilità di progettare, sviluppare e ottimizzare pipeline di dati robuste e scalabili, a supporto dei processi di business e delle iniziative di Analytics, AI e Machine Learning.

Principali responsabilità

• Sviluppare, testare e mantenere pipeline di ingestione, trasformazione e distribuzione dei dati (ETL/ELT) utilizzando Python, Java, Apache Spark e Databricks;
• Implementare e ottimizzare Job Spark (batch e streaming) su Databricks, garantendo performance, affidabilità e copertura dei test;
• Integrare sorgenti dati eterogenee (database relazionali, API REST, file system, code di messaggistica) sfruttando i servizi AWS S3, Glue, Kinesis, SQS, Lambda, Redshift;
• Scrivere codice di qualità production‑grade in Python e/o Java, applicando principi SOLID, design pattern, code review e test automatizzati (unit, integration);
• Costruire e gestire workflow di orchestrazione con Apache Airflow o Databricks Workflows, assicurando monitoraggio, alerting e gestione degli errori;
• Applicare tecniche di data modeling e trasformazione con Databricks (Delta Live Tables, Databricks SQL, Auto Loader), garantendo la tracciabilità e la qualità dei dati lungo tutto il flusso (data lineage, data quality checks);
• Collaborare con i team di Data Architect, Data Science e BI;
• Contribuire all’adozione di best practice DevOps/DataOps versionamento del codice (Git), CI/CD per pipeline dati, Infrastructure as Code (Terraform) e ambienti containerizzati (Docker, Kubernetes);
• Preparare e ottimizzare i dati a supporto di modelli ML e soluzioni AI feature engineering, costruzione di Feature Store, pipeline di embedding e RAG per applicazioni di Generative AI.

Requisiti

• Laurea in Informatica, Ingegneria Informatica, Matematica o discipline affini. Certificazioni AWS (Cloud Practitioner, Developer, Data Analytics) o Databricks sono apprezzate;
• Esperienza di almeno 3 anni nello sviluppo di pipeline dati e soluzioni di data engineering in contesti produttivi;
• Solide competenze di programmazione in Python (pandas, PySpark, asyncio, FastAPI) e/o Java (Spring Boot, Maven/Gradle); capacità di scrivere codice pulito, testabile e documentato;
• Esperienza con Apache Spark (RDD, DataFrame API, Spark SQL, Structured Streaming) e con la piattaforma Databricks (notebooks, jobs, Delta Live Tables);
• Conoscenza pratica dei servizi AWS per i dati S3, Glue, Athena, Redshift, EMR, Kinesis Data Streams/Firehose, Lambda, Step Functions, IAM;
• Esperienza con le funzionalità avanzate di Databricks per la trasformazione e qualità del dato (Delta Live Tables, Databricks SQL, Auto Loader, Delta Lake) e con formati di storage columnar (Parquet, Delta, Iceberg);
• Familiarità con sistemi di orchestrazione (Apache Airflow, Databricks Workflows) e messaggistica event-driven (Apache Kafka, Amazon Kinesis, SQS);
• Buona padronanza di SQL avanzato (window functions, CTE, ottimizzazione delle query) su database relazionali e analitici (PostgreSQL, Redshift, Athena);
• Esperienza con pratiche DevOps/DataOps Git, CI/CD (GitHub Actions, GitLab CI, Jenkins), Docker, Kubernetes; conoscenza di base di Terraform o CloudFormation è un plus;
• Conoscenza di base di tecniche ML/AI applicate ai dati feature engineering, pipeline di preprocessing per modelli, Vector Store e architetture RAG per Generative AI costituisce un vantaggio;
• Propensione al lavoro in team Agile, attitudine alla collaborazione cross‑funzionale, curiosità tecnologica e orientamento alla qualità del codice e alla continuous improvement.

Sede di lavoro Milano, Mangone (CS), Padova, Roma

Modalità di lavoro Ibrida

La posizione è inquadrata al 1 Livello, secondo il CCNL Terziario, Distribuzione e Servizi (Commercio) e il range retributivo iniziale previsto è compreso tra Euro 45.000 ed Euro 60.000. L'esatta attribuzione all'interno della fascia retributiva sarà determinata sulla base di criteri oggettivi, trasparenti e neutrali sotto il profilo del genere (nel rispetto della normativa vigente).

Cerved Group garantisce (ai sensi del D.Lgs 198/2006, D.Lgs.215/2003 e D.Lgs.216/2003) pari opportunità di accesso al lavoro a tutt * i/le candidat * e si impegna a favorire il rispetto delle diversità e l’inclusione sul posto di lavoro.