Senior Data Engineer - Hybrid Data Pipelines & ML

Cerved; San Donato Milanese; Ibrido; EUR 45.000 - 60.000; Tempo pieno

Descrizione del lavoro

Cerved è la tech company italiana che guida la trasformazione digitale delle imprese con dati e analytics. Cerchiamo un Senior Data Engineer per progettare, sviluppare e ottimizzare pipeline di dati robuste e scalabili, a supporto di Analytics, AI e ML.

La posizione prevede Python/Java, Spark e Databricks, integrazione di sorgenti eterogenee su AWS e gestione di workflow con Airflow o Databricks Workflows. Sede Milano/Padova/Roma, modello ibrido, CCNL Terziario e range 45.000–60.000 euro.

Competenze

• Laurea in Informatica, Ingegneria Informatica, Matematica o discipline affini.
• Certificazioni AWS o Databricks apprezzate.
• Minimo 3 anni nello sviluppo di pipeline dati in contesti produttivi.
• Competenze Python (pandas, PySpark, asyncio, FastAPI) e/o Java (Spring Boot, Maven/Gradle).
• Esperienza con Apache Spark e Databricks (notebooks, jobs, Delta Live Tables).
• Conoscenza servizi AWS per dati S3, Glue, Redshift, EMR, Kinesis, Lambda, IAM.
• Databricks Delta Live Tables, Auto Loader e formati Parquet/Delta; data modeling.
• Familiarità con Airflow o Databricks Workflows e sistemi di messaggistica (Kafka, Kinesis).
• Ottima conoscenza SQL avanzato e pratiche DevOps/DataOps (Git, CI/CD, Docker, Kubernetes).
• Vantaggi: conoscenza di ML/AI su dati, Vector Store, architetture RAG.
• Propensione al lavoro in team Agile e attenzione alla qualità del codice.

Mansioni

• Progettare, sviluppare e mantenere pipeline di ingestione, trasformazione e distribuzione dati (ETL/ELT) con Python/Java, Spark e Databricks.
• Implementare e ottimizzare Job Spark (batch e streaming) su Databricks, garantendo performance e test coverage.
• Integrare sorgenti dati eterogenee (relazionali, API REST, file system, messaging) con AWS S3/Glue/Kinesis/SQS/Lambda/Redshift.
• Scrivere codice production‑grade, testabile e documentato (unità/integration).
• Costruire workflow di orchestrazione con Airflow o Databricks Workflows, monitoraggio ed error handling.
• Garantire data lineage e data quality lungo tutto il flusso (Delta Live Tables, Databricks SQL).
• Collaborare con Data Architect, Data Science e BI; contribuire al DevOps/DataOps.
• Realizzare pipeline ML/AI, feature engineering e feature store per applicazioni Generative AI.

Conoscenze

Python

PySpark

Java

SQL

Databricks

Spark

Airflow

Kafka

Docker

Kubernetes

AWS

Git

Formazione

Laurea in Informatica/Oing. Informatica

Strumenti

Databricks

Docker

Kubernetes

Git

Terraform

Airflow

Descrizione del lavoro

Cerved è la tech company italiana che guida la trasformazione digitale delle imprese con dati e analytics. Cerchiamo un Senior Data Engineer per progettare, sviluppare e ottimizzare pipeline di dati robuste e scalabili, a supporto di Analytics, AI e ML.

La posizione prevede Python/Java, Spark e Databricks, integrazione di sorgenti eterogenee su AWS e gestione di workflow con Airflow o Databricks Workflows. Sede Milano/Padova/Roma, modello ibrido, CCNL Terziario e range 45.000–60.000 euro.