Data Engineer / Databricks Developer

CM Sistemi Informatici; Bresso; In loco; EUR 45.000 - 70.000; Tempo pieno

Vantaggi offerti da questo lavoro

Formazione continua

Certificazioni tecniche

Ambiente di lavoro collaborativo

Crescita professionale

Descrizione del lavoro

CM Sistemi Informatici cerca un Data Engineer / Databricks Developer per progettare, sviluppare ed evolvere soluzioni Data & AI su Databricks, con focus su data engineering, integrazione dati, automazione e servizi di business.

La risorsa collaborerà con team multidisciplinari, implementando ETL/ELT, sviluppando notebook e pipelines, e garantendo qualità, monitoraggio e sicurezza dei dati evitando problemi complessi nei workflow.

Competenze

• Esperienza nello sviluppo con Python.

Mansioni

• Analizzare, progettare e sviluppare pipeline dati su Databricks.

Conoscenze

Python

Databricks

Apache Spark

ETL/ELT

SQL

Delta Lake

Data Lakehouse

Relational databases

Git

CI/CD

Azure

REST API

Kubernetes

Docker

Airflow

Agile/Scrum

Strumenti

Databricks

Airflow

Docker

Kubernetes

Git

CI/CD tools

REST APIs

Descrizione del lavoro

Informazioni sull’offerta di lavoro

Siamo alla ricerca di un/una Data Engineer / Databricks Developer da inserire all'interno del team per progettare, sviluppare ed evolvere soluzioni Data & AI su piattaforma Databricks, con particolare attenzione al data engineering, all'integrazione dei dati, all'automazione, all'analytics e allo sviluppo di servizi a supporto dei processi aziendali.

Descrizione Attività

• Analizzare, progettare e sviluppare pipeline dati su piattaforma Databricks.
• Implementare processi di data ingestion, trasformazione e distribuzione dei dati provenienti da sistemi interni ed esterni.
• Sviluppare notebook, workflow e job automatizzati utilizzando Python e gli strumenti della piattaforma Databricks.
• Collaborare alla progettazione di moderne architetture Data Lakehouse scalabili.
• Sviluppare componenti software, API e servizi backend a supporto delle piattaforme dati.
• Integrare Databricks con database, sistemi enterprise, servizi cloud e piattaforme di Machine Learning.
• Garantire qualità, affidabilità e monitoraggio delle pipeline dati.
• Gestire processi di versionamento, rilascio e automazione tramite pipeline CI/CD.
• Collaborare con Data Scientist, Software Engineer, Cloud Engineer e stakeholder di business.
• Supportare le attività di troubleshooting e la risoluzione di problematiche tecniche complesse.
• Contribuire all'evoluzione delle piattaforme cloud e delle soluzioni Data & AI aziendali.
• Applicare principi di sicurezza, governance e qualità dei dati durante l'intero ciclo di vita delle soluzioni.

Requisiti

• Esperienza nello sviluppo con Python.
• Esperienza nell'utilizzo della piattaforma Databricks.
• Conoscenza di Apache Spark e dei principi di elaborazione distribuita dei dati.
• Esperienza nella progettazione e sviluppo di pipeline ETL/ELT.
• Ottima conoscenza di SQL e della modellazione dei dati.
• Esperienza con Delta Lake e architetture Data Lakehouse.
• Conoscenza di database relazionali e sistemi di storage dati.
• Esperienza con Git e workflow di sviluppo collaborativo.
• Esperienza nell'utilizzo di pipeline CI/CD e strumenti di automazione.
• Conoscenza dei principali servizi cloud, preferibilmente Microsoft Azure.
• Familiarità con servizi di integrazione dati, API REST e architetture distribuite.
• Buona conoscenza della lingua inglese, scritta e letta.

Costituiscono titolo preferenziale

• Esperienza con Unity Catalog, Data Governance e Data Lineage.
• Conoscenza di Azure Databricks o Databricks su altri cloud provider.
• Esperienza con strumenti di orchestrazione come Airflow, Azure Data Factory o equivalenti.
• Esperienza con workload di streaming (Spark Streaming, Kafka, Event Hub o equivalenti).
• Conoscenza di servizi di Machine Learning e Intelligenza Artificiale.
• Esperienza nello sviluppo di API REST e microservizi.
• Conoscenza di framework backend come FastAPI, Spring Boot o .NET.
• Esperienza con Docker e containerizzazione.
• Conoscenza di Kubernetes (AKS, EKS, OpenShift o equivalenti).
• Familiarità con architetture event-driven e sistemi di messaging.
• Esperienza con strumenti di monitoraggio e osservabilità.
• Familiarità con metodologie Agile/Scrum.

Soft Skill

• Ottime capacità di analisi e problem solving.
• Forte attitudine all'apprendimento continuo e all'aggiornamento professionale.
• Capacità di lavorare sia in autonomia sia all'interno di team multidisciplinari.
• Attitudine proattiva e orientamento al risultato.
• Precisione, attenzione ai dettagli e capacità organizzative.
• Buone capacità relazionali e comunicative.

Benefici

• Opportunità di lavorare su progetti innovativi nell'ambito Data, Cloud e Intelligenza Artificiale.
• Ambiente di lavoro collaborativo, dinamico e orientato all'innovazione.
• Formazione continua e possibilità di conseguire certificazioni tecniche.
• Percorso di crescita professionale all'interno dell'azienda.

Sede di lavoro: Bologna o Napoli (almeno 2 giorni a settimana)

La ricerca è rivolta a candidati di entrambi i sessi (L. 903/77 e L. 125/91). I dati personali saranno trattati esclusivamente per finalità di selezione, nel rispetto del Regolamento (UE) 2016/679 (GDPR).