Data Engineer / Databricks Developer

CM Sistemi informatici S.r.l.; Bologna; In loco; EUR 55.000 - 75.000; Tempo pieno

Vantaggi offerti da questo lavoro

Progetti innovativi Data & AI

Ambiente collaborativo

Formazione continua e certificazioni

Crescita professionale

Descrizione del lavoro

CM Sistemi informatici S.r.l. cerca un Data Engineer / Databricks Developer per progettare, sviluppare ed evolvere soluzioni Data & AI su Databricks, con focus su data engineering, integrazione dati e automazione.

La risorsa svilupperà pipeline ETL/ELT, notebook e workflow Python, e collaborerà a architetture Data Lakehouse scalabili, integrazione con sistemi, API e servizi backend. È richiesta conoscenza di Spark, Delta Lake e networking di data platform.

Competenze

• Esperienza nello sviluppo con Python.
• Esperienza nell'utilizzo della piattaforma Databricks.
• Conoscenza di Apache Spark e dei principi di elaborazione distribuita dei dati.
• Esperienza nella progettazione e sviluppo di pipeline ETL/ELT.
• Ottima conoscenza di SQL e della modellazione dei dati.
• Esperienza con Delta Lake e architetture Data Lakehouse.
• Conoscenza di database relazionali e sistemi di storage dati.
• Esperienza con Git e workflow di sviluppo collaborativo.
• Esperienza nell'utilizzo di pipeline CI/CD e strumenti di automazione.
• Conoscenza dei principali servizi cloud, preferibilmente Microsoft Azure.
• Familiarità con servizi di integrazione dati, API REST e architetture distribuite.
• Buona conoscenza della lingua inglese, scritta e letta.

Mansioni

• Analizzare, progettare e sviluppare pipeline dati su Databricks.
• Implementare processi di data ingestion, trasformazione e distribuzione dei dati.
• Sviluppare notebook, workflow e job automatizzati utilizzando Python e Databricks.
• Collaborare alla progettazione di architetture Data Lakehouse scalabili.
• Sviluppare componenti software, API e servizi backend a supporto delle piattaforme dati.
• Integrare Databricks con database, sistemi enterprise, servizi cloud e piattaforme di ML.
• Garantire qualità, affidabilità e monitoraggio delle pipeline dati.
• Gestire CI/CD e automazione tramite pipeline.
• Collaborare con Data Scientist, Software Engineer, Cloud Engineer e stakeholder.
• Supportare troubleshooting e risoluzione di problematiche complesse.
• Contribuire all'evoluzione delle piattaforme cloud e delle soluzioni Data & AI aziendali.
• Applicare principi di sicurezza, governance e qualità dei dati.

Conoscenze

Python

Databricks

Spark

SQL

Data Lakehouse

Git

CI/CD

Airflow

Azure Data Factory

REST APIs

Docker

Kubernetes

FastAPI

Spring Boot

.NET

Strumenti

Python

Databricks

Apache Spark

SQL

Delta Lake

Git

Airflow

Azure Data Factory

Docker

Kubernetes

REST API

Descrizione del lavoro

Informazioni sull’offerta di lavoro

Siamo alla ricerca di un/una Data Engineer / Databricks Developer da inserire all'interno del team per progettare, sviluppare ed evolvere soluzioni Data & AI su piattaforma Databricks, con particolare attenzione al data engineering, all'integrazione dei dati, all'automazione, all'analytics e allo sviluppo di servizi a supporto dei processi aziendali.

Descrizione Attività

• Analizzare, progettare e sviluppare pipeline dati su piattaforma Databricks.
• Implementare processi di data ingestion, trasformazione e distribuzione dei dati provenienti da sistemi interni ed esterni.
• Sviluppare notebook, workflow e job automatizzati utilizzando Python e gli strumenti della piattaforma Databricks.
• Collaborare alla progettazione di moderne architetture Data Lakehouse scalabili.
• Sviluppare componenti software, API e servizi backend a supporto delle piattaforme dati.
• Integrare Databricks con database, sistemi enterprise, servizi cloud e piattaforme di Machine Learning.
• Garantire qualità, affidabilità e monitoraggio delle pipeline dati.
• Gestire processi di versionamento, rilascio e automazione tramite pipeline CI/CD.
• Collaborare con Data Scientist, Software Engineer, Cloud Engineer e stakeholder di business.
• Supportare le attività di troubleshooting e la risoluzione di problematiche tecniche complesse.
• Contribuire all'evoluzione delle piattaforme cloud e delle soluzioni Data & AI aziendali.
• Applicare principi di sicurezza, governance e qualità dei dati durante l'intero ciclo di vita delle soluzioni.

Requisiti

• Esperienza nello sviluppo con Python.
• Esperienza nell'utilizzo della piattaforma Databricks.
• Conoscenza di Apache Spark e dei principi di elaborazione distribuita dei dati.
• Esperienza nella progettazione e sviluppo di pipeline ETL/ELT.
• Ottima conoscenza di SQL e della modellazione dei dati.
• Esperienza con Delta Lake e architetture Data Lakehouse.
• Conoscenza di database relazionali e sistemi di storage dati.
• Esperienza con Git e workflow di sviluppo collaborativo.
• Esperienza nell'utilizzo di pipeline CI/CD e strumenti di automazione.
• Conoscenza dei principali servizi cloud, preferibilmente Microsoft Azure.
• Familiarità con servizi di integrazione dati, API REST e architetture distribuite.
• Buona conoscenza della lingua inglese, scritta e letta.

Costituiscono titolo preferenziale

• Esperienza con Unity Catalog, Data Governance e Data Lineage.
• Conoscenza di Azure Databricks o Databricks su altri cloud provider.
• Esperienza con strumenti di orchestrazione come Airflow, Azure Data Factory o equivalenti.
• Esperienza con workload di streaming (Spark Streaming, Kafka, Event Hub o equivalenti).
• Conoscenza di servizi di Machine Learning e Intelligenza Artificiale.
• Esperienza nello sviluppo di API REST e microservizi.
• Conoscenza di framework backend come FastAPI, Spring Boot o .NET.
• Esperienza con Docker e containerizzazione.
• Conoscenza di Kubernetes (AKS, EKS, OpenShift o equivalenti).
• Familiarità con architetture event-driven e sistemi di messaging.
• Esperienza con strumenti di monitoraggio e osservabilità.
• Familiarità con metodologie Agile/Scrum.

Soft Skill

• Ottime capacità di analisi e problem solving.
• Forte attitudine all'apprendimento continuo e all'aggiornamento professionale.
• Capacità di lavorare sia in autonomia sia all'interno di team multidisciplinari.
• Attitudine proattiva e orientamento al risultato.
• Precisione, attenzione ai dettagli e capacità organizzative.
• Buone capacità relazionali e comunicative.

Benefici

• Opportunità di lavorare su progetti innovativi nell'ambito Data, Cloud e Intelligenza Artificiale.
• Ambiente di lavoro collaborativo, dinamico e orientato all'innovazione.
• Formazione continua e possibilità di conseguire certificazioni tecniche.
• Percorso di crescita professionale all'interno dell'azienda.

Sede di lavoro

Sede di lavoro: Bologna o Napoli (almeno 2 giorni a settimana)

La ricerca è rivolta a candidati di entrambi i sessi (L. 903/77 e L. 125/91). I dati personali saranno trattati esclusivamente per finalità di selezione, nel rispetto del Regolamento (UE) 2016/679 (GDPR).