Data Engineer Databricks & Lakehouse

CM Sistemi informatici S.r.l.; Bologna; In loco; EUR 55.000 - 75.000; Tempo pieno

Vantaggi offerti da questo lavoro

Progetti innovativi Data & AI

Ambiente collaborativo

Formazione continua e certificazioni

Crescita professionale

Descrizione del lavoro

CM Sistemi informatici S.r.l. cerca un Data Engineer / Databricks Developer per progettare, sviluppare ed evolvere soluzioni Data & AI su Databricks, con focus su data engineering, integrazione dati e automazione.

La risorsa svilupperà pipeline ETL/ELT, notebook e workflow Python, e collaborerà a architetture Data Lakehouse scalabili, integrazione con sistemi, API e servizi backend. È richiesta conoscenza di Spark, Delta Lake e networking di data platform.

Competenze

• Esperienza nello sviluppo con Python.
• Esperienza nell'utilizzo della piattaforma Databricks.
• Conoscenza di Apache Spark e dei principi di elaborazione distribuita dei dati.
• Esperienza nella progettazione e sviluppo di pipeline ETL/ELT.
• Ottima conoscenza di SQL e della modellazione dei dati.
• Esperienza con Delta Lake e architetture Data Lakehouse.
• Conoscenza di database relazionali e sistemi di storage dati.
• Esperienza con Git e workflow di sviluppo collaborativo.
• Esperienza nell'utilizzo di pipeline CI/CD e strumenti di automazione.
• Conoscenza dei principali servizi cloud, preferibilmente Microsoft Azure.
• Familiarità con servizi di integrazione dati, API REST e architetture distribuite.
• Buona conoscenza della lingua inglese, scritta e letta.

Mansioni

• Analizzare, progettare e sviluppare pipeline dati su Databricks.
• Implementare processi di data ingestion, trasformazione e distribuzione dei dati.
• Sviluppare notebook, workflow e job automatizzati utilizzando Python e Databricks.
• Collaborare alla progettazione di architetture Data Lakehouse scalabili.
• Sviluppare componenti software, API e servizi backend a supporto delle piattaforme dati.
• Integrare Databricks con database, sistemi enterprise, servizi cloud e piattaforme di ML.
• Garantire qualità, affidabilità e monitoraggio delle pipeline dati.
• Gestire CI/CD e automazione tramite pipeline.
• Collaborare con Data Scientist, Software Engineer, Cloud Engineer e stakeholder.
• Supportare troubleshooting e risoluzione di problematiche complesse.
• Contribuire all'evoluzione delle piattaforme cloud e delle soluzioni Data & AI aziendali.
• Applicare principi di sicurezza, governance e qualità dei dati.

Conoscenze

Python

Databricks

Spark

SQL

Data Lakehouse

Git

CI/CD

Airflow

Azure Data Factory

REST APIs

Docker

Kubernetes

FastAPI

Spring Boot

.NET

Strumenti

Python

Databricks

Apache Spark

SQL

Delta Lake

Git

Airflow

Azure Data Factory

Docker

Kubernetes

REST API

Descrizione del lavoro

CM Sistemi informatici S.r.l. cerca un Data Engineer / Databricks Developer per progettare, sviluppare ed evolvere soluzioni Data & AI su Databricks, con focus su data engineering, integrazione dati e automazione.

La risorsa svilupperà pipeline ETL/ELT, notebook e workflow Python, e collaborerà a architetture Data Lakehouse scalabili, integrazione con sistemi, API e servizi backend. È richiesta conoscenza di Spark, Delta Lake e networking di data platform.