Senior Databricks Data Engineer

TAI Solutions; Toscana; Remote; EUR 70,000 - 110,000; Full time

Job summary

T.A.I. Software Solution s.r.l. cerca un Senior Databricks Data Engineer per le sedi di Pisa, Firenze, Milano, Roma, con possibilità di Smart Working e Full Remote. Sarai parte della Business Line Data Engineering & AI, guidando architetture e soluzioni dati avanzate su Cloud.

Richiesta esperienza 4–5 anni nel Data, forte propensione all'innovazione e allo sviluppo di pipeline scalabili, con focus su Databricks e integrazione di modelli AI generativi.

Qualifications

• Solida formazione in engineering e almeno 4–5 anni nel Data Engineering.
• Competenza su Databricks (Workspace, Repos, Jobs, DLT) e Spark con ottimizzazione.
• Padronanza di Python e SQL per calcolo distribuito.
• Esperienza in cloud (AWS/Azure/GCP) con enfasi su AWS e GCP.

Responsibilities

• Progettare e ottimizzare architetture dati (Lakehouse, Data Mesh) su Databricks.
• Ingegnerizzare pipeline dati per modelli ML e Generative AI (RAG/LLM).
• Integrare servizi cognitivi e LLM nei flussi dati per estrarre valore.
• Redigere architetture (HLD/LLD) e guidare scelte tecnologiche col cliente.
• Aiutare i team junior e fornire riferimento tecnico ai clienti.

Skills

Databricks ecosystem

Apache Spark

Python

SQL

Cloud AWS

Cloud Azure

Cloud GCP

Unity Catalog / Databricks

ETL/ELT pipelines

AI/ML integration

Data Lakehouse

Data Mesh

RAG / LLM integration

CI/CD / GitOps

Networking in cloud/hybrid

Education

Laurea in discipline scientifiche

Tools

Delta Lake

Parquet

Iceberg

GitLab CI/CD

Jenkins

ArgoCD

Flux

Job description

T.A.I. Software Solution s.r.l. ricerca candidati con profilo professionale di “Senior Databricks Data Engineer” per le sedi di Pisa, Firenze, Milano, Roma. Potranno essere richieste attività presso le sedi dei clienti, è comunque prevista la possibilità di Smart Working, incluso Full Remote.

Le figure selezionate saranno inserite nella Business Line “Data Engineering & AI”, all’interno del gruppo dedicato alla progettazione di soluzioni dati avanzate ed erogazione di servizi su architetture Cloud. La risorsa avrà un ruolo di riferimento tecnico: guiderà la progettazione di architetture, dall’analisi dei requisiti fino alla messa in esercizio, affiancando i clienti nelle scelte tecnologiche e supportando la crescita dei colleghi più junior. Lavorerà su progetti sfidanti presso clienti enterprise di primaria importanza.

La ricerca è rivolta a professionisti con una solida formazione in ambito engineering, una forte propensione all'innovazione e all'applicazione dell'AI ai dati, nonché un'esperienza lavorativa di almeno 4-5 anni nel settore Data.

Di cosa ti occuperai:

Progettare, sviluppare e ottimizzare architetture dati (Lakehouse, Data Mesh) su piattaforma Databricks per scenari enterprise complessi.

Sviluppare e ingegnerizzare pipeline di dati a supporto di modelli di Machine Learning e architetture di Generative AI (es. sistemi RAG - Retrieval-Augmented Generation).

Integrare servizi cognitivi e Large Language Models (LLM) all'interno dei flussi di elaborazione dati per estrarre valore da fonti informative non strutturate.

Redigere documenti di architettura e di design (HLD/LLD) e guidare le scelte tecnologiche insieme al cliente.

Disegnare e implementare pipeline di dati (ETL/ELT) scalabili e robuste sfruttando Apache Spark, Delta Lake e i servizi cloud nativi.

Fare da riferimento tecnico per I clienti, supportando la crescita dei profili più junior.

Integrare le soluzioni Databricks all'interno degli ecosistemi cloud aziendali, assicurando alte performance e sostenibilità dei costi.

Definire strategie di sicurezza e governance degli ambienti (es. tramite Databricks Unity Catalog).

Conoscenze richieste:

Forte ed estesa competenza sull'ecosistema Databricks (Workspace, Repos, Jobs, DLT) e Apache Spark (tuning, partizionamento, ottimizzazione).

Comprovata esperienza su uno o più dei principali cloud provider (AWS, Azure, GCP), con esperienza diretta nella progettazione delle soluzioni; In questo ruolo è richiesta un'enfasi particolare su AWS e GCP.

Ottima padronanza di Python, SQL applicati al calcolo distribuito.

Conoscenza approfondita dei formati di memorizzazione open-source (Delta Lake, Parquet, Iceberg).

Familiarità con framework e librerie per l'AI/ML e l'integrazione di LLM (es. LangChain, LlamaIndex, MLflow, Databricks MosaicML).

Conoscenza delle logiche di memorizzazione e ricerca vettoriale (Vector Databases) in ambito Databricks o tramite servizi Cloud nativi.

Ottime conoscenze di networking, in particolare in ambito cloud e ibrido (VPC/VNet, connettività ibrida, DNS, load balancing);

Elementi qualificanti:

Laurea in discipline scientifiche.

Certificazioni Databricks (es. Databricks Certified Data Engineer Professional, Databricks Machine Learning Associate) o Cloud Data Engineer (GCP Professional Data Engineer, AWS Certified Data Engineer).

Esperienza in ruoli di Technical Lead o Architect su progetti complessi.

Conoscenza di soluzioni di CI/CD e GitOps (GitLab CI/CD, Jenkins, ArgoCD, Flux).

Buone conoscenze del mondo infrastrutturale che ruota intorno ai servizi di GenAI (MLOps,