Python Databricks Developer

LC-Service srl; United States; Remote; USD 110,000 - 165,000; Full time

Job summary

LC-Service srl cerca un Data Engineer esperto per progettare e sviluppare pipeline dati in Python e PySpark su Databricks. Sarai responsabile dell'architettura Lakehouse, gestendo Bronze-Silver-Gold con Delta Lake e scrivendo SQL e Spark SQL per trasformazioni complesse.

Avrai ruoli di orchestrazione con Databricks Workflows o Azure Data Factory, gestione governance con Unity Catalog, e ottimizzazione di cluster e costi.

Qualifications

• Almeno 2 anni di esperienza come Data Engineer o sviluppatore Python in ambito dati.
• Ottima conoscenza di Python (pandas, PySpark) e SQL.
• Esperienza concreta su Databricks e Apache Spark.
• Conoscenza di Delta Lake e dei concetti di data lake e data warehouse.
• Esperienza con almeno un cloud: Azure (preferibile), AWS o GCP.
• Uso di Git e buone pratiche di sviluppo (code review, test, CI/CD).
• Italiano fluente e inglese tecnico.
• Certificazione Databricks Data Engineer Associate / Professional è un plus.

Responsibilities

• Progettare e sviluppare pipeline dati (ETL/ELT) in Python e PySpark su Databricks.
• Gestire l'architettura dei dati secondo Lakehouse / Medallion (Bronze, Silver, Gold) con Delta Lake.
• Scrivere query e trasformazioni in SQL e Spark SQL.
• Orchestrare flussi con Databricks Workflows e strumenti come Azure Data Factory o Airflow.
• Gestire governance e permessi con Unity Catalog.
• Ottimizzare prestazioni e costi di cluster e job.
• Collaborare con analisti e team BI (es. Power BI) per rendere i dati pronti all'uso.
• Curare qualità del dato, test e documentazione.

Skills

Python

PySpark

SQL

Pandas

Git

CI/CD

Tools

Databricks

Azure Data Factory

Synapse

Airflow

dbt

Terraform

MLflow

Kafka

Job description

Descrizione della posizione:

Stiamo cercando per un nostro progetto una risorsa con le seguenti esperienze:

Progettare e sviluppare pipeline dati (ETL/ELT) in Python e PySpark su Databricks.

Gestire l'architettura dei dati secondo il modello Lakehouse / Medallion (Bronze, Silver, Gold) con Delta Lake.

Scrivere query e trasformazioni in SQL e Spark SQL.

Orchestrare i flussi con Databricks Workflows e/o strumenti come Azure Data Factory o Airflow.

Gestire governance e permessi con Unity Catalog.

Ottimizzare prestazioni e costi di cluster e job.

Collaborare con analisti e team BI (es. Power BI) per rendere i dati pronti all'uso.

Curare qualità del dato, test e documentazione.

Cosa cerchiamo:

Almeno 2 anni di esperienza come Data Engineer o sviluppatore Python in ambito dati.

Ottima conoscenza di Python (pandas, PySpark) e SQL.

Esperienza concreta su Databricks e Apache Spark.

Conoscenza di Delta Lake e dei concetti di data lake e data warehouse.

Esperienza con almeno un cloud: Azure (preferibile), AWS o GCP.

Uso di Git e buone pratiche di sviluppo (code review, test, CI/CD).

Italiano fluente e inglese tecnico.

Costituisce un plus

Certificazione Databricks Data Engineer Associate / Professional.

Esperienza con Microsoft Fabric, Azure Data Factory, Synapse.

Conoscenza di dbt, Airflow o Terraform.

Esperienza con MLflow o progetti di machine learning e AI.

Esperienza con streaming dati (Structured Streaming, Kafka, Event Hubs).

Non verrano valutati CV dai quali non si evinca l'esperienza con PySpark su DataBricks

Sede di lavoro: Da remoto

Python

PySpark

Pandas

Databricks.

SQL