Remote Python & PySpark Databricks Engineer

LC-Service srl; United States; Remote; USD 110,000 - 165,000; Full time

Job summary

LC-Service srl cerca un Data Engineer esperto per progettare e sviluppare pipeline dati in Python e PySpark su Databricks. Sarai responsabile dell'architettura Lakehouse, gestendo Bronze-Silver-Gold con Delta Lake e scrivendo SQL e Spark SQL per trasformazioni complesse.

Avrai ruoli di orchestrazione con Databricks Workflows o Azure Data Factory, gestione governance con Unity Catalog, e ottimizzazione di cluster e costi.

Qualifications

• Almeno 2 anni di esperienza come Data Engineer o sviluppatore Python in ambito dati.
• Ottima conoscenza di Python (pandas, PySpark) e SQL.
• Esperienza concreta su Databricks e Apache Spark.
• Conoscenza di Delta Lake e dei concetti di data lake e data warehouse.
• Esperienza con almeno un cloud: Azure (preferibile), AWS o GCP.
• Uso di Git e buone pratiche di sviluppo (code review, test, CI/CD).
• Italiano fluente e inglese tecnico.
• Certificazione Databricks Data Engineer Associate / Professional è un plus.

Responsibilities

• Progettare e sviluppare pipeline dati (ETL/ELT) in Python e PySpark su Databricks.
• Gestire l'architettura dei dati secondo Lakehouse / Medallion (Bronze, Silver, Gold) con Delta Lake.
• Scrivere query e trasformazioni in SQL e Spark SQL.
• Orchestrare flussi con Databricks Workflows e strumenti come Azure Data Factory o Airflow.
• Gestire governance e permessi con Unity Catalog.
• Ottimizzare prestazioni e costi di cluster e job.
• Collaborare con analisti e team BI (es. Power BI) per rendere i dati pronti all'uso.
• Curare qualità del dato, test e documentazione.

Skills

Python

PySpark

SQL

Pandas

Git

CI/CD

Tools

Databricks

Azure Data Factory

Synapse

Airflow

dbt

Terraform

MLflow

Kafka

Job description

LC-Service srl cerca un Data Engineer esperto per progettare e sviluppare pipeline dati in Python e PySpark su Databricks. Sarai responsabile dell'architettura Lakehouse, gestendo Bronze-Silver-Gold con Delta Lake e scrivendo SQL e Spark SQL per trasformazioni complesse.

Avrai ruoli di orchestrazione con Databricks Workflows o Azure Data Factory, gestione governance con Unity Catalog, e ottimizzazione di cluster e costi.