Developer Python e PySpark su Databricks

LC-Service srl; Lombardia; Híbrido; EUR 55.000 - 70.000; Jornada completa

Descripción de la vacante

LC-Service srl cerca una risorsa Data Engineer con esperienza in PySpark e Databricks per progettare e ottimizzare pipeline dati su piattaforma Lakehouse. La posizione richiede conoscenza di Delta Lake, SQL e orchestrazione dei flussi.

Si cerca competenza su cloud (Azure preferibile, AWS o GCP), Git e pratiche CI/CD, con italiano fluente e inglese tecnico. Lavoro ibrido/remoto con Milano, Lombardia.

Formación

• 2 anni di esperienza come Data Engineer o sviluppatore Python in ambito dati.
• Ottima conoscenza di Python (pandas, PySpark) e SQL.
• Esperienza concreta su Databricks e Apache Spark.
• Conoscenza di Delta Lake e dei concetti di data lake e data warehouse.
• Esperienza con almeno un cloud: Azure (preferibile), AWS o GCP.
• Uso di Git e buone pratiche di sviluppo (code review, test, CI/CD).
• Italiano fluente e inglese tecnico.

Responsabilidades

• Progettare e sviluppare pipeline dati (ETL/ELT) in Python e PySpark su Databricks.
• Gestire l'architettura dei dati secondo Lakehouse / Medallion (Bronze, Silver, Gold) con Delta Lake.
• Scrivere query e trasformazioni in SQL e Spark SQL.
• Orchestrare i flussi con Databricks Workflows e/o strumenti come Azure Data Factory o Airflow.
• Gestire governance e permessi con Unity Catalog.
• Ottimizzare prestazioni e costi di cluster e job.
• Collaborare con analisti e team BI (es. Power BI) per rendere i dati pronti all'uso.
• Curare qualità del dato, test e documentazione.

Conocimientos

Data engineering

Python development

SQL

Team collaboration

Italian language

Herramientas

Python

PySpark

Databricks

Delta Lake

SQL

Azure

AWS

GCP

Git

CI/CD

Airflow

Terraform

dbt

MLflow

Kafka

Synapse

Azure Data Factory

Descripción del empleo

Stiamo cercando per un nostro progetto una risorsa con le seguenti esperienze:

Progettare e sviluppare pipeline dati (ETL/ELT) in Python e PySpark su Databricks.

Gestire l'architettura dei dati secondo il modello Lakehouse / Medallion (Bronze, Silver, Gold) con Delta Lake.

Scrivere query e trasformazioni in SQL e Spark SQL.

Orchestrare i flussi con Databricks Workflows e/o strumenti come Azure Data Factory o Airflow.

Gestire governance e permessi con Unity Catalog.

Ottimizzare prestazioni e costi di cluster e job.

Collaborare con analisti e team BI (es. Power BI) per rendere i dati pronti all'uso.

Curare qualità del dato, test e documentazione.

Cosa cerchiamo:

• 2 anni di esperienza come Data Engineer o sviluppatore Python in ambito dati.
• Ottima conoscenza di Python (pandas, PySpark) e SQL.
• Esperienza concreta su Databricks e Apache Spark.
• Conoscenza di Delta Lake e dei concetti di data lake e data warehouse.
• Esperienza con almeno un cloud: Azure (preferibile), AWS o GCP.
• Uso di Git e buone pratiche di sviluppo (code review, test, CI/CD).
• Italiano fluente e inglese tecnico.

Costituisce un plus

• Certificazione Databricks Data Engineer Associate / Professional.
• Esperienza con Microsoft Fabric, Azure Data Factory, Synapse.
• Conoscenza di dbt, Airflow o Terraform.
• Esperienza con MLflow o progetti di machine learning e AI.
• Esperienza con streaming dati (Structured Streaming, Kafka, Event Hubs).

Non verrano valutati CV dai quali non si evinca l'esperienza con PySpark su DataBricks

Sede di lavoro: Ibrido/da remoto (Milano, Lombardia)

Python (pandas, PySpark) e SQL.

Progettare e sviluppare pipeline dati (ETL/ELT) in Python e PySpark su Databricks.