Remote Azure Databricks Data Engineer – Lakehouse

Dacomat srl; United States; Remote; USD 110,000 - 160,000; Full time

Job summary

Dacomat srl cerca un Data Engineer Databricks con esperienza su Azure Databricks per progetti di data engineering in modalità full remote. Il candidato lavorerà su pipeline, integrazione dati e architetture Lakehouse utilizzando Python, PySpark, SQL e Spark, con attenzione a testing e rilascio.

La posizione prevede lavoro su grandi volumi di dati, deployment di notebook e workflow Databricks, oltre all’ottimizzazione di ETL/ELT e collaborazione con team di data science e applicativi.

Qualifications

• Esperienza con Azure Databricks.
• Buona conoscenza di Python e PySpark.
• Conoscenza di Apache Spark e SQL.
• Esperienza nello sviluppo di pipeline ETL/ELT.
• Conoscenza di Data Lake, Data Warehouse o architetture Lakehouse.
• Capacità di troubleshooting e problem solving.
• Autonomia operativa adeguata alla seniority.

Responsibilities

• Sviluppo e manutenzione di pipeline dati su Azure Databricks.
• Elaborazione di grandi volumi di dati con Python, PySpark e Apache Spark.
• Progettazione e ottimizzazione di processi ETL/ELT.
• Gestione di Data Lake e architetture Lakehouse.
• Sviluppo di notebook, job e workflow Databricks.
• Integrazione con i servizi dati dell’ecosistema Microsoft Azure.
• Utilizzo di SQL per trasformazione, controllo e analisi dei dati.
• Monitoraggio delle pipeline e risoluzione di anomalie.
• Attività di testing, documentazione e supporto ai rilasci.

Skills

Python

PySpark

SQL

Apache Spark

ETL/ELT

Troubleshooting

Autonomia

Tools

Azure Databricks

Job description

Dacomat srl cerca un Data Engineer Databricks con esperienza su Azure Databricks per progetti di data engineering in modalità full remote. Il candidato lavorerà su pipeline, integrazione dati e architetture Lakehouse utilizzando Python, PySpark, SQL e Spark, con attenzione a testing e rilascio.

La posizione prevede lavoro su grandi volumi di dati, deployment di notebook e workflow Databricks, oltre all’ottimizzazione di ETL/ELT e collaborazione con team di data science e applicativi.