Databricks data engineer

Dacomat srl; United States; Remote; USD 110,000 - 160,000; Full time

Job summary

Dacomat srl cerca un Data Engineer Databricks con esperienza su Azure Databricks per progetti di data engineering in modalità full remote. Il candidato lavorerà su pipeline, integrazione dati e architetture Lakehouse utilizzando Python, PySpark, SQL e Spark, con attenzione a testing e rilascio.

La posizione prevede lavoro su grandi volumi di dati, deployment di notebook e workflow Databricks, oltre all’ottimizzazione di ETL/ELT e collaborazione con team di data science e applicativi.

Qualifications

• Esperienza con Azure Databricks.
• Buona conoscenza di Python e PySpark.
• Conoscenza di Apache Spark e SQL.
• Esperienza nello sviluppo di pipeline ETL/ELT.
• Conoscenza di Data Lake, Data Warehouse o architetture Lakehouse.
• Capacità di troubleshooting e problem solving.
• Autonomia operativa adeguata alla seniority.

Responsibilities

• Sviluppo e manutenzione di pipeline dati su Azure Databricks.
• Elaborazione di grandi volumi di dati con Python, PySpark e Apache Spark.
• Progettazione e ottimizzazione di processi ETL/ELT.
• Gestione di Data Lake e architetture Lakehouse.
• Sviluppo di notebook, job e workflow Databricks.
• Integrazione con i servizi dati dell’ecosistema Microsoft Azure.
• Utilizzo di SQL per trasformazione, controllo e analisi dei dati.
• Monitoraggio delle pipeline e risoluzione di anomalie.
• Attività di testing, documentazione e supporto ai rilasci.

Skills

Python

PySpark

SQL

Apache Spark

ETL/ELT

Troubleshooting

Autonomia

Tools

Azure Databricks

Job description

Data Engineer Databricks – Full Remote

Per un importante progetto siamo alla ricerca di Data Engineer con esperienza sulla piattaforma Azure Databricks. La ricerca è aperta a profili Junior, Middle e Senior, con responsabilità commisurate all’esperienza maturata.

Principali attività

• Sviluppo e manutenzione di pipeline dati su Azure Databricks;
• elaborazione di grandi volumi di dati tramite Python, PySpark e Apache Spark;
• progettazione e ottimizzazione di processi ETL/ELT;
• gestione di Data Lake e architetture Lakehouse;
• sviluppo di notebook, job e workflow Databricks;
• integrazione con i servizi dati dell’ecosistema Microsoft Azure;
• utilizzo di SQL per trasformazione, controllo e analisi dei dati;
• monitoraggio delle pipeline e risoluzione di anomalie;
• attività di testing, documentazione e supporto ai rilasci;
• collaborazione con Data Engineer, Data Analyst e team applicativi.

Competenze richieste

• esperienza con Azure Databricks;
• buona conoscenza di Python e PySpark;
• conoscenza di Apache Spark e SQL;
• esperienza nello sviluppo di pipeline ETL/ELT;
• conoscenza di Data Lake, Data Warehouse o architetture Lakehouse;
• capacità di troubleshooting e problem solving;
• autonomia operativa adeguata alla seniority.

Competenze preferenziali

• Azure Data Factory;
• Azure Synapse Analytics;
• Delta Lake e architettura Medallion;
• CI/CD, Git e Azure DevOps;
• certificazioni Microsoft Azure o Databricks;
• esperienza con data governance e data quality.

Modalità di lavoro

Full remote.

Valutiamo sia inserimenti come dipendente . Inquadramento e condizioni economiche saranno discussi nel primo contatto in base all’esperienza.

L’aspetto retributivo / contrattuale lo trattiamo nel primo contatto telefonico