Azure Data Engineer: Databricks, PySpark & Delta Lake

Quickops; Lisboa; Presencial; EUR 50 000 - 70 000; Tempo integral

Resumo da oferta

Quickops procura um Data Engineer - Azure para se juntar à equipa em Lisboa. Será responsável por desenhar, construir e otimizar pipelines de dados no ecossistema Databricks, com ênfase em PySpark, Unity Catalog e Delta Lake.

Procuramos alguém com forte experiência em Spark SQL, ETL/ELT e arquitetura de dados, capaz de trabalhar com grandes volumes de dados, cenários de streaming e modelos Bronze/Silver/Gold, com foco em qualidade e governança.

Qualificações

• Experiência com Unity Catalog para governação de dados e gestão de metadados.
• Conhecimento de Databricks Jobs e orquestração de workflows.
• Sólida prática em PySpark para processamento de dados em grande escala.
• Conhecimento profundo da arquitetura do Spark: executores, memória e shuffle.
• Capacidade de otimizar aplicações Spark (memória, cache e performance).
• SQL avançado (JOINs, window functions, CTEs, agregações).
• Experiência com Spark SQL para transformação de dados.
• ETL/ELT e pipelines de dados em lote e streaming (Structured Streaming).
• Arquitetura Delta Lake (Bronze/Silver/Ouro) e padrões de CDC/MERGE.

Conhecimentos

Databricks

PySpark

Unity Catalog

Databricks Jobs

Spark Architecture

Spark Tuning

Pandas/NumPy

SQL

Delta Lake

Data Modeling

Ferramentas

GitHub

Azure DevOps

GitLab

Terraform

Databricks Asset Bundles

Descrição da oferta de emprego

Quickops procura um Data Engineer - Azure para se juntar à equipa em Lisboa. Será responsável por desenhar, construir e otimizar pipelines de dados no ecossistema Databricks, com ênfase em PySpark, Unity Catalog e Delta Lake.

Procuramos alguém com forte experiência em Spark SQL, ETL/ELT e arquitetura de dados, capaz de trabalhar com grandes volumes de dados, cenários de streaming e modelos Bronze/Silver/Gold, com foco em qualidade e governança.