Azure Data Engineer: Databricks, Pyspark & Delta Lake

Quickops; Lisboa; Presencial; EUR 42 000 - 64 000; Tempo integral

Resumo da oferta

Quickops procura um Data Engineer - Azure para se juntar à equipa em Lisboa. Será responsável por desenhar, construir e otimizar pipelines de dados no ecossistema Databricks, com ênfase em PySpark, Unity Catalog e Delta Lake.

Procuramos alguém com forte experiência em Spark SQL, ETL/ELT e arquitetura de dados, capaz de trabalhar com grandes volumes de dados, cenários de streaming e modelos Bronze/Silver/Gold, com foco em qualidade e governança.

Qualificações

• Experiência sólida com Spark SQL, ETL/ELT e arquitetura de dados.
• Capacidade de trabalhar com grandes volumes de dados, cenários de streaming e modelos Bronze/Silver/Gold.
• Foco em qualidade, governança e melhoria contínua de pipelines de dados.

Responsabilidades

• Desenhar, construir e otimizar pipelines de dados no ecossistema Databricks.
• Assegurar qualidade de dados e governança ao longo de todo o ciclo de vida das pipelines.

Conhecimentos

PySpark

Spark SQL

ETL/ELT

Data governance

Streaming

Data modeling

Ferramentas

Databricks

Unity Catalog

Delta Lake

Azure

Descrição da oferta de emprego

Quickops procura um Data Engineer - Azure para se juntar à equipa em Lisboa. Será responsável por desenhar, construir e otimizar pipelines de dados no ecossistema Databricks, com ênfase em PySpark, Unity Catalog e Delta Lake.

Procuramos alguém com forte experiência em Spark SQL, ETL/ELT e arquitetura de dados, capaz de trabalhar com grandes volumes de dados, cenários de streaming e modelos Bronze/Silver/Gold, com foco em qualidade e governança.