Data Engineer – Azure

Quickops; Lisboa; On-site; EUR 50,000 - 70,000; Full time

Job summary

Quickops procura um Data Engineer - Azure para se juntar à equipa em Lisboa. Será responsável por desenhar, construir e otimizar pipelines de dados no ecossistema Databricks, com ênfase em PySpark, Unity Catalog e Delta Lake.

Procuramos alguém com forte experiência em Spark SQL, ETL/ELT e arquitetura de dados, capaz de trabalhar com grandes volumes de dados, cenários de streaming e modelos Bronze/Silver/Gold, com foco em qualidade e governança.

Qualifications

• Experiência com Unity Catalog para governação de dados e gestão de metadados.
• Conhecimento de Databricks Jobs e orquestração de workflows.
• Sólida prática em PySpark para processamento de dados em grande escala.
• Conhecimento profundo da arquitetura do Spark: executores, memória e shuffle.
• Capacidade de otimizar aplicações Spark (memória, cache e performance).
• SQL avançado (JOINs, window functions, CTEs, agregações).
• Experiência com Spark SQL para transformação de dados.
• ETL/ELT e pipelines de dados em lote e streaming (Structured Streaming).
• Arquitetura Delta Lake (Bronze/Silver/Ouro) e padrões de CDC/MERGE.

Skills

Databricks

PySpark

Unity Catalog

Databricks Jobs

Spark Architecture

Spark Tuning

Pandas/NumPy

SQL

Delta Lake

Data Modeling

Tools

GitHub

Azure DevOps

GitLab

Terraform

Databricks Asset Bundles

Job description

Ref. AO5648

Estamos à procura de um Data Engineer - Azure para se juntar à nossa equipa.

Se te consideras uma pessoa flexível e proativa e desejas enfrentar novos desafios profissionais, Estamos ansiosos por fazer parte do teu crescimento e certamente que iremos construir um futuro de sucesso juntos!

Competências técnicas:

• Desenvolvedor Databricks e PySpark no ecossistema Databricks: Proficiência na criação, gestão e otimização de Workspaces e Notebooks do Databricks
• Experiência com o Databricks Unity Catalog para governação de dados, controlo de acesso e gestão de metadados
• Conhecimento dos fluxos de trabalho do Databricks (Jobs, orquestração)
• Computação distribuída (PySpark): Sólida experiência prática na utilização do PySpark (DataFrames, conjuntos de dados e RDDs do Spark) para o processamento de dados em grande escala
• Conhecimento aprofundado da arquitetura do Spark: controladores, executores, trabalhadores, partições, gestão de memória e operações de shuffle
• Capacidade de ajustar e otimizar aplicações do Spark (gestão de assimetria de dados, junções de difusão, estratégias de cache e ajuste de memória)
• Linguagens e Armazenamento de Dados Python: Familiaridade com bibliotecas de análise de dados (por exemplo, Pandas, NumPy) e scripts de automatização da biblioteca padrão. SQL: Competências em SQL de nível avançado (JOINs complexos, funções de janela, CTEs, agregações e ajuste de consultas)
• Experiência com Spark SQL para transformação e análise de dados
• Arquitetura de dados e engenharia de pipelines Pipelines de dados e ETL/ELT: conceção, construção e manutenção de pipelines de dados em lote de grande volume e de streaming em tempo real (Structured Streaming)
• Implementação da arquitetura Medallion (camadas Bronze, Prata e Ouro) utilizando o Delta Lake
• Padrões de carregamento incremental de dados (Captura de Alterações de Dados - CDC, MERGE INTO, Auto Loader)
• Conceitos de armazenamento de dados: Conhecimento de técnicas de modelação de dados (modelação dimensional, esquemas em estrela/floco de neve, Data Vault)
• Infraestrutura na nuvem, CI/CD e DevOps (Desejável / Preferencial) Fornecedores de serviços na nuvem: Experiência prática com o Azure, integração com o Databricks (por exemplo, AWS S3, Azure ADLS Gen2, Snowflake)
• Práticas de DevOps e Engenharia de Software: Controlo de versões utilizando o Git (GitHub, Azure DevOps ou GitLab)
• Experiência com pipelines de CI/CD para a implementação de código do Databricks (utilizando Databricks Asset Bundles, Terraform ou APIs REST)
• Testes automatizados para tarefas do PySpark (pytest) e ferramentas de validação de dados (por exemplo, Great Expectations)

Competências pessoais:

• Boas capacidades de comunicação e relacionamento interpessoal
• Proativo
• Espírito de equipa

Ficaste interessado/a nesta oportunidade?