Data Engineer – Databricks, Python & Medallion Architecture

HN Services Portugal; Maia; Hybrid; EUR 40,000 - 70,000; Full time

Benefits offered by this job

Hybrid work model

Job summary

A HN Services Portugal procura um Engenheiro de Dados para desenvolver, implementar e otimizar pipelines de dados com Python e PySpark, utilizando Databricks para processamento, transformação e integração de dados.

Colaborará com equipas técnicas, desenvolverá processos ETL/ELT com foco na qualidade e performance, e resolverá problemas de pipelines. Requisitos incluem Databricks em produção, SQL e arquitetura de dados; disponibilidade para 2 dias presenciais por semana em Maia.

Qualifications

• Experiência hands-on com Databricks em produção.
• Conhecimentos SQL e transformação de dados.
• Autonomia técnica e capacidade de resolução de problemas.

Responsibilities

• Desenvolver, implementar e otimizar pipelines de dados utilizando Python e PySpark.
• Trabalhar com Databricks no processamento, transformação e integração de dados.
• Desenvolver processos ETL/ELT, garantindo qualidade, consistência e performance dos dados.
• Colaborar com equipas técnicas na evolução de soluções de Data Engineering.
• Identificar e resolver problemas relacionados com pipelines e processamento de dados.

Skills

Python

PySpark

Databricks

SQL

ETL/ELT

Medallion Architecture

Delta Lake

Lakehouse

CI/CD

Data pipelines

Performance tuning

Job description

• Desenvolver, implementar e otimizar pipelines de dados utilizando Python e PySpark.
• Trabalhar com Databricks no processamento, transformação e integração de dados.
• Desenvolver processos ETL/ELT, garantindo qualidade, consistência e performance dos dados.
• Colaborar com equipas técnicas na evolução de soluções de Data Engineering.
• Identificar e resolver problemas relacionados com pipelines e processamento de dados.
• Experiência profissional hands-on com Databricks em produção.
• Experiência sólida com Python e PySpark.
• Experiência prática na implementação de Medallion Architecture (Bronze/Silver/Gold).
• Experiência no desenvolvimento e manutenção de pipelines ETL/ELT.
• Conhecimentos de SQL e transformação de dados.
• Autonomia técnica e capacidade de resolução de problemas.
• Disponibilidade obrigatória para 2 dias presenciais por semana na Maia.
• Experiência com Delta Lake e arquiteturas Lakehouse.
• Conhecimentos de CI/CD e automatização de pipelines.
• Experiência em otimização de performance e qualidade de dados.

LOCALIZAÇÃO E REGIME

Maia, Porto | Híbrido — 2 dias presenciais por semana.