Data Engineer - Databricks/PySpark | Medallion Arch

HN Services Portugal; Maia; Hybrid; EUR 40,000 - 70,000; Full time

Benefits offered by this job

Hybrid work model

Job summary

A HN Services Portugal procura um Engenheiro de Dados para desenvolver, implementar e otimizar pipelines de dados com Python e PySpark, utilizando Databricks para processamento, transformação e integração de dados.

Colaborará com equipas técnicas, desenvolverá processos ETL/ELT com foco na qualidade e performance, e resolverá problemas de pipelines. Requisitos incluem Databricks em produção, SQL e arquitetura de dados; disponibilidade para 2 dias presenciais por semana em Maia.

Qualifications

• Experiência hands-on com Databricks em produção.
• Conhecimentos SQL e transformação de dados.
• Autonomia técnica e capacidade de resolução de problemas.

Responsibilities

• Desenvolver, implementar e otimizar pipelines de dados utilizando Python e PySpark.
• Trabalhar com Databricks no processamento, transformação e integração de dados.
• Desenvolver processos ETL/ELT, garantindo qualidade, consistência e performance dos dados.
• Colaborar com equipas técnicas na evolução de soluções de Data Engineering.
• Identificar e resolver problemas relacionados com pipelines e processamento de dados.

Skills

Python

PySpark

Databricks

SQL

ETL/ELT

Medallion Architecture

Delta Lake

Lakehouse

CI/CD

Data pipelines

Performance tuning

Job description

A HN Services Portugal procura um Engenheiro de Dados para desenvolver, implementar e otimizar pipelines de dados com Python e PySpark, utilizando Databricks para processamento, transformação e integração de dados.

Colaborará com equipas técnicas, desenvolverá processos ETL/ELT com foco na qualidade e performance, e resolverá problemas de pipelines. Requisitos incluem Databricks em produção, SQL e arquitetura de dados; disponibilidade para 2 dias presenciais por semana em Maia.