Data Engineer: PySpark, ETL & Data Pipelines

Smart Consulting; Porto; Hybrid; EUR 14,000 - 49,000; Full time

Benefits offered by this job

Subsídio de Alimentação

Benefícios Flexíveis

Job summary

A Smart Consulting procura profissional para atuar na área de IT e Telecomunicações, com foco em desenvolvimento Python, PySpark e pipelines de dados. A posição envolve ETL, otimização de pipelines, práticas de software robustas e colaboração em equipas distribuídas com foco na qualidade de dados.

O candidato ideal tem experiência em DevOps, CI/CD e domínio de inglês (B2 nível B2), com capacidade de trabalhar de forma autónoma e organizada, em Porto, com modelo híbrido 2x por semana.

Qualifications

• Experiência comprovada em desenvolvimento com Python, com foco no processamento e transformação de dados.
• Experiência sólida com PySpark e processamento distribuído de grandes volumes de dados.
• Conhecimentos aprofundados de ETL (Extract, Transform, Load), incluindo extração, transformação, validação e carregamento de dados.
• Experiência no desenvolvimento, otimização e manutenção de pipelines de dados, garantindo eficiência, qualidade e fiabilidade.
• Conhecimentos de boas práticas de programação, refatorização de código, otimização de performance e princípios de arquitetura de software.

Skills

Python

PySpark

ETL

Pipelines de dados

Refatorização de código

Performance

DevOps

CI/CD

Git

Inglês (B2)

Trabalho em equipa distribuída

Proatividade

Organização

Job description

A Smart Consulting procura profissional para atuar na área de IT e Telecomunicações, com foco em desenvolvimento Python, PySpark e pipelines de dados. A posição envolve ETL, otimização de pipelines, práticas de software robustas e colaboração em equipas distribuídas com foco na qualidade de dados.

O candidato ideal tem experiência em DevOps, CI/CD e domínio de inglês (B2 nível B2), com capacidade de trabalhar de forma autónoma e organizada, em Porto, com modelo híbrido 2x por semana.