Data Platform Engineer — Reliable Pipelines & Data Lakes

Smart Consulting; Portugal; Presencial; EUR 13 000 - 49 000; Tempo integral

Vantagens oferecidas por esta oferta de emprego

Full visa support, se necessário

Resumo da oferta

A Smart Consulting procura um Data Platform Engineer para ser o pilar técnico da plataforma de dados. O papel envolve suporte ativo, resolução de incidents, melhoria contínua e colaboração próxima com arquitetos de plataforma, stakeholders técnicos e utilizadores de negócio.

É requerido forte domínio de SQL, Spark e ferramentas como dbt, Kafka, NiFi e AirFlow, bem como Python ou Scala. Experiência em AWS, governança de dados, CI/CD e Terraform compõem o conjunto essencial para assegurar

Qualificações

• Experiência com pipelines de dados em produção.
• Conhecimentos sólidos de SQL e processamento distribuído (Spark).
• Prática com troubleshooting de dbt, Kafka, Ignite, NiFi e AirFlow.
• Proficiência em Python ou Scala para data engineering.
• Experiência com serviços de dados em AWS e governança/segurança.
• Experiência com CI/CD e frameworks de testing para pipelines.
• Boa comunicação, colaboração e resolução de problemas.
• Fluência em português e inglês; conhecimento de Dremio e data lake/c/w.
• Experiência com Terraform e ferramentas de catálogo governança.

Responsabilidades

• Dar suporte à data platform, incluindo troubleshooting e resolução de issues.
• Suportar pipelines de dados ETL/ELT para fluxos fiáveis e escaláveis.
• Colaborar com arquitetos para garantir eficiência, segurança e alta disponibilidade.
• Melhorar processos de dados, monitorização, performance e eficiência.
• Apoiar frameworks de qualidade de dados e monitorização de pipelines.
• Trabalhar com data lakes, data warehouses e soluções de data streaming.
• Colaborar com data scientists, analysts e business users na resolução de problemas.
• Automatizar tarefas repetitivas e melhorar ingestão/transformação de dados.
• Troubleshoot e otimizar workflows/queries SQL em termos de performance e custo.
• Documentar alterações, processos e boas práticas da data platform.
• Rever e aprovar releases de produtos de dados para produção.

Conhecimentos

SQL

Python

Scala

AWS

CI/CD

Data governance

Comunicação

Inglês

Ferramentas

Apache Spark

dbt

Apache Kafka

Apache NiFi

Apache AirFlow

Terraform

Collibra

Alation

Dremio

Descrição da oferta de emprego

A Smart Consulting procura um Data Platform Engineer para ser o pilar técnico da plataforma de dados. O papel envolve suporte ativo, resolução de incidents, melhoria contínua e colaboração próxima com arquitetos de plataforma, stakeholders técnicos e utilizadores de negócio.

É requerido forte domínio de SQL, Spark e ferramentas como dbt, Kafka, NiFi e AirFlow, bem como Python ou Scala. Experiência em AWS, governança de dados, CI/CD e Terraform compõem o conjunto essencial para assegurar