Data Platform Engineer

Smart Consulting; Portugal; Presencial; EUR 13 000 - 49 000; Tempo integral

Vantagens oferecidas por esta oferta de emprego

Full visa support, se necessário

Resumo da oferta

A Smart Consulting procura um Data Platform Engineer para ser o pilar técnico da plataforma de dados. O papel envolve suporte ativo, resolução de incidents, melhoria contínua e colaboração próxima com arquitetos de plataforma, stakeholders técnicos e utilizadores de negócio.

É requerido forte domínio de SQL, Spark e ferramentas como dbt, Kafka, NiFi e AirFlow, bem como Python ou Scala. Experiência em AWS, governança de dados, CI/CD e Terraform compõem o conjunto essencial para assegurar

Qualificações

• Experiência com pipelines de dados em produção.
• Conhecimentos sólidos de SQL e processamento distribuído (Spark).
• Prática com troubleshooting de dbt, Kafka, Ignite, NiFi e AirFlow.
• Proficiência em Python ou Scala para data engineering.
• Experiência com serviços de dados em AWS e governança/segurança.
• Experiência com CI/CD e frameworks de testing para pipelines.
• Boa comunicação, colaboração e resolução de problemas.
• Fluência em português e inglês; conhecimento de Dremio e data lake/c/w.
• Experiência com Terraform e ferramentas de catálogo governança.

Responsabilidades

• Dar suporte à data platform, incluindo troubleshooting e resolução de issues.
• Suportar pipelines de dados ETL/ELT para fluxos fiáveis e escaláveis.
• Colaborar com arquitetos para garantir eficiência, segurança e alta disponibilidade.
• Melhorar processos de dados, monitorização, performance e eficiência.
• Apoiar frameworks de qualidade de dados e monitorização de pipelines.
• Trabalhar com data lakes, data warehouses e soluções de data streaming.
• Colaborar com data scientists, analysts e business users na resolução de problemas.
• Automatizar tarefas repetitivas e melhorar ingestão/transformação de dados.
• Troubleshoot e otimizar workflows/queries SQL em termos de performance e custo.
• Documentar alterações, processos e boas práticas da data platform.
• Rever e aprovar releases de produtos de dados para produção.

Conhecimentos

SQL

Python

Scala

AWS

CI/CD

Data governance

Comunicação

Inglês

Ferramentas

Apache Spark

dbt

Apache Kafka

Apache NiFi

Apache AirFlow

Terraform

Collibra

Alation

Dremio

Descrição da oferta de emprego

Procuramos um(a) Data Platform Engineer

Este é um papel muito hands-on, com foco em suporte à plataforma, resolução de incidentes, melhoria contínua e colaboração próxima com arquitetos de plataforma, stakeholders técnicos e utilizadores de negócio.

Como será o teu dia a dia:

• Dar suporte à data platform, incluindo troubleshooting e resolução de issues
• Suportar pipelines de dados e processos ETL/ELT para garantir fluxos fiáveis e escaláveis
• Colaborar com arquitetos de plataforma para garantir eficiência, segurança e alta disponibilidade
• Melhorar processos de dados, monitorização, performance e eficiência da plataforma
• Apoiar frameworks de qualidade de dados e monitorização de pipelines
• Trabalhar com data lakes, data warehouses e soluções de data streaming
• Colaborar com data scientists, analysts e business users na resolução de problemas
• Automatizar tarefas repetitivas e melhorar processos de ingestão, transformação e entrega de dados
• Troubleshoot e otimizar workflows e queries SQL em termos de performance e custo
• Documentar alterações, processos e boas práticas da data platform
• Rever e aprovar releases de produtos de dados para produção

O que procuramos:

• Experiência com data pipelines em ambiente de produção
• Conhecimentos sólidos de SQL e experiência com processamento distribuído, como Apache Spark
• Experiência prática com troubleshooting de dbt, Apache Kafka, Apache Ignite, Apache NiFi e Apache AirFlow
• Proficiência em Python ou Scala para tarefas de data engineering
• Experiência com serviços cloud de dados, especialmente AWS
• Experiência em data governance, security e compliance em cloud
• Experiência com CI/CD e frameworks de testing para workflows de dados
• Boas competências de comunicação, colaboração e resolução de problemas
• Fluência escrita e falada em português e inglês
• Conhecimento de arquiteturas Dremio e data lake warehouse
• Experiência com Terraform para provisionamento de data services
• Experiência com ferramentas de catálogo e governança como Collibra ou Alation
• Experiência com machine learning pipelines e feature engineering

O que oferecemos:

• Projeto desafiante com forte componente técnica
• Oportunidade de trabalhar com uma data platform em evolução
• Papel com impacto direto na estabilidade e qualidade dos dados
• Full visa support, se necessário

Localização:

Portugal

Pacote Salarial Junior: 12.880€ a 21.000€ brutos (14 meses) + Subsídio de Alimentação + Benefícios Flexíveis

Pacote Salarial Mid: 14.000€ a 28.000€ brutos (14 meses) + Subsídio de Alimentação + Benefícios Flexíveis

Pacote Salarial Senior: 20.000€ a 49.000€ brutos (14 meses) + Subsídio de Alimentação + Benefícios Flexíveis