Data Platform Engineer: Scale Data Pipelines in the Cloud

Aubay Portugal

Porto

Presencial

EUR 45 000 - 65 000

Tempo integral

Há 4 dias

Torna-te num dos primeiros candidatos

Gerador de candidaturas

Recebe uma resposta deste empregador — um currículo e uma carta de apresentação adaptados exatamente ao que estão a contratar.

Ultrapassa os filtros ATS

Resumo da oferta

Aubay Portugal, sediada em Oliveira Do Douro, Portugal, procura um Data Platform Engineer para integrar a equipa. A função envolve trabalhar com pipelines de dados em produção, SQL, Spark e ferramentas do ecossistema Apache para apoiar iniciativas de dados.

Pretende-se proficiência em Python ou Scala, experiência com AWS, e conhecimento de governança de dados, CI/CD e testes de fluxos de dados. Fala-se inglês fluente para comunicação interna.

Qualificações

Experiência com pipelines de dados em ambiente de produção.
Sólidos conhecimentos práticos de SQL e experiência com processamento distribuído de dados (Apache Spark).
Proficiência em resolução de problemas com dbt, Apache Kafka, Apache Ignite, Apache NiFi e Apache AirFlow.
Proficiência em Python ou Scala para tarefas de engenharia de dados.
Experiência com serviços de dados em nuvem (AWS).
Familiaridade com Grafana e governança de dados em ambiente de nuvem.
Experiência com CI/CD e testes de fluxos de dados.

Conhecimentos

Pipelines de dados

SQL

Apache Spark

dbt

Apache Kafka

Apache Ignite

Apache NiFi

Apache AirFlow

Python

Scala

AWS

Grafana

Governança de dados

CI/CD

Testes de dados

Dremio

Power BI gateway

Collibra

Alation

Terraform

Ferramentas

Terraform

Power BI gateway

Collibra

Alation

Dremio

Descrição da oferta de emprego

Pretende-se proficiência em Python ou Scala, experiência com AWS, e conhecimento de governança de dados, CI/CD e testes de fluxos de dados. Fala-se inglês fluente para comunicação interna.

Obtém a tua avaliação gratuita e confidencial do currículo.

ou arrasta e larga o ficheiro aqui.