Data Platform Engineer

Aubay Portugal; Porto; Presencial; EUR 45 000 - 65 000; Tempo integral

Resumo da oferta

Aubay Portugal, sediada em Oliveira Do Douro, Portugal, procura um Data Platform Engineer para integrar a equipa. A função envolve trabalhar com pipelines de dados em produção, SQL, Spark e ferramentas do ecossistema Apache para apoiar iniciativas de dados.

Pretende-se proficiência em Python ou Scala, experiência com AWS, e conhecimento de governança de dados, CI/CD e testes de fluxos de dados. Fala-se inglês fluente para comunicação interna.

Qualificações

• Experiência com pipelines de dados em ambiente de produção.
• Sólidos conhecimentos práticos de SQL e experiência com processamento distribuído de dados (Apache Spark).
• Proficiência em resolução de problemas com dbt, Apache Kafka, Apache Ignite, Apache NiFi e Apache AirFlow.
• Proficiência em Python ou Scala para tarefas de engenharia de dados.
• Experiência com serviços de dados em nuvem (AWS).
• Familiaridade com Grafana e governança de dados em ambiente de nuvem.
• Experiência com CI/CD e testes de fluxos de dados.

Conhecimentos

Pipelines de dados

SQL

Apache Spark

dbt

Apache Kafka

Apache Ignite

Apache NiFi

Apache AirFlow

Python

Scala

AWS

Grafana

Governança de dados

CI/CD

Testes de dados

Dremio

Power BI gateway

Collibra

Alation

Terraform

Ferramentas

Terraform

Power BI gateway

Collibra

Alation

Dremio

Descrição da oferta de emprego

Data Platform Engineer Aubay Portugal Oliveira Do Douro, Portuguese Republic, PT

Descrição do cargo

AO4546

Estamos à procura de um Data Platform Engineer para se juntar à nossa equipa.

Se te consideras uma pessoa flexível e proativa e desejas enfrentar novos desafios profissionais, envia-nos a tua candidatura! Estamos ansiosos por fazer parte do teu crescimento e certamente que iremos construir um futuro de sucesso juntos!

Competências técnicas

• Experiência com pipelines de dados em ambiente de produção
• Sólidos conhecimentos práticos de SQL e experiência com processamento distribuído de dados (por exemplo, Apache Spark)
• Proficiência e conhecimento em resolução de problemas em dbt, Apache Kafka, Apache Ignite, Apache NiFi e Apache AirFlow
• Proficiência em uma linguagem de programação como Python ou Scala para tarefas de engenharia de dados
• Experiência com serviços de dados em nuvem (AWS)
• Familiaridade com ferramentas Grafana
• Conhecimento de governança, segurança e conformidade de dados em um ambiente de nuvem
• Experiência na implementação de CI/CD e estruturas de teste para fluxos de trabalho de dados
• Fortes habilidades de resolução de problemas, habilidades de comunicação e paixão pela colaboração
• Familiaridade com arquiteturas e conceitos de armazenamento de dados Dremio (é uma vantagem)
• Experiência com serviços de provisionamento de dados Terraform (é uma vantagem)
• Familiaridade com o gateway local Power BI (é uma vantagem)
• Experiência prática com ferramentas de catálogo e governança de dados (por exemplo, Collibra, Alation) (é uma vantagem)
• Experiência com pipelines de aprendizagem automática e engenharia de recursos (é uma vantagem)

Competências pessoais

• Excelentes competências de comunicação em inglês – oral e escrita
• Forte capacidade de resolução de problemas e capacidade de trabalhar num ambiente de ritmo acelerado
• Excelentes capacidades de comunicação e mentalidade orientada para o trabalho em equipa