Data Platform Engineer

Adentis; Almada; On-site; EUR 42,000 - 60,000; Full time

Benefits offered by this job

Grafana

Power BI gateway

Collibra/Alation

Job summary

Adentis procura um Data Platform Engineer para fortalecer pipelines de dados em produção, com foco em SQL, Spark e orquestração com dbt, Kafka e AirFlow.

A função implica trabalhar em AWS, governança de dados, CI/CD e colaboração entre equipas, com oportunidades para explorar Dremio, Terraform e ferramentas de catalogação como Collibra/Alation.

Qualifications

• Experiência com pipelines de dados em produção.
• Conhecimento de SQL e Spark.
• Proficiente em dbt, Kafka, Ignite, NiFi e AirFlow.
• Programação em Python/Scala para engenharia de dados.
• Experiência com AWS e ferramentas de visualização (Grafana/Power BI).
• Governança, segurança e conformidade de dados em nuvem.
• Experiência com CI/CD para pipelines de dados.

Skills

Data pipelines

SQL

Distributed data processing (Spark)

dbt

Apache Kafka

Python/Scala

AWS

Grafana

Data governance & compliance

CI/CD for data workflows

Problem solving

Communication

Teamwork

Dremio architectures

Terraform

Power BI gateway

Collibra/Alation

ML pipelines/feature engineering

Tools

Apache NiFi

Apache AirFlow

Job description

Estamos à procura de um Data Platform Engineer para se juntar à nossa equipa.

Competências técnicas

• Experiência com pipelines de dados em ambiente de produção
• Sólidos conhecimentos práticos de SQL e experiência com processamento distribuído de dados (por exemplo, Apache Spark)
• Proficiência e conhecimento em resolução de problemas em dbt, Apache Kafka, Apache Ignite, Apache NiFi e Apache AirFlow
• Proficiência em uma linguagem de programação como Python ou Scala para tarefas de engenharia de dados
• Experiência com serviços de dados em nuvem (AWS)
• Familiaridade com ferramentas Grafana
• Conhecimento de governança, segurança e conformidade de dados em um ambiente de nuvem
• Experiência na implementação de CI/CD e estruturas de teste para fluxos de trabalho de dados
• Fortes habilidades de resolução de problemas, habilidades de comunicação e paixão pela colaboração
• Familiaridade com arquiteturas e conceitos de armazenamento de dados Dremio (é uma vantagem)
• Experiência com serviços de provisionamento de dados Terraform (é uma vantagem)
• Familiaridade com o gateway local Power BI (é uma vantagem)
• Experiência prática com ferramentas de catálogo e governança de dados (por exemplo, Collibra, Alation) (é uma vantagem)
• Experiência com pipelines de aprendizagem automática e engenharia de recursos (é uma vantagem)

Competências pessoais

• Excelentes competências de comunicação em inglês – oral e escrita
• Forte capacidade de resolução de problemas e capacidade de trabalhar num ambiente de ritmo acelerado
• Excelentes capacidades de comunicação e mentalidade orientada para o trabalho em equipa