Data Engineer

aRBe-IT; Lisboa; Hybrid; EUR 60,000 - 90,000; Full time

Job summary

Arbe-it procura competências em engenharia de dados para melhorar o nosso produto de monitorização. O foco é construir pipelines, modelar dados, e desenvolver dashboards de QoS com Power BI ligado a Azure Cubes.

É exigida experiência prática com Databricks, Azure Analysis Services e Power BI, incluindo avaliação de necessidades e integração com equipas externas. Nível intermédio a especialista é bem-vindo.

Qualifications

• Experiência comprovada em engenharia de dados e desenvolvimento de dashboards.
• Desenhar pipelines de dados e modelos de dados.
• Conhecimento prático de PySpark, Databricks e ambientes Azure.
• Conhecimento de cálculos com DAX e integração com Power BI.

Responsibilities

• Desenhar uma solução técnica que responda às necessidades, incluindo modelação de dados, fluxo de integração e mapeamento de dados.
• Construir uma camada de integração baseada em Azure Datalake utilizando DAX, PySpark, Databricks, Azure Analysis Services e Azure DevOps.
• Desenvolver dashboards em Power BI ligados a Azure Cubes.
• Implementar cálculos específicos conforme necessário.

Skills

Data engineering

Dashboard development

PySpark

DAX

Azure services

Tools

Databricks

Azure Analysis Services

Power BI

Azure Data Lake

Azure DevOps

Job description

Procuramos competências em engenharia de dados para melhorar o nosso produto Monitoring Solutions, que disponibiliza capacidades abrangentes de monitorização do desempenho de aplicações, eventos de LOG e KPIs de BAU. Em linha com as iniciativas do grupo para elevar a qualidade do serviço, estamos a desenvolver vários dashboards de Quality of Service (QoS) com uma abordagem industrial.

O serviço de engenharia de dados envolverá a construção de pipelines de dados com PySpark, o desenvolvimento de cubos tabulares com Analysis Services (DAX) e a criação de dashboards com Power BI.

O serviço incluirá também a avaliação de necessidades para definir requisitos funcionais e técnicos, o apoio à coordenação com equipas terceiras, como as equipas de Data Integration e Datalake, e a implementação de processos de ingestão e transformação de dados. Adicionalmente, o serviço envolverá a implementação de cálculos e filtros específicos de acordo com os requisitos, bem como de medidas de segurança e controlo de acessos.

Requisitos

Procuramos competências em engenharia de dados e desenvolvimento de dashboards para alcançar os seguintes objetivos e entregáveis:

• Desenhar uma solução técnica que responda às nossas necessidades, incluindo modelação de dados, fluxo de integração e mapeamento de dados.
• Construir uma camada de integração baseada em Azure Datalake utilizando DAX, PySpark, Databricks, Azure Analysis Services e Azure DevOps.
• Desenvolver dashboards em Power BI ligados a Azure Cubes.
• Implementar cálculos específicos conforme necessário.

Exigimos um mínimo de 2 anos de experiência nas ferramentas relevantes, com experiência prática OBRIGATÓRIA em Databricks, Azure Analysis Services e Power BI.

Estamos abertos aos seguintes níveis de experiência: intermédio, avançado e especialista.