Data Engineer | Data, AI & Analytics

Noesis; Porto; Presencial; EUR 45 000 - 65 000; Tempo integral

Resumo da oferta

A Noesis procura um Data Engineer para desenhar, construir e manter pipelines de dados robustos, com foco no ecossistema Azure. Irá otimizar workflows de processamento com Databricks, Spark e Python, assegurando consultas SQL avançadas e modelação de dados entre ambientes.

Colaborará com equipas técnicas para melhorar o desempenho de pipelines, apoiar requisitos de negócio orientados a dados e assegurar qualidade, integridade e governança de dados.

Qualificações

• Pelo menos 1 ano de experiência como Data Engineer.
• Experiência em SQL, Python e PySpark.
• Conhecimento de modelação e armazenamento de dados (Data Warehouse, Data Lake, …).
• Conhecimento de boas práticas de engenharia: versionamento de código (Git), code review, padrões de desenvolvimento e automatização.
• Familiaridade em ambientes de cloud (Azure, GCP ou AWS).
• Familiaridade com ecossistemas distribuídos, idealmente incluindo Hadoop, Hive, Spark ou Databricks.

Responsabilidades

• Desenhar, construir e manter pipelines de dados robustos e soluções de arquitetura no ecossistema Azure.
• Desenvolver workflows de processamento de dados otimizados utilizando Databricks, Spark e Python.
• Realizar consultas SQL avançadas e modelação de dados para garantir qualidade e integridade entre ambientes.
• Colaborar com equipas técnicas para otimizar o desempenho de pipelines e suportar requisitos orientados a dados.

Ferramentas

SQL

Python

PySpark

Databricks

Spark

Hadoop

Hive

Databricks

Git

Data Warehouse

Data Lake

Descrição da oferta de emprego

A Noesis Procura o Seguinte Perfil

• Desenhar, construir e manter pipelines de dados robustos e soluções de arquitetura no ecossistema Azure;
• Desenvolver workflows de processamento de dados otimizados utilizando Databricks, Spark e Python;
• Realizar consultas SQL avançadas e modelação de dados para garantir a qualidade e integridade dos dados entre ambientes;
• Colaborar com equipas técnicas para otimizar o desempenho dos pipelines e suportar requisitos de negócio orientados a dados.

Principais Tarefas e Responsabilidades

• Desenhar, construir e manter pipelines de dados robustos e soluções de arquitetura no ecossistema Azure;
• Desenvolver workflows de processamento de dados otimizados utilizando Databricks, Spark e Python;
• Realizar consultas SQL avançadas e modelação de dados para garantir a qualidade e integridade dos dados entre ambientes;
• Colaborar com equipas técnicas para otimizar o desempenho dos pipelines e suportar requisitos de negócio orientados a dados.

Requisitos

• Pelo menos 1 ano de experiência como Data Engineer;
• Experiência em SQL, Python e PySpark (ou tecnologias equivalentes de processamento de dados);
• Conhecimento de modelação e armazenamento de dados (Data Warehouse, Data Lake, …);
• Conhecimento de boas práticas de engenharia: versionamento de código (Git), code review, padrões de desenvolvimento e automatização;
• Familiaridade em ambientes de cloud (ex.: Azure, GCP ou AWS);
• Familiaridade com ecossistemas distribuídos, idealmente incluindo Hadoop, Hive, Spark ou Databricks;

Todos os nossos processos de recrutamento e seleção baseiam-se na igualdade de oportunidades, valorizando a competência e o potencial de cada pessoa e garantindo que nenhum candidato ou candidata é discriminado com base em género, etnia, orientação sexual, idade, religião ou condição física.

Requisitos mínimos