Data Engineer: Azure Pipelines, PySpark & AI Analytics

Noesis; Porto; Presencial; EUR 45 000 - 65 000; Tempo integral

Resumo da oferta

A Noesis procura um Data Engineer para desenhar, construir e manter pipelines de dados robustos, com foco no ecossistema Azure. Irá otimizar workflows de processamento com Databricks, Spark e Python, assegurando consultas SQL avançadas e modelação de dados entre ambientes.

Colaborará com equipas técnicas para melhorar o desempenho de pipelines, apoiar requisitos de negócio orientados a dados e assegurar qualidade, integridade e governança de dados.

Qualificações

• Pelo menos 1 ano de experiência como Data Engineer.
• Experiência em SQL, Python e PySpark.
• Conhecimento de modelação e armazenamento de dados (Data Warehouse, Data Lake, …).
• Conhecimento de boas práticas de engenharia: versionamento de código (Git), code review, padrões de desenvolvimento e automatização.
• Familiaridade em ambientes de cloud (Azure, GCP ou AWS).
• Familiaridade com ecossistemas distribuídos, idealmente incluindo Hadoop, Hive, Spark ou Databricks.

Responsabilidades

• Desenhar, construir e manter pipelines de dados robustos e soluções de arquitetura no ecossistema Azure.
• Desenvolver workflows de processamento de dados otimizados utilizando Databricks, Spark e Python.
• Realizar consultas SQL avançadas e modelação de dados para garantir qualidade e integridade entre ambientes.
• Colaborar com equipas técnicas para otimizar o desempenho de pipelines e suportar requisitos orientados a dados.

Ferramentas

SQL

Python

PySpark

Databricks

Spark

Hadoop

Hive

Databricks

Git

Data Warehouse

Data Lake

Descrição da oferta de emprego

A Noesis procura um Data Engineer para desenhar, construir e manter pipelines de dados robustos, com foco no ecossistema Azure. Irá otimizar workflows de processamento com Databricks, Spark e Python, assegurando consultas SQL avançadas e modelação de dados entre ambientes.

Colaborará com equipas técnicas para melhorar o desempenho de pipelines, apoiar requisitos de negócio orientados a dados e assegurar qualidade, integridade e governança de dados.