Smart City Data Engineer — Pipelines & AI Enablement

Associação Porto Digital; Porto; Híbrido; Confidencial; Tempo integral

Vantagens oferecidas por esta oferta de emprego

Horário flexível

Subsídio de Alimentação

Seguro de saúde

Telemóvel e serviço de comunicações

APP ANDA

Resumo da oferta

A Associação Porto Digital, uma entidade privada sem fins lucrativos sediada no Porto, busca um Data Engineer para integrar uma equipa híbrida. O foco é desenhar, desenvolver e manter pipelines de dados, ETL/ELT e arquiteturas de dados em ambientes on-premises, colaborando com equipas multidisciplinares.

O candidato ideal tem experiência com SQL, Python, Kafka, Airflow e governança de dados, com inglês técnico. O papel envolve melhoria de serviços públicos digitais e impacto urbano.

Qualificações

• Formação em Engenharia Informática, Análise de Dados, Ciência de Computadores, Engenharia Eletrotécnica e de Computadores ou similares.

Responsabilidades

• Desenhar, desenvolver e manter pipelines de dados (batch e streaming) para dados estruturados e não estruturados.
• Desenvolver e otimizar processos ETL com Python e/ou SQL.
• Trabalhar com tecnologias open source para processamento, integração e armazenamento de dados (Spark, Kafka, NiFi, Airflow) em ambiente on-premises.
• Gerir bases de dados assegurando desempenho, integridade e disponibilidade.
• Garantir qualidade, integridade e fiabilidade dos dados ao longo do ciclo de vida.
• Projetar e melhorar arquiteturas de dados com foco em desempenho e segurança.
• Estabelecer a ligação entre Cientistas de Dados, Analistas de Dados e Inteligência Artificial com requisitos técnicos.
• Melhorar a Plataforma Urbana da cidade do Porto com dados para decisão pública.

Conhecimentos

SQL

Python

Kafka

Airflow

Modelação de dados

Docker

Git

Inglês

Formação académica

Engenharia Informática

Ferramentas

Kafka

Airflow

Docker

NiFi

dbt

Descrição da oferta de emprego

A Associação Porto Digital, uma entidade privada sem fins lucrativos sediada no Porto, busca um Data Engineer para integrar uma equipa híbrida. O foco é desenhar, desenvolver e manter pipelines de dados, ETL/ELT e arquiteturas de dados em ambientes on-premises, colaborando com equipas multidisciplinares.

O candidato ideal tem experiência com SQL, Python, Kafka, Airflow e governança de dados, com inglês técnico. O papel envolve melhoria de serviços públicos digitais e impacto urbano.