Urban Data Engineer — City Platform & Pipelines

Porto Digital; Porto; Híbrido; EUR 45 000 - 70 000; Tempo integral

Vantagens oferecidas por esta oferta de emprego

Horário flexível

Subsídio de Alimentação

Seguro de saúde

Telemóvel e serviço de comunicações

APP ANDA

Resumo da oferta

A Porto Digital, uma associação com mais de 20 anos no Porto, procura um Data Engineer para se juntar a uma equipa híbrida. Reporta ao Coordenador da área de Arquitetura de Dados e Inteligência Artificial e trabalha em colaboração com dados para melhorar serviços públicos e qualidade de vida na cidade.

O cargo envolve desenhar pipelines, ETL com Python/SQL, e uso de tecnologias open source em ambiente on-premises, com foco em desempenho, escalabilidade e segurança.

Qualificações

• Formação relacionada com informática ou dados.
• Experiência mínima de 3 anos em Data Engineering.
• Conhecimentos de SQL e bases de dados relacionais.
• Experiência com pipelines ETL/ELT com Python.
• Conhecimento de Kafka e streaming de dados.
• Conhecimentos de Airflow ou ferramentas equivalentes.
• Modelação de dados, data lakes e lakehouse.
• Inglês básico/bom.

Responsabilidades

• Desenhar, desenvolver e manter pipelines de dados (batch/streaming).
• Desenvolver e otimizar ETL/ELT com Python/SQL.
• Trabalhar com Spark, Kafka, NiFi, Airflow on-premises.
• Gerir bases de dados: desempenho, integridade e disponibilidade.
• Garantir qualidade, fiabilidade e monitorização dos dados.
• Projetar arquiteturas de dados com desempenho e segurança.
• Conectar Cientistas/Analistas de Dados e IA, traduzindo necessidades em requisitos.
• Aprofundar a Plataforma Urbana do Porto com dados para melhorar decisões.

Conhecimentos

SQL

Python

Apache Kafka

Airflow

Docker

Git

Data modeling

English

Formação académica

Engenharia Informática / Análise de Dados / Ciência de Computadores / Engenharia Eletrotécnica e de Computadores

Ferramentas

Apache Airflow

PostgreSQL / Relational DBs

dbt

Descrição da oferta de emprego

A Porto Digital, uma associação com mais de 20 anos no Porto, procura um Data Engineer para se juntar a uma equipa híbrida. Reporta ao Coordenador da área de Arquitetura de Dados e Inteligência Artificial e trabalha em colaboração com dados para melhorar serviços públicos e qualidade de vida na cidade.

O cargo envolve desenhar pipelines, ETL com Python/SQL, e uso de tecnologias open source em ambiente on-premises, com foco em desempenho, escalabilidade e segurança.