Data Engineer

Porto Digital; Porto; Híbrido; EUR 45 000 - 70 000; Tempo integral

Vantagens oferecidas por esta oferta de emprego

Horário flexível

Subsídio de Alimentação

Seguro de saúde

Telemóvel e serviço de comunicações

APP ANDA

Resumo da oferta

A Porto Digital, uma associação com mais de 20 anos no Porto, procura um Data Engineer para se juntar a uma equipa híbrida. Reporta ao Coordenador da área de Arquitetura de Dados e Inteligência Artificial e trabalha em colaboração com dados para melhorar serviços públicos e qualidade de vida na cidade.

O cargo envolve desenhar pipelines, ETL com Python/SQL, e uso de tecnologias open source em ambiente on-premises, com foco em desempenho, escalabilidade e segurança.

Qualificações

• Formação relacionada com informática ou dados.
• Experiência mínima de 3 anos em Data Engineering.
• Conhecimentos de SQL e bases de dados relacionais.
• Experiência com pipelines ETL/ELT com Python.
• Conhecimento de Kafka e streaming de dados.
• Conhecimentos de Airflow ou ferramentas equivalentes.
• Modelação de dados, data lakes e lakehouse.
• Inglês básico/bom.

Responsabilidades

• Desenhar, desenvolver e manter pipelines de dados (batch/streaming).
• Desenvolver e otimizar ETL/ELT com Python/SQL.
• Trabalhar com Spark, Kafka, NiFi, Airflow on-premises.
• Gerir bases de dados: desempenho, integridade e disponibilidade.
• Garantir qualidade, fiabilidade e monitorização dos dados.
• Projetar arquiteturas de dados com desempenho e segurança.
• Conectar Cientistas/Analistas de Dados e IA, traduzindo necessidades em requisitos.
• Aprofundar a Plataforma Urbana do Porto com dados para melhorar decisões.

Conhecimentos

SQL

Python

Apache Kafka

Airflow

Docker

Git

Data modeling

English

Formação académica

Engenharia Informática / Análise de Dados / Ciência de Computadores / Engenharia Eletrotécnica e de Computadores

Ferramentas

Apache Airflow

PostgreSQL / Relational DBs

dbt

Descrição da oferta de emprego

A Associação Porto Digital, empresa privada sem fins lucrativos, sediada no Porto, com mais de 20 anos de existência e, em crescimento pretende contratar um Data Engineer.

O profissional pretendido reportará ao Coordenador da área de Arquitetura de Dados e Inteligência Artificial, e integrará uma equipa de trabalho híbrida (trabalho presencial e remoto). O contrato de trabalho será inicialmente a termo com possibilidade de renovação e/ou sem termo consoante a experiência demonstrada.

Tasks

Principais atividades/tarefas a realizar:

• Desenhar, desenvolver e manter pipelines de dados (batch e streaming) para dados estruturados e não estruturados.
• Desenvolver e otimizar processos ETL com recurso a linguagens de programação como Python e/ou SQL.
• Trabalhar com tecnologias open source para processamento, integração e armazenamento de dados (ex.: Spark, Kafka, NiFi, Airflow) em ambiente on-premises.
• Gerir e otimizar bases de dados assegurando desempenho, integridade e disponibilidade.
• Garantir qualidade, integridade e fiabilidade dos dados ao longo de todo o ciclo de vida (validação, monitorização e testes).
• Projetar e melhorar arquiteturas de dados assegurando desempenho, escalabilidade e segurança.
• Estabelecer a ligação entre Cientistas de Dados, Analistas de Dados e Inteligência Artificial, ao transcrever as necessidades em requisitos técnicos e tratamento de dados;
• Melhorar a Plataforma Urbana da cidade do Porto, criando novas formas de aumentar o valor e a qualidade dos dados recolhidos e usados na tomada de decisões com impacto na qualidade de vida da comunidade.

Requirements

Formação

• Formação em Engenharia Informática, Análise de Dados, Ciência de Computadores, Engenharia Eletrotécnica e de Computadores ou similares.

Qualificações

• Experiência mínima de 3 anos em funções de Data Engineering, desenvolvimento de plataformas de dados ou áreas similares.
• Bons conhecimentos de SQL e experiência com bases de dados relacionais e analíticas.
• Experiência em desenvolvimento de pipelines ETL/ELT para integração, transformação e disponibilização de dados.
• Bons conhecimentos de Python para processamento de dados, automatização e integração de sistemas.
• Experiência prática com Apache Kafka, incluindo compreensão de tópicos, partições, chaves, consumer groups, offsets, retenção e mecanismos de replay.
• Compreensão dos principais desafios de processamento de dados em tempo real, nomeadamente ordenação, duplicação, idempotência, latência, tratamento de erros e evolução de schemas.
• Experiência com ferramentas de orquestração de pipelines, como Apache Airflow ou equivalentes.
• Conhecimentos de modelação de dados, data warehouses, data lakes e arquiteturas lakehouse.
• Experiência na implementação de processos incrementais, controlo de qualidade e monitorização de pipelines.
• Familiaridade com Git, processos de revisão de código e práticas de integração e entrega contínuas.
• Conhecimentos de Docker e princípios de desenvolvimento e operação de serviços em ambientes distribuídos.
• Bons conhecimentos de inglês.

Nice to have:

• Experiência com ClickHouse ou outras bases de dados colunares e com dbt.
• Conhecimentos de Apache NiFi, Change Data Capture com Debezium ou processamento de streams com Flink/Kafka Streams.
• Familiaridade com arquiteturas lakehouse, Apache Iceberg, Parquet e armazenamento de objetos.
• Experiência com dados geográficos, PostGIS ou sistemas GIS.
• Conhecimentos de FIWARE, NGSI-LD, Orion-LD, catálogos de dados ou mecanismos de data lineage

Competências pessoais e organizacionais:

• Autonomia, proatividade e sentido de responsabilidade.
• Boa capacidade analítica e de resolução estruturada de problemas.
• Capacidade de desenhar soluções simples, reutilizáveis e sustentáveis, evitando desenvolvimentos isolados por caso de uso.
• Organização, rigor e atenção ao detalhe.
• Orientação para qualidade, fiabilidade e melhoria contínua.
• Capacidade de diagnosticar problemas em pipelines e sistemas distribuídos.
• Capacidade de trabalhar em equipas multidisciplinares e de colaborar com perfis técnicos e funcionais.
• Boa comunicação e capacidade de explicar decisões técnicas de forma clara.
• Capacidade de documentar processos e promover a partilha de conhecimento.
• Orientação para resultados e cumprimento de prazos.
• Interesse em trabalhar com diferentes domínios urbanos, como mobilidade, economia, ambiente, território e serviços municipais.
• Orientação para a criação de valor para a cidade do Porto e para os seus cidadãos.

Benefits

• Horário flexível
• Subsídio de Alimentação
• Seguro de saúde
• Telemóvel e serviço de comunicações
• APP ANDA

Junte-se à Associação Porto Digital como Data Engineer e impulsione a transformação digital urbana no Porto. Melhore os serviços públicos, impacte a vida dos cidadãos e contribua para o desenvolvimento sustentável.