Data Engineer

Associação Porto Digital; Porto; Híbrido; Confidencial; Tempo integral

Vantagens oferecidas por esta oferta de emprego

Horário flexível

Subsídio de Alimentação

Seguro de saúde

Telemóvel e serviço de comunicações

APP ANDA

Resumo da oferta

A Associação Porto Digital, uma entidade privada sem fins lucrativos sediada no Porto, busca um Data Engineer para integrar uma equipa híbrida. O foco é desenhar, desenvolver e manter pipelines de dados, ETL/ELT e arquiteturas de dados em ambientes on-premises, colaborando com equipas multidisciplinares.

O candidato ideal tem experiência com SQL, Python, Kafka, Airflow e governança de dados, com inglês técnico. O papel envolve melhoria de serviços públicos digitais e impacto urbano.

Qualificações

• Formação em Engenharia Informática, Análise de Dados, Ciência de Computadores, Engenharia Eletrotécnica e de Computadores ou similares.

Responsabilidades

• Desenhar, desenvolver e manter pipelines de dados (batch e streaming) para dados estruturados e não estruturados.
• Desenvolver e otimizar processos ETL com Python e/ou SQL.
• Trabalhar com tecnologias open source para processamento, integração e armazenamento de dados (Spark, Kafka, NiFi, Airflow) em ambiente on-premises.
• Gerir bases de dados assegurando desempenho, integridade e disponibilidade.
• Garantir qualidade, integridade e fiabilidade dos dados ao longo do ciclo de vida.
• Projetar e melhorar arquiteturas de dados com foco em desempenho e segurança.
• Estabelecer a ligação entre Cientistas de Dados, Analistas de Dados e Inteligência Artificial com requisitos técnicos.
• Melhorar a Plataforma Urbana da cidade do Porto com dados para decisão pública.

Conhecimentos

SQL

Python

Kafka

Airflow

Modelação de dados

Docker

Git

Inglês

Formação académica

Engenharia Informática

Ferramentas

Kafka

Airflow

Docker

NiFi

dbt

Descrição da oferta de emprego

A Associação Porto Digital, empresa privada sem fins lucrativos, sediada no Porto, com mais de 20 anos de existência e, em crescimento pretende contratar um XXX.

O profissional pretendido reportará ao Coordenador da área de Arquitetura de Dados e Inteligência Artificial, e integrará uma equipa de trabalho híbrida (trabalho presencial e remoto). O contrato de trabalho será inicialmente a termo com possibilidade de renovação e/ou sem termo consoante a experiência demonstrada.

Tasks

Principais atividades/tarefas a realizar:

• Desenhar, desenvolver e manter pipelines de dados (batch e streaming) para dados estruturados e não estruturados.
• Desenvolver e otimizar processos ETL com recurso a linguagens de programação como Python e/ou SQL.
• Trabalhar com tecnologias open source para processamento, integração e armazenamento de dados (ex.: Spark, Kafka, NiFi, Airflow) em ambiente on-premises.
• Gerir e otimizar bases de dados assegurando desempenho, integridade e disponibilidade.
• Garantir qualidade, integridade e fiabilidade dos dados ao longo de todo o ciclo de vida (validação, monitorização e testes).
• Projetar e melhorar arquiteturas de dados assegurando desempenho, escalabilidade e segurança.
• Estabelecer a ligação entre Cientistas de Dados, Analistas de Dados e Inteligência Artificial, ao transcrever as necessidades em requisitos técnicos e tratamento de dados;
• Melhorar a Plataforma Urbana da cidade do Porto, criando novas formas de aumentar o valor e a qualidade dos dados recolhidos e usados na tomada de decisões com impacto na qualidade de vida da comunidade.

Requirements

Formação

• Formação em Engenharia Informática, Análise de Dados, Ciência de Computadores, Engenharia Eletrotécnica e de Computadores ou similares.

Qualificações

• Experiência mínima de 3 anos em funções de Data Engineering, desenvolvimento de plataformas de dados ou áreas similares.
• Bons conhecimentos de SQL e experiência com bases de dados relacionais e analíticas.
• Experiência em desenvolvimento de pipelines ETL/ELT para integração, transformação e disponibilização de dados.
• Bons conhecimentos de Python para processamento de dados, automatização e integração de sistemas.
• Experiência prática com Apache Kafka, incluindo compreensão de tópicos, partições, chaves, consumer groups, offsets, retenção e mecanismos de replay.
• Compreensão dos principais desafios de processamento de dados em tempo real, nomeadamente ordenação, duplicação, idempotência, latência, tratamento de erros e evolução de schemas.
• Experiência com ferramentas de orquestração de pipelines, como Apache Airflow ou equivalentes.
• Conhecimentos de modelação de dados, data warehouses, data lakes e arquiteturas lakehouse.
• Experiência na implementação de processos incrementais, controlo de qualidade e monitorização de pipelines.
• Familiaridade com Git, processos de revisão de código e práticas de integração e entrega contínuas.
• Conhecimentos de Docker e princípios de desenvolvimento e operação de serviços em ambientes distribuídos.
• Bons conhecimentos de inglês.

Nice to have:

• Experiência com ClickHouse ou outras bases de dados colunares e com dbt.
• Conhecimentos de Apache NiFi, Change Data Capture com Debezium ou processamento de streams com Flink/Kafka Streams.
• Familiaridade com arquiteturas lakehouse, Apache Iceberg, Parquet e armazenamento de objetos.
• Experiência com dados geográficos, PostGIS ou sistemas GIS.
• Conhecimentos de FIWARE, NGSI-LD, Orion-LD, catálogos de dados ou mecanismos de data lineage

Competências pessoais e organizacionais:

• Autonomia, proatividade e sentido de responsabilidade.
• Boa capacidade analítica e de resolução estruturada de problemas.
• Capacidade de desenhar soluções simples, reutilizáveis e sustentáveis, evitando desenvolvimentos isolados por caso de uso.
• Organização, rigor e atenção ao detalhe.
• Orientação para qualidade, fiabilidade e melhoria contínua.
• Capacidade de diagnosticar problemas em pipelines e sistemas distribuídos.
• Capacidade de trabalhar em equipas multidisciplinares e de colaborar com perfis técnicos e funcionais.
• Boa comunicação e capacidade de explicar decisões técnicas de forma clara.
• Capacidade de documentar processos e promover a partilha de conhecimento.
• Orientação para resultados e cumprimento de prazos.
• Interesse em trabalhar com diferentes domínios urbanos, como mobilidade, economia, ambiente, território e serviços municipais.
• Orientação para a criação de valor para a cidade do Porto e para os seus cidadãos.

Benefits

• Horário flexível
• Subsídio de Alimentação
• Seguro de saúde
• Telemóvel e serviço de comunicações
• APP ANDA

Junte-se à Associação Porto Digital como Data Engineer e impulsione a transformação digital urbana no Porto. Melhore os serviços públicos, impacte a vida dos cidadãos e contribua para o desenvolvimento sustentável.