Senior Data Platform Engineer (Cloud, Streaming)

Affinity; Lisboa; Híbrido; EUR 70 000 - 110 000; Tempo integral

Resumo da oferta

A Affinity procura Engenheiro/a de Dados sénior para desenhar e manter pipelines de dados escaláveis, suportando projetos nacionais e internacionais. A posição envolve o desenvolvimento de microservices em Python, frameworks de CI/CD e ingestão de dados de várias fontes, com foco em governança e desempenho.

Trabalhará com equipas de Data Science, Analytics e Engineering, liderando migrações de plataformas e modernização de processos ETL, em ambiente cloud (GCP).

Qualificações

• Licenciatura em Engenharia Informática ou similar.
• Experiência mínima de 7 anos em Data Engineering.
• Experiência comprovada em plataformas de dados de larga escala.
• Experiência em migrações Cloudera (HDFS, Hive, Impala, HBase) para Snowflake ou Databricks.
• Sólidos conhecimentos de Python em produção e Spark/PySpark.
• Conhecimentos de arquitetura de sistemas distribuídos e Data Architecture.

Responsabilidades

• Desenhar e implementar pipelines de dados escaláveis (batch e streaming).
• Desenvolver microservices em Python para produtos e plataformas de dados.
• Construir frameworks CI/CD, versionamento de dados e experiment tracking.
• Integrar dados de bases, APIs, sistemas de ficheiros e plataformas de streaming.
• Garantir qualidade, segurança, governance e performance dos dados.
• Otimizar plataformas de dados em ambientes cloud.
• Colaborar com Data Science, Analytics e Engineering.

Conhecimentos

Python

Apache Spark

Apache Kafka

Cloud platforms

Engenharia de dados

Inglês (B2)

Formação académica

Licenciatura em Engenharia Informática

Ferramentas

Cloudera

Snowflake

Databricks

Descrição da oferta de emprego

A Affinity procura Engenheiro/a de Dados sénior para desenhar e manter pipelines de dados escaláveis, suportando projetos nacionais e internacionais. A posição envolve o desenvolvimento de microservices em Python, frameworks de CI/CD e ingestão de dados de várias fontes, com foco em governança e desempenho.

Trabalhará com equipas de Data Science, Analytics e Engineering, liderando migrações de plataformas e modernização de processos ETL, em ambiente cloud (GCP).