Senior Data Engineer

Affinity; Lisboa; Híbrido; EUR 70 000 - 110 000; Tempo integral

Resumo da oferta

A Affinity procura Engenheiro/a de Dados sénior para desenhar e manter pipelines de dados escaláveis, suportando projetos nacionais e internacionais. A posição envolve o desenvolvimento de microservices em Python, frameworks de CI/CD e ingestão de dados de várias fontes, com foco em governança e desempenho.

Trabalhará com equipas de Data Science, Analytics e Engineering, liderando migrações de plataformas e modernização de processos ETL, em ambiente cloud (GCP).

Qualificações

• Licenciatura em Engenharia Informática ou similar.
• Experiência mínima de 7 anos em Data Engineering.
• Experiência comprovada em plataformas de dados de larga escala.
• Experiência em migrações Cloudera (HDFS, Hive, Impala, HBase) para Snowflake ou Databricks.
• Sólidos conhecimentos de Python em produção e Spark/PySpark.
• Conhecimentos de arquitetura de sistemas distribuídos e Data Architecture.

Responsabilidades

• Desenhar e implementar pipelines de dados escaláveis (batch e streaming).
• Desenvolver microservices em Python para produtos e plataformas de dados.
• Construir frameworks CI/CD, versionamento de dados e experiment tracking.
• Integrar dados de bases, APIs, sistemas de ficheiros e plataformas de streaming.
• Garantir qualidade, segurança, governance e performance dos dados.
• Otimizar plataformas de dados em ambientes cloud.
• Colaborar com Data Science, Analytics e Engineering.

Conhecimentos

Python

Apache Spark

Apache Kafka

Cloud platforms

Engenharia de dados

Inglês (B2)

Formação académica

Licenciatura em Engenharia Informática

Ferramentas

Cloudera

Snowflake

Databricks

Descrição da oferta de emprego

A nossa missão é ser uma parte significativa da carreira das nossas pessoas. À medida que crescemos, cresce também a determinação em oferecer a melhor experiência aos nossos colaboradores e clientes e é exatamente isso que nos move. Somos uma empresa portuguesa de consultoria tecnológica com escritórios em Lisboa, Porto e Óbidos e representações no Brasil e Tunísia. Contamos com mais de 12 anos de expertise no mercado, e hoje somos um universo de cerca de 400 pessoas a trabalhar em contexto presencial, remoto ou híbrido em projetos em mais de 20 países.

Acreditamos que grandes pessoas fazem empresas de sucesso e por isso mesmo defendemos a valorização, reconhecimento e crescimento dos nossos profissionais.

Não queremos ser mais uma linha do teu CV, queremos que connosco vivas uma Lifetime Experience. Apostamos em formações e certificações que confirmam a tua real progressão, na promoção de um saudável work-life balance e na oferta de benefícios com impacto na tua vida pessoal e carreira.

Principais Responsabilidades

• Desenhar e implementar pipelines de dados escaláveis para processamento batch e streaming.
• Desenvolver microservices em Python para produtos e plataformas de dados.
• Construir frameworks para CI/CD, versionamento de dados e experiment tracking.
• Integrar dados provenientes de bases de dados, APIs, sistemas de ficheiros e plataformas de streaming.
• Garantir qualidade, segurança, governance e performance dos dados.
• Otimizar plataformas de dados em ambientes cloud.
• Trabalhar em conjunto com equipas de Data Science, Analytics e Engineering.
• Liderar migrações de plataformas Cloudera para Snowflake ou Databricks.
• Desenvolver soluções de ingestão de dados com CDC, Reverse ETL e Streaming.
• Licenciatura em Engenharia Informática ou Similar;
• Mínimo de 7 anos de experiência em Data Engineering.
• Experiência comprovada em plataformas de dados de larga escala.
• Experiência em migrações de Cloudera (HDFS, Hive, Impala, HBase) para Snowflake ou Databricks.
• Experiência sólida com Python em ambientes de produção.
• Experiência com Apache Spark / PySpark.
• Conhecimentos de arquitetura de sistemas distribuídos e Data Architecture.
• Experiência em modelação de dados estruturados e não estruturados.
• Experiência com Apache Kafka e processamento de dados em streaming.
• Experiência em cloud, preferencialmente Google Cloud Platform (BigQuery, Pub/Sub, Dataflow e Dataproc).
• Experiência na modernização de processos ETL para:
• Experiência na construção de plataformas de dados de raiz (greenfield).
• Conhecimentos de ingestão via APIs, CDC e Reverse ETL.
• Perfil analítico, autónomo e orientado à resolução de problemas.
• Bons conhecimentos de inglês - B2 ou superior;
• #Affinidade – Criares relações de proximidade e empatia com colegas, clientes e candidatos (e não apenas com tecnologias, linguagens e plataformas). Espírito de equipa e boa disposição;
• #Ambição – Quereres fazer mais e melhor. Vontade de exceder expectativas e evoluir pessoal e profissionalmente;
• #Ação – Energia para fazer acontecer. Mostrares proatividade e capacidade de iniciativa;
• #Aprendizagem – Vontade de evoluir individual e coletivamente e tornares-te um expert no mercado tecnológico.

A tua #LifetimeExperience

• Participar em projetos nacionais e internacionais numa empresa baseada em relacionamentos pessoais, na simplicidade e na eficiência, com uma ação disruptiva no mercado tecnológico;
• Aceder a um plano de carreira e formação personalizado e diretamente proporcional ao teu desempenho e interesse;
• Fazer parte de um ambiente acolhedor, de confiança, respeito e informalidade;
• Integrar as nossas Affinity Communities (de desporto, tecnologia, hobbies, etc.) e participar ativamente em projetos de responsabilidade social e ambiental;
• Tirar partido de um conjunto de benefícios, parcerias, descontos eventos e dinâmicas internas.

Para além da tua satisfação profissional queremos proporcionar-te oportunidades de lazer e convívio memoráveis e dignos de uma experiência Affinity.

Envia-nos a tua candidatura e aproveita para nos conhecer e ir acompanhando em: