Data Engineer- Apache Kafka

HN Services Portugal; Lisboa; Presencial; EUR 42 000 - 64 000; Tempo integral

Resumo da oferta

A HN Services Portugal procura um Data Engineer com experiência em Apache Kafka para integrar uma equipa de desenvolvimento responsável por soluções de dados distribuídas e de elevada escalabilidade. Trabalhará em projetos de Data Engineering, integração e processamento de dados em tempo real.

Responsável por desenvolver pipelines, trabalhar com Kafka para streaming, criar soluções via APIs e garantir qualidade e disponibilidade dos dados, colaborando com equipas Agile/DevOps na implantação e

Qualificações

• Experiência comprovada em Data Engineering e pipelines de dados.
• Experiência prática com Apache Kafka em cenários de streaming.
• Conhecimentos de Python ou linguagem voltada ao processamento de dados.
• Experiência com ETL/ELT e pipelines de dados em produção.
• Conhecimentos de bases de dados relacionais e NoSQL, ambiente Cloud valorizado.

Responsabilidades

• Desenvolver e manter data pipelines para ingestão, transformação e processamento de grandes volumes de dados.
• Trabalhar com Apache Kafka para soluções de streaming e comunicação entre sistemas.
• Criar e integrar soluções de dados via APIs e várias fontes de informação.
• Garantir qualidade, consistência e disponibilidade dos dados.
• Contribuir para o desenho e evolução de arquiteturas de dados escaláveis.
• Monitorizar e resolver problemas em pipelines e ingestão de dados.
• Colaborar com equipas Agile/DevOps no desenvolvimento, testes e deployment.
• Contribuir para melhorar a performance, fiabilidade e automação da plataforma de dados.

Conhecimentos

Data engineering

Apache Kafka

Python

ETL/ELT

Cloud

Ferramentas

Docker

Kubernetes

CI/CD

Descrição da oferta de emprego

Estamos à procura de um Data Engineer com experiência em Apache Kafka para integrar uma equipa de desenvolvimento responsável por soluções de dados distribuídas e de elevada escalabilidade.

Terás a oportunidade de trabalhar em projetos de Data Engineering, integração e processamento de dados em tempo real, colaborando com equipas de desenvolvimento, arquitetura e negócio.

Principais responsabilidades

• Desenvolver e manter data pipelines para ingestão, transformação e processamento de grandes volumes de informação;
• Trabalhar com Apache Kafka para implementação de soluções de streaming e comunicação assíncrona entre sistemas;
• Criar e integrar soluções de dados através de APIs e diferentes fontes de informação;
• Garantir a qualidade, consistência e disponibilidade dos dados;
• Participar no desenho e evolução de arquiteturas de dados escaláveis;
• Monitorizar e resolver problemas relacionados com pipelines e processos de ingestão;
• Colaborar com equipas Agile/DevOps no desenvolvimento, testes e deployment das soluções;
• Contribuir para a melhoria contínua da performance, fiabilidade e automação da plataforma de dados.

Requisitos

• Experiência profissional em Data Engineering;
• Experiência prática com Apache Kafka;
• Experiência com Python ou outra linguagem orientada para processamento de dados;
• Experiência com ETL/ELT e data pipelines;
• Conhecimentos de bases de dados relacionais e/ou NoSQL;
• Experiência em ambientes Cloud será valorizada;
• Conhecimentos de Docker, Kubernetes ou CI/CD serão valorizados;
• Capacidade de trabalhar em ambientes distribuídos e com grandes volumes de dados;
• Boa capacidade analítica, autonomia e trabalho em equipa;