Overview
Estamos em busca de um(a) profissional especialista em Apache Kafka e Change Data Capture (CDC) com Debezium, para atuar na administração, operação e evolução de ambientes críticos de streaming de dados em produção. O(a) profissional será responsável por garantir alta disponibilidade, escalabilidade, observabilidade e confiabilidade das plataformas de mensageria e CDC. Irá atuar para um cliente sediado em Portugal.
Responsabilidades
- Administrar ambientes Apache Kafka em produção, incluindo instalação, upgrades, expansão de clusters e troubleshooting.
- Operar e otimizar clusters Kafka em ambientes Kubernetes, utilizando Operators como Strimzi ou Confluent for Kubernetes (CFK).
- Gerenciar e automatizar deploys, upgrades e configurações via CRDs.
- Implementar e manter soluções de Change Data Capture (CDC) utilizando Debezium, normalmente integrado ao Kafka Connect.
- Criar, configurar, ajustar (tuning) e monitorar conectores Debezium.
- Atuar na observabilidade e operação do ecossistema Kafka, garantindo estabilidade e performance.
- Apoiar times de engenharia na definição de boas práticas de streaming e CDC.
- Disponibilidade para atuação em modelo remoto no fuso horario de Portugal
Requisitos Técnicos – Kafka
- Experiência prática sólida com Apache Kafka em produção.
- Conhecimento de diferentes distribuições de Kafka:
- Apache Kafka (open source)
- Confluent Platform / Confluent Cloud
- Kafka Operators (Strimzi, CFK)
- Capacidade de avaliar vantagens e desvantagens entre as distribuições (lock-in, custos, features enterprise, etc.).
- Domínio de conceitos fundamentais:
- Partições
- Replicação
- Consumer Groups
- Offsets
- Experiência com Kafka em Kubernetes, incluindo operação via Operators.
- Conhecimento de ferramentas de observabilidade e operação:
- Prometheus
- Grafana
- Confluent Control Center
- Kafka UI ou similares
Requisitos Técnicos – Debezium e CDC
- Experiência prática em Debezium como solução de CDC.
- Atuação com Kafka Connect, incluindo:
- Criação e configuração de conectores
- Tuning de performance
- Monitoramento e troubleshooting
- Conhecimento dos principais conectores Debezium:
- MySQL
- PostgreSQL
- Oracle
- SQL Server
Diferenciais
- Experiência em ambientes de alta escala e missão crítica.
- Conhecimento em arquiteturas orientadas a eventos.
- Vivência com ambientes cloud (AWS, Azure ou GCP).
- Conhecimento em segurança aplicada a Kafka e Kafka Connect.
O que oferecemos
- Atuação em projetos estratégicos e de alta complexidade técnica.
- Ambiente colaborativo e focado em excelência técnica.
- Oportunidade de crescimento e especialização em streaming e dados em tempo real.