Engenheiro de Dados Sênior | Real-Time

Safra; São Paulo; Vor Ort; BRL 223.200 - 334.800; Vollzeit

Zusammenfassung

Um banco líder em São Paulo está buscando um especialista para acelerar a entrega de soluções digitais. O profissional será responsável por desenhar e desenvolver soluções de streaming de dados com tecnologias como Apache Kafka e Flink. Além disso, deverá implementar práticas de DevOps promovendo automação e governança de dados. Espera-se que trabalhe colaborativamente em ambientes críticos, garantindo a escalabilidade e confiabilidade dos pipelines de dados.

Qualifikationen

• Experiência em desenho e desenvolvimento de soluções de streaming de dados.
• Capacidade de implementar e manter esteiras de DevOps com automação.
• Compreensão de boas práticas de engenharia de software.

Aufgaben

• Desenhar, desenvolver e evoluir soluções de streaming de dados.
• Implementar e manter esteiras de DevOps para automação e testes contínuos.
• Colaborar com equipes de engenharia de dados e arquitetura.

Kenntnisse

Apache Kafka

Apache Flink

Kudu

Iceberg

HBase

Automação de pipelines

Python

Docker/Kubernetes

Tools

Cloudera Data Platform (CDP)

Grafana

Jobbeschreibung

Responsabilidades

Área responsável por acelerar a entrega de soluções digitais no banco, integrando práticas de DevOps, automação de esteiras e engenharia de dados em tempo real. Com foco em confiabilidade, velocidade e governança, a área constrói componentes reutilizáveis, portais de dados e a camada Fast Data, que viabiliza decisões ágeis e seguras em ambientes críticos.

O profissional será responsável por desenhar, desenvolver e evoluir soluções de streaming de dados, utilizando tecnologias como Apache Kafka, Flink, Kudu, Iceberg e HBase, integradas à plataforma Cloudera. Atuará na construção de componentes reutilizáveis, garantindo escalabilidade, performance e confiabilidade dos pipelines de dados.

Além disso, será responsável pela implementação e manutenção de esteirasojen DevOps promovendo automação, versionarbeit, testes e deploy contínuo de aplicações de dados. Deverá aplicar boas práticas de engenharia de software, com foco em idempotência, observabilidade, segurança e governança de dados, incluindo políticas com Apache Ranger.

O especialista atuará de forma colaborativa comliq times de engenharia de dados, arquitetura e segurança, contribuindo para a evolução da plataforma de dados e adoção de boas práticas de desenvolvimento e operação em ambientes distribuídos e escaláveis.

Tecnologias e Competências

• Apache Kafka, Flink, Kudu, Iceberg, HBase, Apache Spark, Apache Ranger, Cloudera Data Platform (CDP), Airflow, Helix, Python, Docker/Kubernetes, Grafana
• Automação de pipelines, versionamento, testes e deploy contínuo; observabilidade, segurança e governança de dados.