Data Engineer | Kafka & Snowflake

Bixtecnologia; Brasil; Remote; BRL 220,000 - 300,000; Full time

Benefits offered by this job

Trabalho remoto

Terapia online

Plano de carreira

Mentoria

Job summary

A BIX Tecnologia - Consultoria de Dados procura profissional para compor equipe de dados especializados em streaming e pipelines near-real-time.

Você irá projetar, construir e manter pipelines de ingestão em tempo real, desde fontes transacionais até o Snowflake, com Kafka e CDC, assegurando baixa latência e alta confiabilidade. Requer inglês avançado e atuação internacional, em ambiente 100% remoto.

Qualifications

• Experiência sólida com provisionamento e uso de AWS (DMS, S3, Glue, Athena, Kinesis, IAM, VPC).
• Desenho de pipelines near-real-time com semântica de processamento.
• Experiência com CDC via redo logs, logging suplementar e replicação incremental.
• Experiência prática com Apache Kafka em produção.
• Arquiteturas orientadas a eventos com trade-offs de latência/throughput/consistência.
• Ingestão e modelagem no Snowflake.
• SQL avançado para modelagem relacional e dimensional.
• Inglês avançado/fluente para atuação internacional.

Responsibilities

• Projetar, construir e manter pipelines de ingestão em tempo real do SAP e eventos até o Snowflake.
• Modelar tópicos Kafka, particionamento e retenção; gerenciar schema evolution e entregas at-least-once/ exactly-once.
• Capturar mudanças de fontes (CDC) e transformar em fluxos de eventos utilizáveis.
• Operacionalizar carga contínua no Snowflake com ingestão near-real-time.
• Implementar tratamento de falhas, dead-letter queues e validação de dados em trânsito.
• Instrumentar métricas de lag, throughput e freshness; definir alertas e SLOs.

Skills

AWS Services

Streaming/NRT architecture

CDC (Change Data Capture)

Apache Kafka

Event-driven architecture

Snowflake

SQL avançado

Inglês avançado

Orquestração (Airflow/Data Factory)

Snowpipe / Snowpipe Streaming

Kafka Connect / Debezium

Tools

Snowflake

Apache Kafka

Airflow

Snowpipe

Kafka Connect

Debezium

Job description

Somos uma empresa apaixonada por pessoas, pautamos sempre pela qualidade das nossas relações e pelo cuidado com cada membro do time.

Estamos buscando uma pessoa para fazer parte deste time que vem crescendo a cada dia, tanto em número quanto em desenvolvimento.

Encorajamos e acreditamos no nosso time e prezamos por fazer junto. Se você é essa pessoa, que tem um senso de equipe e que procura por desenvolvimento constante, a BIX é para você!

O que esperamos que você tenha:

• AWS Services: Experiência sólida no provisionamento e uso de serviços AWS como DMS, S3, Glue, Athena, Kinesis, IAM (roles/policies), VPC/networking, etc;
• Arquitetura de streaming / NRT: Experiência no desenho de pipelines near-real-time, semantics de processamento (at-least-once / exactly-once) e trade-offs entre latência e consistência;
• CDC (Change Data Capture): Experiência com captura contínua de mudanças via redo logs, supplemental logging e replicação incremental;
• Apache Kafka: experiência sólida e comprovada em produção;
• Streaming / event-driven: Domínio de arquiteturas orientadas a eventos e dos trade-offs entre latência, throughput e consistência;
• Snowflake: experiência prática de ingestão e modelagem no Snowflake;
• SQL avançado e modelagem de dados: relacional e dimensional;
• Inglês avançado/fluente para atuação internacional.
• Orquestração: Airflow, Data Factory ou equivalente;
• Snowpipe / Snowpipe Streaming: Experiência com ingestão contínua nativa do Snowflake será um diferencial forte;
• Kafka Connect / Debezium: Conhecimento em conectores de CDC integrados ao Kafka;
• Certificação em Snowflake.

O que você fará em seu dia a dia:

• Pipelines de streaming: projetar, construir e manter pipelines de ingestão em tempo real ponta a ponta, de fontes transacionais e eventos até o Snowflake;
• Kafka: modelar tópicos, particionamento e retenção; implementar producers/consumers, gerenciar schema evolution e garantir semânticas de entrega adequadas (at-least-once / exactly-once conforme o caso);
• CDC e integração de fontes: capturar mudanças de sistemas de origem (incluindo SAP e bancos transacionais) e transformá-las em fluxos de eventos consumíveis;
• Ingestão no Snowflake: operacionalizar a carga contínua no Snowflake com padrões de ingestão near-real-time, minimizando latência e custo;
• Confiabilidade e qualidade: implementar tratamento de falhas, dead-letter queues, idempotência, backpressure e validação de dados em trânsito;
• Observabilidade: instrumentar métricas de lag, throughput e freshness; definir alertas e SLOs para os fluxos de dados;
• Colaboração global: trabalhar com o time central de plataforma e com as unidades de negócio (spokes), documentando contratos de dados e padrões de ingestão;
• Documentar arquitetura, decisões técnicas e realizar code review com o time;
• Realizar reuniões com clientes, por meio de videoconferência, desenvolvendo os questionamentos estratégicos voltados ao seu negócio/processo, a cada início de projeto ou sprint;
• Gerenciar atividades do projeto, utilizando métodos ágeis, de modo a garantir as entregas, a cada novo projeto;

O que a BIX oferece para você:

• Trabalho 100% remoto;
• Plataforma de terapia e nutricionistas online;
• Plano de carreira acelerado;
• Contato direto com líderes de grandes empresas;
• Ambiente diferenciado (Hora BIX, integrações e Happy Hours, Programa de Mentoria, Reuniões 1on1);
• Aulas on-line de inglês (cambly);
• Folga no aniversário.

Somos uma empresa apaixonada por pessoas, pautamos sempre pela qualidade das nossas relações e pelo cuidado com cada membro do time. Estamos buscando uma pessoa para fazer parte deste time que vem crescendo a cada dia, tanto em número quanto em desenvolvimento.

Encorajamos e acreditamos no nosso time e prezamos por fazer junto. Se você é essa pessoa, que tem um senso de equipe e que procura por desenvolvimento constante, a BIX é para você!