Data Tech Lead

Netz Asset; São Paulo; Presencial; BRL 80.000 - 120.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia em São Paulo procura um(a) profissional para liderar a estratégia e a execução de sua plataforma de dados. O candidato ideal terá forte experiência em Python, Kafka e Azure, além de habilidades em engenharia de dados e capacidade de liderança. Este papel inclui a construção de pipelines de dados e a mentoria de uma equipe técnica. A posição é presencial na Berrini, em São Paulo e oferece oportunidades de atuar em um ambiente dinâmico e inovador.

Qualificações

• Experiência liderando iniciativas de engenharia de dados.
• Forte conhecimento de Python e Django.
• Domínio de dados relacionais e modelagem avançada.
• Experiência prática com streaming e mensageria como Kafka.
• Experiência em Azure e DevOps com boas práticas.

Responsabilidades

• Liderar a arquitetura e o roadmap da plataforma de dados.
• Construir e manter pipelines com qualidade e observabilidade.
• Integrar e padronizar serviços em Azure.
• Mentorar e desenvolver o time técnico.
• Interface com stakeholders para entender requisitos do negócio.

Conhecimentos

Python forte

Liderança em engenharia de dados

SQL avançado

Kafka

Experiência em Azure

Git e CI/CD

Ferramentas

Docker

Kubernetes

Terraform

Descrição da oferta de emprego

A Netz está estruturando e evoluindo sua plataforma de dados e iniciativas de IA. Procuramos um(a) profissional para liderar tecnicamente a estratégia e a execução, com foco em arquitetura, padrões de engenharia, confiabilidade e segurança, atuando perto do negócio (mercado financeiro).

Responsabilidades

• Liderar a arquitetura e o roadmap da plataforma de dados (ingestão, transformação, consumo e governança).
• Construir e manter pipelines batch e streaming, com qualidade, observabilidade e SLAs.
• Projetar e operar arquiteturas event‑driven: publicação / consumo, contratos de eventos, reprocessamento e idempotência.
• Definir padrões de modelagem para OLTP (transacional) e analítico, garantindo performance e escalabilidade.
• Projetar e operar soluções com bancos relacionais, não relacionais e vetoriais (busca semântica, RAG, embeddings).
• Integrar e padronizar serviços em Azure (principal) e, como diferencial, atuar com AWS quando fizer sentido.
• Evoluir práticas de engenharia (CI / CD, testes, IaC, code review, SRE / observabilidade).
• Mentorar e desenvolver o time, elevando barra técnica e velocidade de entrega.
• Fazer interface com stakeholders para transformar requisitos do negócio em soluções bem definidas e sustentáveis.

Requisitos (essenciais)

• Experiência liderando iniciativas de engenharia de dados / plataforma como referência técnica (tech lead / staff).
• Python forte e experiência com Django (APIs, serviços, integrações, boas práticas).
• Domínio de dados relacionais e transacionais: SQL avançado, modelagem, tuning, índices / particionamento.
• Experiência com dados não relacionais (documento / chave‑valor / colunar) e trade‑offs.
• Experiência prática com bancos vetoriais e search semântica (embeddings, chunking, retrieval, reranking, avaliação).
• Experiência com streaming e mensageria, incluindo:
  • Kafka (tópicos, particionamento, consumer groups, offset, rebalancing)
  • padrões como exactly‑once / at‑least‑once, DLQ, retries, ordering
  • schema evolution e contratos (ex.: Avro / Protobuf + Schema Registry)
• Experiência em Azure (storage / compute / rede / segurança / observabilidade) e boas práticas de cloud.
• Prática com Git, CI / CD e padrões de qualidade de código.

Ferramentas e tecnologias (esperado ou desejável)

• Streaming / Mensageria: Kafka, Confluent, Kafka Connect, Debezium (CDC), Azure Event Hubs / Service Bus.
• Processamento: Spark / Databricks, Flink (desejável), jobs em Python, microserviços.
• Orquestração: Airflow, Prefect, Dagster (ou equivalente).
• Storage / Lake: ADLS / S3 (diferencial), parquet / delta / iceberg (conforme cenário).
• Observabilidade: logs, métricas e traces (OpenTelemetry), dashboards e alertas.
• Infra / DevOps: Docker, Kubernetes (AKS), Terraform / Bicep (ou equivalente), gestão de segredos.
• IA / LLMOps (diferencial): RAG, avaliação, monitoramento, guardrails, feature store.

Diferenciais

• Experiência no mercado financeiro (crédito, risco, fundos, regulatório, LGPD / compliance).
• Atuação em projetos de IA (RAG, LLMOps, avaliação, monitoramento).
• Experiência com AWS (mesmo que menor) para cenários específicos (interoperabilidade / migração / serviços gerenciados).
• Experiência com CDC e integração de sistemas transacionais com analítico (Debezium / Kafka Connect).

Local e formato

Berrini - São Paulo.

• Modalidade : Presencial;