Buscamos uma pessoa Python Pleno / Sênior para projetar e evoluir soluções de integração de dados com foco em Python + Apache NiFi, atuando desde o desenho técnico até a entrega e operação (observabilidade, performance e segurança). Você terá papel importante na padronização de engenharia, mentoria e liderança técnica em iniciativas de dados e integrações.
Responsabilidades
- Projetar soluções de integração de dados utilizando Python como linguagem principal (scripts e pequenos serviços).
- Criar e gerenciar fluxos Python ponta a ponta (ingestão, transformação, saída), com boas práticas de versionamento, monitoramento e observabilidade.
- Desenvolver pipelines Python robustos com foco em escalabilidade, performance e confiabilidade (logs, métricas e alertas).
- Realizar consultas e modelagens SQL complexas, incluindo stored procedures, triggers, funções de janela e subqueries avançadas.
- Otimizar scripts e pipelines visando melhor performance, custo e segurança.
- Desenvolver soluções escaláveis em Python para alto volume de dados (integrações com APIs, mensageria, etc.).
- Participar do desenho de arquiteturas de dados distribuídas (Big Data, streaming, data lakes / warehouses).
- Conduzir code reviews, auditorias de qualidade e estabelecer padrões para scripts Python.
- Definir padrões de desenvolvimento Python e governança de dados para a organização (estruturas de projeto, convenções, segurança).
- Conduzir provas de conceito de novas ferramentas e bibliotecas (DataOps, ML, frameworks de streaming, etc.).
- Fornecer suporte, mentoria e orientação técnica a profissionais juniores e plenos.
- Coordenar e acompanhar entregas de times multidisciplinares e participar do planejamento estratégico de arquitetura de dados e integrações.
REQUISITOS MÍNIMOS
Requisitos técnicos (essenciais)
- Python avançado : OOP, módulos / pacotes, testes unitários, logging, profiling e otimização.
- SQL avançado : modelagem, performance, stored procedures, triggers, funções de janela e queries complexas.
- Experiência com integrações REST (e desejável SOAP) e / ou mensageria (ex. : Kafka).
- Boas práticas de engenharia : Git, code review, padrões de projeto, documentação e qualidade.
- Familiaridade com Docker e noções de Kubernetes para execução / orquestração de serviços.
- Vivência com metodologias ágeis (Scrum / Kanban) e práticas de CI / CD.
Diferenciais (desejáveis)
- NiFi avançado : clustering, alta disponibilidade, monitoramento de performance e configuração de segurança; uso de scripts customizados (Groovy / Python).
- Experiência com NoSQL (MongoDB, Cassandra, Redis), incluindo índices e particionamento.
- Conhecimento em data lakes, data warehouses e soluções de streaming (Flink, Spark Streaming).
- Observabilidade : Prometheus, Grafana, ELK.
- Segurança e compliance aplicados a integrações (LGPD / GDPR, boas práticas de proteção de dados).
Competências comportamentais
- Liderança técnica em pequenos projetos e mentoria para formar novos talentos.
- Comunicação clara com stakeholders, justificando escolhas técnicas e trade-offs.
- Autonomia para gestão de tempo, prioridades e resolução de problemas críticos.
- Visão sistêmica para avaliar impacto de mudanças em múltiplos fluxos e sistemas.
- Mentalidade ágil e foco em entrega contínua de valor.
- Colaboração e empatia para atuar com DevOps, QA, Produto e Negócios.
- Capacidade de negociação e gestão de conflitos (prazo, escopo, recursos).
- Visão estratégica para propor tecnologias e evoluções alinhadas ao negócio.