Arquiteto de dados

UPBI Data & AI; Brasil; Presencial; BRL 420 000 - 600 000; Tempo integral

Resumo da oferta

A Odyssey procura um(a) Líder de Plataforma de Dados e Arquiteto(a) de Sistemas em Nuvem para gerenciar o ecossistema corporativo de analytics. Você lidará com deploys usando Terraform e governança de IA Generativa, promovendo uma disciplina que alinha investimentos ao valor futuro.

Além da parte técnica, você atuará como guardião da eficiência, supervisionando RBAC, contratos com Databricks/AWS e a integração com Sigma, Fivetran e DMS, visando escalabilidade e conformidade.

Qualificações

• 8+ anos em Engenharia/Arquitetura de Dados com produção em Databricks on AWS.
• Conhecimento de compliance de dados (GDPR, CCPA, HIPAA) e proteção de PII em ambientes distribuídos.
• Experiência com CI/CD (GitHub Actions) e gerenciamento de assets (DAB).
• Capacidade de conduzir FinOps e gerir relações com fornecedores.

Responsabilidades

• Arquitetar e manter um ambiente Databricks on AWS multi-região com redes seguras e IAM cross‑account.
• Projetar a infraestrutura de IA Generativa e governança de modelos com MLflow e Databricks Vector Search.
• Gerenciar recursos da plataforma (workspaces, clusters, jobs) via Terraform e DAB, sem alterações manuais em Produção.
• Conduzir revisões técnicas para evitar vieses e custo afundado; liderar iniciativas de FinOps.
• Auditar escolhas técnicas legadas e promover melhoria contínua com base em evidências.

Conhecimentos

Liderança técnica

Arquitetura de dados

Governança de dados

Tomada de decisão técnica

Formação académica

Databricks Certified Data Engineer Professional

AWS Solutions Architect Professional

Ferramentas

Databricks on AWS

Fivetran

AWS DMS

Sigma Computing

Terraform

Descrição da oferta de emprego

Arquiteto(a) de Sistemas em Nuvem e Engenheiro(a) de Plataforma de Dados

Resumo / Função principal

Buscamos um(a) Líder de Plataforma de Dados / Arquiteto(a) de Sistemas em Nuvem para assumir o ecossistema corporativo de analytics da Odyssey. Você será responsável por tudo, desde deploys com Terraform até nossa infraestrutura emergente de IA Generativa. Além da execução técnica, você atuará como guardião estratégico contra a inércia de engenharia, promovendo uma disciplina de adaptabilidade racional para garantir que os investimentos sejam guiados pelo valor futuro objetivo, e não por gastos já realizados.

Principais atribuições e responsabilidades

• Arquitetar e manter um ambiente Databricks on AWS multi-região, garantindo redes "seguras por padrão" por meio de VPCs gerenciadas pelo cliente, PrivateLink, Transit Gateway e roles IAM cross-account rigorosas.
• Projetar a infraestrutura de IA Generativa, incluindo a configuração do MLflow para governança de modelos, Databricks Vector Search para aplicações de RAG e clusters otimizados com GPU para inferência.
• Garantir a reprodutibilidade gerenciando todos os recursos da plataforma (workspaces, clusters, jobs) via Terraform e Databricks Asset Bundles (DAB), assegurando que não existam alterações manuais em Produção.
• Auditar sistematicamente escolhas técnicas legadas com uma perspectiva de "página em branco". Espera-se que você busque evidências que contradigam o status quo, evitando o viés de confirmação e a escalada de comprometimento com estratégias ultrapassadas.
• Conduzir revisões mensais de FinOps usando AWS Cost Explorer e as system tables do Databricks, diferenciando investimentos necessários de "custos afundados" (sunk costs), para que não se comprometam recursos de forma irracional em projetos fracassados apenas porque já estão em andamento.
• Gerenciar relacionamentos estratégicos com fornecedores (Databricks, AWS, Fivetran, Sigma), responsabilizando os parceiros pelos resultados e resolvendo bloqueios de suporte de forma assertiva, em vez de aceitar passivamente atrasos de roadmap.
• Impulsionar uma cultura de Data Mesh, tratando os ativos de dados como "Produtos de Dados". Definir contratos claros, SLOs (Objetivos de Nível de Serviço) e padrões de publicação para desacoplar produtores de consumidores.
• Projetar e operacionalizar frameworks de privacidade de dados para atender aos requisitos de GDPR, CCPA e SOC2, incluindo fluxos automatizados para solicitações de "Direito ao Esquecimento" (RTBF) e mascaramento de PII dentro da arquitetura Lakehouse.
• Administrar o ambiente Sigma Computing, supervisionando a arquitetura de workspaces, estratégias de versionamento (tags) e o fluxo de promoção dos ativos de analytics de Desenvolvimento para Produção.
• Projetar e aplicar políticas abrangentes de Controle de Acesso Baseado em Funções (RBAC) no Unity Catalog (Catálogos, Schemas, Tabelas) e no AWS IAM, garantindo acesso com "menor privilégio" sem comprometer a agilidade operacional.
• Gerenciar pipelines de replicação de dados de alto volume com Fivetran e AWS DMS, garantindo a fidelidade dos dados, o tratamento eficiente de mudanças de schema (schema drift) e frequências de sincronização otimizadas em custo entre fontes heterogêneas.
• Realizar code reviews rigorosos em pipelines de alto impacto, aplicando boas práticas como Z-ordering, Liquid Clustering e Schema Evolution, com autoridade para rejeitar código abaixo do padrão.
• Atuar em parceria com as equipes de analytics, ciência de dados e negócios para projetar soluções de dados escaláveis, alinhadas às prioridades estratégicas e que viabilizem casos de uso avançados.
• Impulsionar a inovação introduzindo tecnologias, frameworks e boas práticas emergentes nos fluxos de engenharia, melhorando escalabilidade, automação e produtividade.

Qualificações e principais competências técnicas

• 8+ anos em Engenharia/Arquitetura de Dados, com 3+ anos de domínio diário em produção com Databricks on AWS.
• Profundo conhecimento de padrões globais de compliance de dados (GDPR, CCPA, HIPAA) e experiência na implementação de controles técnicos para proteção de PII (ex.: views dinâmicas, criptografia em nível de coluna) em ambientes de dados distribuídos.
• Proficiência de nível especialista em ferramentas modernas de ELT e BI, especificamente Fivetran (configuração de conectores, transformação), AWS DMS e Sigma Computing (administração, controle de versão, segurança).
• Profundo entendimento de modelos de RBAC em sistemas de dados distribuídos, especificamente permissões (grants) do Unity Catalog e AWS IAM Identity Center.
• Profunda expertise em redes AWS (Transit Gateway, VPC Endpoints, Subnets Privadas) e segurança (SCPs, criptografia, IAM Identity Center).
• Experiência comprovada em produção com deploy de pipelines de CI/CD via GitHub Actions e Databricks Asset Bundles (DAB).
• Experiência comprovada na gestão de fornecedores de software corporativo, incluindo utilização de contratos, escalonamento técnico e alinhamento de roadmap.
• Histórico de tomada de decisões técnicas de alto impacto, incluindo exemplos de quando recomendou interromper um projeto para economizar recursos (gestão do viés de custo afundado).
• Certificação Databricks Certified Data Engineer Professional (fortemente desejável) ou AWS Solutions Architect Professional.
• Familiaridade com conceitos de IA Generativa e técnicas modernas de ML (LLMs, transformers, métodos de ensemble, frameworks de deep learning) e como se integram aos fluxos de engenharia de dados.
• Conhecimento prático de metodologias ágeis/Scrum e uso de ferramentas de gestão ágil (ex.: Jira, Confluence).

"