Arquiteto De Dados

Mercado de Ti; Brasília; Remote; BRL 190,000 - 520,000; Full time

Job summary

Odyssey procura um Líder de Plataforma de Dados para conduzir o ecossistema de analytics na nuvem. O(a) profissional será responsável por deploys com Terraform, governança de modelos com MLflow e governança de dados em Databricks.

Além das atribuições técnicas, o papel exige conduzir revisões de FinOps, gerenciar fornecedores e promover a cultura de Data Mesh com contratos, SLOs e privacidade de dados conforme GDPR/CCPA/SOC2.

Qualifications

• 8+ anos em Engenharia/Arquitetura de Dados, com produção em Databricks on AWS.
• Conhecimento de GDPR, CCPA, HIPAA e proteção de PII em ambientes distribuídos.
• Especialista em ELT e BI com Fivetran, AWS DMS e Sigma Computing.
• Domínio de RBAC (Unity Catalog) e AWS IAM Identity Center.
• Redes AWS (Transit Gateway, VPC Endpoints) e segurança (SCPs, criptografia).
• Experiência em CI/CD com GitHub Actions e Databricks Asset Bundles (DAB).
• Gestão de fornecedores de software corporativo e alinhamento de roadmap.
• Tomada de decisões técnicas de alto impacto para evitar custos irracionais.
• Conceitos de IA Generativa e ML integrados a dados.
• Metodologias ágeis (Scrum) e uso de Jira/Confluence.
• Excelente comunicação em inglês.

Responsibilities

• Arquitetar e manter ambiente Databricks on AWS multi-região com redes seguras e IAM cross-account.
• Projetar IA Generativa, configurar MLflow para governança de modelos e Databricks Vector Search.
• Garantir reprodutibilidade gerenciando workspaces, clusters e jobs via Terraform e DAB.
• Auditar opções técnicas legadas e evitar viés de confirmação.
• Conduzir FinOps mensais com AWS Cost Explorer e Databricks system tables.
• Gerenciar relacionamentos com Databricks, AWS, Fivetran, Sigma e resolver bloqueios de suporte.
• Impulsionar Data Mesh tratando dados como Produtos de Dados com contratos e SLOs.
• Projetar políticas de privacidade para GDPR/CCPA/SOC2 com RTBF e mascaramento de PII.
• Gerenciar Sigma Computing e estratégias de versionamento e promoção de ativos.
• Colaborar com analytics, ciência de dados e negócios para casos de uso avançados.
• Trazer inovações técnicas para escalabilidade e automação.

Skills

Arquitetura de Dados

Engenharia de Dados

Governança de Dados

Inglês fluente

Education

Databricks Certified Data Engineer Professional

AWS Solutions Architect Professional

Tools

Databricks

Terraform

AWS

Sigma Computing

Job description

# Arquiteto de dados UPBI Data & AI Arquiteto(a) de Sistemas em Nuvem e Engenheiro(a) de Plataforma de Dados Remoto PJ Resumo / Função principal Buscamos um(a) Líder de Plataforma de Dados / Arquiteto(a) de Sistemas em Nuvem para assumir o ecossistema corporativo de analytics da Odyssey. Você será responsável por tudo, desde deploys com Terraform até nossa infraestrutura emergente de IA Generativa.

Além da execução técnica, você atuará como guardião estratégico contra a inércia de engenharia, promovendo uma disciplina de adaptabilidade racional para garantir que os investimentos sejam guiados pelo valor futuro objetivo, e não por gastos já realizados.

Principais atribuições e responsabilidades

• Arquitetar e manter um ambiente Databricks on AWS multi-região, garantindo redes \\"seguras por padrão\\" por meio de VPCs gerenciadas pelo cliente, Private Link, Transit Gateway e roles IAM cross-account rigorosas.


• Projetar a infraestrutura de IA Generativa, incluindo a configuração do MLflow para governança de modelos, Databricks Vector Search para aplicações de RAG e clusters otimizados com GPU para inferência.


• Garantir a reprodutibilidade gerenciando todos os recursos da plataforma (workspaces, clusters, jobs) via Terraform e Databricks Asset Bundles (DAB), assegurando que não existam alterações manuais em Produção.


• Auditar sistematicamente escolhas técnicas legadas com uma perspectiva de \\"página em branco\\". Espera-se que você busque evidências que contradigam o status quo, evitando o viés de confirmação e a escalada de comprometimento com estratégias ultrapassadas.


• Conduzir revisões mensais de Fin Ops usando AWS Cost Explorer e as system tables do Databricks, diferenciando investimentos necessários de \\"custos afundados\\" (sunk costs), para que não se comprometam recursos de forma irracional em projetos fracassados apenas porque já estão em andamento.


• Gerenciar relacionamentos estratégicos com fornecedores (Databricks, AWS, Fivetran, Sigma), responsabilizando os parceiros pelos resultados e resolvendo bloqueios de suporte de forma assertiva, em vez de aceitar passivamente atrasos de roadmap.


• Impulsionar uma cultura de Data Mesh, tratando os ativos de dados como \\"Produtos de Dados\\". Definir contratos claros, SLOs (Objetivos de Nível de Serviço) e padrões de publicação para desacoplar produtores de consumidores.


• Projetar e operacionalizar frameworks de privacidade de dados para atender aos requisitos de GDPR, CCPA e SOC2, incluindo fluxos automatizados para solicitações de \\"Direito ao Esquecimento\\" (RTBF) e mascaramento de PII dentro da arquitetura Lakehouse.


• Administrar o ambiente Sigma Computing, supervisionando a arquitetura de workspaces, estratégias de versionamento (tags) e o fluxo de promoção dos ativos de analytics de Desenvolvimento para Produção.


• Projetar e aplicar políticas abrangentes de Controle de Acesso Baseado em Funções (RBAC) no Unity Catalog (Catálogos, Schemas, Tabelas) e no AWS IAM, garantindo acesso com \\"menor privilégio\\" sem comprometer a agilidade operacional.


• Gerenciar pipelines de replicação de dados de alto volume com Fivetran e AWS DMS, garantindo a fidelidade dos dados, o tratamento eficiente de mudanças de schema (schema drift) e frequências de sincronização otimizadas em custo entre fontes heterogêneas.


• Realizar code reviews rigorosos em pipelines de alto impacto, aplicando boas práticas como Z-ordering, Liquid Clustering e Schema Evolution, com autoridade para rejeitar código abaixo do padrão.


• Atuar em parceria com as equipes de analytics, ciência de dados e negócios para projetar soluções de dados escaláveis, alinhadas às prioridades estratégicas e que viabilizem casos de uso avançados.


• Impulsionar a inovação introduzindo tecnologias, frameworks e boas práticas emergentes nos fluxos de engenharia, melhorando escalabilidade, automação e produtividade.

Qualificações e principais competências técnicas

• 8+ anos em Engenharia/Arquitetura de Dados, com 3+ anos de domínio diário em produção com Databricks on AWS.


• Profundo conhecimento de padrões globais de compliance de dados (GDPR, CCPA, HIPAA) e experiência na implementação de controles técnicos para proteção de PII (ex.: views dinâmicas, criptografia em nível de coluna) em ambientes de dados distribuídos.


• Proficiência de nível especialista em ferramentas modernas de ELT e BI, especificamente Fivetran (configuração de conectores, transformação), AWS DMS e Sigma Computing (administração, controle de versão, segurança).


• Profundo entendimento de modelos de RBAC em sistemas de dados distribuídos, especificamente permissões (grants) do Unity Catalog e AWS IAM Identity Center.


• Profunda expertise em redes AWS (Transit Gateway, VPC Endpoints, Subnets Privadas) e segurança (SCPs, criptografia, IAM Identity Center).


• Experiência comprovada em produção com deploy de pipelines de CI/CD via Git Hub Actions e Databricks Asset Bundles (DAB).


• Experiência comprovada na gestão de fornecedores de software corporativo, incluindo utilização de contratos, escalonamento técnico e alinhamento de roadmap.


• Histórico de tomada de decisões técnicas de alto impacto, incluindo exemplos de quando recomendou interromper um projeto para economizar recursos (gestão do viés de custo afundado).


• Certificação Databricks Certified Data Engineer Professional (fortemente desejável) ou AWS Solutions Architect Professional.


• Familiaridade com conceitos de IA Generativa e técnicas modernas de ML (LLMs, transformers, métodos de ensemble, frameworks de deep learning) e como se integram aos fluxos de engenharia de dados.


• Conhecimento prático de metodologias ágeis/Scrum e uso de ferramentas de gestão ágil (ex.: Jira, Confluence).


• Excelente comunicação em inglês.

O modelo informado é PJ. Benefícios e jornada estão no anúncio. Perfil alinhado a Dados / BI. Stack, senioridade e responsabilidades estão no anúncio.