Senior Databricks Platform Engineer (AWS)

UPBI Data & AI; Brasile; In loco; BRL 250.000 - 400.000; Tempo pieno

Descrizione del lavoro

A UPBI Data & AI procura um Engenheiro de Plataforma sênior para gerenciar uma plataforma de dados Databricks na AWS, com foco em segurança, governança e custo. O papel envolve estruturar infra para IA Generativa, automatizar pipelines e atuar com FinOps e gestão de fornecedores.

O candidato terá atuação em ambientes multi-região, com conhecimento em RBAC, Unity Catalog, DMS e Sigma, além de práticas CI/CD com GitHub Actions. Desejável certificação Databricks ou AWS.

Competenze

• Experiência em Engenharia ou Arquitetura de Dados com Databricks na AWS em produção.
• Conhecimento de compliance de dados (GDPR, CCPA) e controles de proteção de dados como criptografia por coluna e views dinâmicas.
• Domínio de Fivetran, AWS DMS e Sigma Computing para administração e segurança.
• Conhecimento de RBAC, Unity Catalog e IAM Identity Center.
• Experiência com redes AWS (VPC, Transit Gateway, endpoints) e práticas de seguridad.
• Experiência em CI/CD com GitHub Actions e Databricks Asset Bundles.
• Experiência com gestão de fornecedores de software e alinhamento de roadmap.
• Conhecimento de IA Generativa e técnicas de ML aplicadas à engenharia de dados.
• Conhecimento de metodologias ágeis (Jira, Confluence).
• Certificação Databricks Certified Data Engineer Professional (fortemente desejável) ou AWS Solutions Architect Professional

Mansioni

• Arquitetar e manter ambiente Databricks multi-região na AWS com segurança por padrão.
• Estruturar infraestrutura para IA Generativa (MLflow, Vector Search, clusters com GPU).
• Gerenciar recursos da plataforma como código (Terraform, Databricks Asset Bundles).
• Conduzir revisões mensais de custos (FinOps) e otimizar investimentos.
• Governança de dados e contratos com fornecedores (Databricks, AWS, Fivetran, Sigma).
• Aplicar políticas de privacidade (GDPR, CCPA, SOC2) e Right to Be Forgotten.
• Definir políticas de acesso (RBAC) no Unity Catalog e IAM.
• Conduzir pipelines de replicação com Fivetran e AWS DMS com integridade de dados.
• Colaborar com analytics, ciência de dados e negócio para soluções escaláveis.
• Propor novas tecnologias para escalabilidade e automação.

Conoscenze

Databricks AWS

Governança de dados

FinOps

CI/CD

RBAC Unity Catalog

Segurança de dados

AWS Networking

Terraform

GitHub Actions

Strumenti

Databricks Asset Bundles

Fivetran

AWS DMS

Sigma Computing

Terraform

Terraform

Descrizione del lavoro

Sobre a vaga

A UPBI está em busca de um(a) Engenheiro(a) de Plataforma sênior para atuar em um projeto para cliente internacional. Administrar e evoluir uma plataforma de dados Databricks na AWS, cuidando de infraestrutura, segurança, governança, automação e custos, além de preparar o ambiente para projetos de IA Generativa.

Responsabilidades:

• Arquitetar e manter um ambiente Databricks multi-região na AWS, com segurança por padrão: VPCs gerenciadas, PrivateLink, Transit Gateway e IAM com roles entre contas
• Estruturar a infraestrutura para IA Generativa: MLflow para governança de modelos, Databricks Vector Search para aplicações RAG e clusters com GPU para inferência
• Gerenciar todos os recursos da plataforma (workspaces, clusters, jobs) como código, com Terraform e Databricks Asset Bundles, sem alterações manuais em produção
• Revisar escolhas técnicas antigas com olhar crítico, questionando o status quo quando necessário
• Conduzir revisões mensais de custos (FinOps) com AWS Cost Explorer e system tables do Databricks, separando investimentos necessários de projetos que não trazem mais retorno
• Ser responsável pelo relacionamento estratégico com fornecedores (Databricks, AWS, Fivetran, Sigma), cobrando resultados e resolvendo bloqueios de suporte
• Promover a cultura de Data Mesh, tratando dados como produtos, com contratos, SLOs e padrões de publicação
• Implementar controles de privacidade para atender GDPR, CCPA e SOC2, incluindo fluxos automatizados de exclusão de dados ("Right to Be Forgotten") e mascaramento de dados pessoais no Lakehouse
• Administrar o ambiente Sigma Computing: estrutura de workspaces, versionamento e promoção de ativos de Dev para Produção
• Definir e aplicar políticas de controle de acesso (RBAC) no Unity Catalog e no AWS IAM, seguindo o princípio de menor privilégio
• Gerenciar pipelines de replicação de alto volume com Fivetran e AWS DMS, garantindo fidelidade dos dados, tratamento de mudanças de schema e custos otimizados
• Revisar código de pipelines críticos, aplicando boas práticas como Z-ordering, Liquid Clustering e Schema Evolution
• Atuar junto aos times de analytics, ciência de dados e negócio para desenhar soluções escaláveis
• Trazer novas tecnologias e boas práticas para melhorar escalabilidade, automação e produtividade

Requisitos:

• Experiência em Engenharia ou Arquitetura de Dados, atuando diariamente com Databricks na AWS em produção
• Conhecimento aprofundado de normas de compliance de dados (GDPR, CCPA, HIPAA) e experiência implementando controles de proteção de dados pessoais, como views dinâmicas e criptografia por coluna
• Domínio avançado de Fivetran (configuração de conectores e transformações), AWS DMS e Sigma Computing (administração, versionamento e segurança)
• Conhecimento aprofundado de controle de acesso (RBAC) em sistemas distribuídos, especialmente Unity Catalog e AWS IAM Identity Center
• Experiência sólida em rede AWS (Transit Gateway, VPC Endpoints, subnets privadas) e segurança (SCPs, criptografia, IAM Identity Center)
• Experiência comprovada em produção com CI/CD usando GitHub Actions e Databricks Asset Bundles
• Experiência na gestão de fornecedores de software corporativo: uso de contratos, escalonamentos técnicos e alinhamento de roadmap
• Histórico de decisões técnicas de alto impacto, incluindo situações em que recomendou interromper um projeto para economizar recursos
• Conhecimento de IA Generativa e técnicas modernas de Machine Learning (LLMs, transformers, deep learning) e de como se integram à engenharia de dados
• Conhecimento de metodologias ágeis e ferramentas como Jira e Confluence
• Certificação Databricks Certified Data Engineer Professional (fortemente desejável) ou AWS Solutions Architect Professional