Databricks Platform Engineer

UPBI Data & AI; Brasil; In loco; BRL 260.000 - 480.000; Tempo pieno

Descrizione del lavoro

A UPBI Data & AI busca um(a) Databricks Platform Engineer para projetar, implementar e gerenciar um ambiente Databricks escalável, seguro e confiável, atendendo fluxos de engenharia de dados, ciência de dados e MLOps.

A posição envolve contato direto com um cliente baseado nos EUA, exigindo inglês fluente e experiência prática em nuvem, IaC, CI/CD, segurança e governança.

Competenze

• Experiência prática comprovada em projetar, implementar e gerenciar plataformas Databricks em ambientes corporativos.
• Profundo entendimento da arquitetura, funcionalidades e limitações do Databricks.
• Sólida experiência com recursos nativos do Databricks (compute/clusters, DLT, Unity Catalog) e com IaC.

Mansioni

• Projetar, implementar e gerenciar a plataforma Databricks para dados, ciência de dados e MLOps.
• Garantir ambiente escalável, confiável, seguro e otimizado em performance e custo.
• Gerenciar ambientes Development, Staging e Production e seus ciclos de deploy.
• Utilizar recursos nativos do Databricks, como Delta Live Tables, Workflows e Unity Catalog.
• Aplicar práticas de governança, segurança e gestão de dados no Databricks.
• Monitorar recursos de compute e a performance da plataforma para otimizações de custo.
• Implementar IaC para provisionamento de nuvem e Databricks.
• Utilizar GitHub para versionamento e suporte a desenvolvimento/deploy.
• Colaborar com engenheiros de dados, cientistas de dados e times de MLOps.
• Avaliar funcionalidades do Databricks e sugerir soluções técnicas.
• Estabelecer confiabilidade, segurança e eficiência operacional da plataforma.

Conoscenze

Inglês fluente

Comunicação com cliente

Troubleshooting

Strumenti

Databricks

GitHub

AWS

Descrizione del lavoro

UPBI está em busca de um(a) Databricks Platform Engineer altamente qualificado(a) para projetar, implementar e gerenciar um ambiente Databricks escalável, seguro e confiável, que suporte fluxos de engenharia de dados, ciência de dados e MLOps.

A posição atuará em contato direto com um cliente baseado nos Estados Unidos, por isso são indispensáveis boa comunicação e inglês fluente. O perfil ideal combina profundo conhecimento técnico em Databricks com experiência prática em plataformas de nuvem, Infrastructure as Code, CI/CD, segurança e otimização de custos.

Principais Responsabilidades:

• Projetar, implementar e gerenciar a plataforma Databricks para suportar fluxos de engenharia de dados, ciência de dados e MLOps


• Garantir que o ambiente Databricks seja escalável, confiável, seguro e otimizado em performance e custo


• Arquitetar e gerenciar os ambientes Databricks de Desenvolvimento, Staging e Produção


• Utilizar recursos nativos do Databricks, como Delta Live Tables (DLT), Workflows, Unity Catalog, entre outros


• Aplicar boas práticas de arquitetura, governança, segurança, controle de acesso e gestão de dados no Databricks


• Monitorar recursos de compute e a performance da plataforma, identificando oportunidades de otimização e redução de custos


• Implementar e manter práticas de Infrastructure as Code (IaC) para provisionamento e gestão de recursos de nuvem e Databricks


• Utilizar GitHub para versionamento e apoiar os fluxos de desenvolvimento e deploy


• Atuar em conjunto com engenheiros de dados, cientistas de dados, times de MLOps e demais stakeholders técnicos


• Avaliar funcionalidades e limitações do Databricks e recomendar soluções de acordo com os requisitos técnicos e de negócio


• Estabelecer e manter boas práticas de confiabilidade, segurança, escalabilidade e eficiência operacional da plataforma

Requisitos Obrigatórios:

• Experiência prática comprovada em projetar, implementar e gerenciar plataformas Databricks em ambientes corporativos


• Profundo entendimento da arquitetura, funcionalidades, capacidades e limitações do Databricks


• Sólida experiência prática com recursos nativos do Databricks, especialmente:


• – Gestão de compute e clusters


• Experiência na gestão de ambientes de Desenvolvimento, Staging e Produção e seus respectivos ciclos de deploy


• Sólida experiência com Infrastructure as Code (IaC)


• Experiência com GitHub e boas práticas de versionamento


• Bom entendimento de infraestrutura em nuvem, com forte preferência por AWS


• Experiência com monitoramento, segurança, governança e gestão de acessos no Databricks e em ambientes de nuvem


• Experiência na otimização de recursos de compute sob as perspectivas de custo e performance


• Forte capacidade de troubleshooting e resolução de problemas


• Facilidade para trabalhar com times multidisciplinares e distribuídos


• Inglês fluente, escrito e falado, com capacidade de se comunicar diretamente com o cliente americano e participar ativamente de reuniões e discussões técnicas

Diferenciais:

• Experiência apoiando cargas de trabalho de MLOps e machine learning no Databricks


• Experiência com pipelines de CI/CD e deploys automatizados no Databricks


• Experiência com serviços AWS e sua integração com o Databricks


• Conhecimento de boas práticas de segurança e governança em nuvem


• Experiência na implementação de práticas de gestão de custos e FinOps no Databricks


• Certificações Databricks

Informações da Vaga:

• Cliente: empresa baseada nos EUA


• Ambiente de trabalho: time internacional e distribuído


• Idioma: inglês fluente obrigatório