Engenheiro De Dados - Databricks

Upbi Data & Ai; Recife; Presencial; BRL 180 000 - 300 000; Tempo integral

Resumo da oferta

Upbi Data & Ai está buscando um Engenheiro de Plataforma Databricks para projetar, implementar e gerenciar um ambiente Databricks escalável e seguro. O papel envolve colaborar com um cliente nos EUA, exigindo inglês fluente e forte capacidade de comunicação.

O candidato ideal terá experiência prática em IaC, AWS, governança e otimização de custos. O profissional trabalhará com equipes de dados, ciência de dados e MLOps, gerenciando ambientes de Desenvolvimento, Homologação e Produção e

Qualificações

• Experiência comprovada em plataformas Databricks corporativas.
• Conhecimento profundo de arquitetura e recursos Databricks.
• Experiência prática com cluster/compute management e ciclos Dev/QA/Prod.
• IaC, GitHub e práticas de controle de versão.
• Conhecimento em AWS e governança na nuvem.
• Monadática de monitoramento, segurança e otimização de recursos.

Responsabilidades

• Projetar, implementar e gerenciar a plataforma Databricks para supporting data/ML workflows.
• Garantir escalabilidade, confiabilidade, segurança e custo-eficiência.
• Gerenciar ambientes Dev/Homologação/Produção e seus ciclos de deploy.
• Utilizar Delta Live Tables, Workflows e Unity Catalog.
• Aplicar governança, controle de acesso e gestão de dados.
• Monitorar recursos de computação e desempenho para otimização.
• Aplicar IaC para provisionamento de nuvem e Databricks.
• Usar GitHub para controle de versão e CI/CD.
• Colaborar com engenheiros de dados, cientistas e equipes de MLOps.
• Resolver problemas de plataforma, infraestrutura e segurança.

Conhecimentos

Databricks expertise

CI/CD practices

IaC

Cloud platforms (AWS)

Security & governance

GitHub version control

Cost optimization

Problema-solving

Cross-functional collaboration

Inglês fluente

Ferramentas

AWS

Delta Live Tables

Unity Catalog

CI/CD pipelines

GitHub

Descrição da oferta de emprego

Estamos em busca de um Engenheiro de Plataforma Databricks altamente qualificado para projetar, implementar e gerenciar um ambiente Databricks escalável, seguro e confiável, dando suporte a fluxos de trabalho de engenharia de dados, ciência de dados e MLOps.

Essa posição trabalhará em estreita colaboração com um cliente baseado nos EUA, portanto são exigidas fortes habilidades de comunicação e inglês fluente. O candidato ideal combina expertise técnica profunda em Databricks com experiência prática em plataformas de nuvem, Infraestrutura como Código, CI/CD, segurança e otimização de custos.

Principais Responsabilidades

• Projetar, implementar e gerenciar a plataforma Databricks para dar suporte a fluxos de trabalho de engenharia de dados, ciência de dados e MLOps.
• Garantir que o ambiente Databricks seja escalável, confiável, seguro e otimizado em desempenho e custo.
• Arquitetar e gerenciar ambientes Databricks em Desenvolvimento, Homologação (Staging) e Produção.
• Utilizar recursos nativos do Databricks, incluindo Delta Live Tables (DLT), Workflows, Unity Catalog e outras funcionalidades da plataforma.
• Aplicar boas práticas de arquitetura, governança, segurança, controle de acesso e gestão de dados no Databricks.
• Monitorar recursos de computação e desempenho da plataforma Databricks, identificando oportunidades de otimização e redução de custos.
• Implementar e manter práticas de Infraestrutura como Código (IaC) para provisionamento e gestão de recursos de nuvem e Databricks.
• Utilizar o GitHub para controle de versão e apoiar os fluxos de desenvolvimento e implantação.
• Colaborar com engenheiros de dados, cientistas de dados, equipes de MLOps e demais stakeholders técnicos para viabilizar desenvolvimento e implantação eficientes.
• Solucionar problemas de plataforma, infraestrutura, computação, segurança e desempenho.
• Avaliar recursos e limitações do Databricks e recomendar soluções adequadas às necessidades de negócio e técnicas.
• Estabelecer e manter boas práticas de confiabilidade, segurança, escalabilidade e eficiência operacional da plataforma.

Qualificações Necessárias

• Experiência comprovada em projetar, implementar e gerenciar plataformas Databricks em ambientes corporativos.
• Conhecimento profundo da arquitetura, recursos, capacidades e limitações do Databricks.
• Forte experiência prática com funcionalidades nativas do Databricks, especialmente:
• Gestão de computação e clusters do Databricks
• Experiência gerenciando ambientes de Desenvolvimento, Homologação e Produção e seus respectivos ciclos de implantação.
• Forte experiência com Infraestrutura como Código (IaC).
• Experiência com GitHub e boas práticas de controle de versão.
• Sólido conhecimento de infraestrutura em nuvem, com experiência em AWS fortemente desejável.
• Experiência com monitoramento, segurança, governança e gestão de acesso em ambientes Databricks e nuvem.
• Experiência em otimização de recursos de computação, tanto em custo quanto em desempenho.
• Fortes habilidades de solução de problemas.
• Capacidade de trabalhar efetivamente com equipes multifuncionais e distribuídas.
• Inglês fluente, escrito e falado, com capacidade de se comunicar diretamente com cliente baseado nos EUA e participar ativamente de reuniões e discussões técnicas.

Qualificações Desejáveis

• Experiência com MLOps e cargas de trabalho de machine learning no Databricks.
• Experiência com pipelines de CI/CD e implatações automatizadas no Databricks.
• Experiência com serviços AWS e sua integração com o Databricks.
• Conhecimento de boas práticas de segurança e governança em nuvem.
• Experiência implementando práticas de gestão de custos e FinOps para Databricks.
• Certificações Databricks são um diferencial.

Modelo de Atuação

• Cliente: empresa baseada nos EUA
• Ambiente de trabalho: equipe internacional/distribuída
• Idioma: inglês fluente obrigatório

Engenheiro de Dados - Databricks • Recife, PE, BR