DevOps / DataOps Engineer – Databricks Platform | Senior (Remote)

AI/R; Brasil; Presencial; BRL 180 000 - 300 000; Tempo integral

Resumo da oferta

A Compass UOL é uma empresa global no grupo AI/R. Procuramos um profissional com forte atuação em DevOps/DataOps para evoluir pipelines de CI/CD na plataforma Databricks, promovendo automação e qualidade.

Você padronizará empacotamento, IaC com Terraform, gestão de versões e automação de quality gates, visando entregas contínuas seguras. Experiência com Databricks Asset Bundles, Databricks CLI, Python, PyTest, Terraform, AWS/Azure e SQL é essencial.

Qualificações

• Experiência em DevOps/DataOps com pipelines de CI/CD ponta a ponta.
• Domínio de CI/CD como código com Bitbucket Pipelines, GitHub Actions ou GitLab CI.
• Domínio de Git: branching, PRs, code review e releases.
• Conhecimento de Databricks Asset Bundles, Databricks CLI e deploy de jobs/workflows.
• Python avançado: modularização, bibliotecas e packaging.
• Testes automatizados com PyTest.
• Terraform com Databricks provider.
• Cloud knowledge AWS ou Azure.
• SQL para validação e troubleshooting de pipelines.

Responsabilidades

• Projetar e evoluir a esteira de CI/CD da plataforma Databricks.
• Padronizar empacotamento e deploy de workloads para diferentes domínios e squads de dados.
• Implementar IaC com Terraform e Databricks provider.
• Definir versionamento, branching e release management com ferramentas modernas.
• Construir pipelines como código com Bitbucket Pipelines, GitHub Actions ou GitLab CI.
• Estabelecer quality gates automatizados para merge e deploy.
• Automatizar governança, RBAC, segredos e auditoria.
• Mentoria técnica e disseminação de boas práticas de engenharia.
• Monitorar pipelines, workloads e infraestrutura com observabilidade (Datadog).

Conhecimentos

DevOps / DataOps

CI/CD as code

Git workflows

Databricks Asset Bundles

Python

PyTest

Terraform

Cloud AWS/Azure

SQL

Ferramentas

Databricks CLI

Terraform

Databricks Asset Bundles

GitHub Actions

Descrição da oferta de emprego

• Projetar, implementar e evoluir a esteira de CI/CD da plataforma Databricks, garantindo a promoção automatizada de artefatos entre os ambientes de desenvolvimento, homologação e produção.
• Padronizar o empacotamento e o deploy de workloads utilizando Databricks Asset Bundles, criando templates reutilizáveis para os diferentes domínios e squads de dados.
• Implementar e manter a infraestrutura como código (IaC) utilizando Terraform e o provider Databricks, contemplando workspaces, políticas de compute, service principals, secret scopes e objetos do Unity Catalog.
• Definir e evoluir estratégias de versionamento, branching, code review e release management, utilizando ferramentas como Bitbucket, GitHub ou GitLab.
• Construir e manter pipelines como código utilizando Bitbucket Pipelines, GitHub Actions ou GitLab CI, incluindo estratégias de deploy, versionamento, rollback e promoção entre ambientes.
• Estabelecer quality gates automatizados nas pipelines, incluindo testes unitários e de integração, validação de contratos de dados, análise estática, lint e métricas mínimas de cobertura como pré-requisitos para merge e deploy.
• Automatizar controles e práticas de governança e segurança, incluindo permissões via Unity Catalog, RBAC, políticas de cluster e custos, segregação de ambientes, gestão de segredos e trilhas de auditoria.
• Disseminar boas práticas de engenharia de software junto às squads de plataforma, migração e analytics engineering, promovendo modularização, reutilização de código, testabilidade, documentação e qualidade.
• Contribuir com decisões de arquitetura, definição de padrões técnicos, elaboração de documentação e mentoria técnica para outros profissionais do time.
• Apoiar o monitoramento e troubleshooting de pipelines, workloads e infraestrutura, utilizando ferramentas de observabilidade como Datadog ou similares.
  

Descrição da vaga

• Projetar, implementar e evoluir a esteira de CI/CD da plataforma Databricks, garantindo a promoção automatizada de artefatos entre os ambientes de desenvolvimento, homologação e produção.
• Padronizar o empacotamento e o deploy de workloads utilizando Databricks Asset Bundles, criando templates reutilizáveis para os diferentes domínios e squads de dados.
• Implementar e manter a infraestrutura como código (IaC) utilizando Terraform e o provider Databricks, contemplando workspaces, políticas de compute, service principals, secret scopes e objetos do Unity Catalog.
• Definir e evoluir estratégias de versionamento, branching, code review e release management, utilizando ferramentas como Bitbucket, GitHub ou GitLab.
• Construir e manter pipelines como código utilizando Bitbucket Pipelines, GitHub Actions ou GitLab CI, incluindo estratégias de deploy, versionamento, rollback e promoção entre ambientes.
• Estabelecer quality gates automatizados nas pipelines, incluindo testes unitários e de integração, validação de contratos de dados, análise estática, lint e métricas mínimas de cobertura como pré-requisitos para merge e deploy.
• Automatizar controles e práticas de governança e segurança, incluindo permissões via Unity Catalog, RBAC, políticas de cluster e custos, segregação de ambientes, gestão de segredos e trilhas de auditoria.
• Disseminar boas práticas de engenharia de software junto às squads de plataforma, migração e analytics engineering, promovendo modularização, reutilização de código, testabilidade, documentação e qualidade.
• Contribuir com decisões de arquitetura, definição de padrões técnicos, elaboração de documentação e mentoria técnica para outros profissionais do time.
• Apoiar o monitoramento e troubleshooting de pipelines, workloads e infraestrutura, utilizando ferramentas de observabilidade como Datadog ou similares.
  

Responsabilidades e atribuições

• Projetar, implementar e evoluir a esteira de CI/CD da plataforma Databricks, garantindo a promoção automatizada de artefatos entre os ambientes de desenvolvimento, homologação e produção.
• Padronizar o empacotamento e o deploy de workloads utilizando Databricks Asset Bundles, criando templates reutilizáveis para os diferentes domínios e squads de dados.
• Implementar e manter a infraestrutura como código (IaC) utilizando Terraform e o provider Databricks, contemplando workspaces, políticas de compute, service principals, secret scopes e objetos do Unity Catalog.
• Definir e evoluir estratégias de versionamento, branching, code review e release management, utilizando ferramentas como Bitbucket, GitHub ou GitLab.
• Construir e manter pipelines como código utilizando Bitbucket Pipelines, GitHub Actions ou GitLab CI, incluindo estratégias de deploy, versionamento, rollback e promoção entre ambientes.
• Estabelecer quality gates automatizados nas pipelines, incluindo testes unitários e de integração, validação de contratos de dados, análise estática, lint e métricas mínimas de cobertura como pré-requisitos para merge e deploy.
• Automatizar controles e práticas de governança e segurança, incluindo permissões via Unity Catalog, RBAC, políticas de cluster e custos, segregação de ambientes, gestão de segredos e trilhas de auditoria.
• Disseminar boas práticas de engenharia de software junto às squads de plataforma, migração e analytics engineering, promovendo modularização, reutilização de código, testabilidade, documentação e qualidade.
• Contribuir com decisões de arquitetura, definição de padrões técnicos, elaboração de documentação e mentoria técnica para outros profissionais do time.
• Apoiar o monitoramento e troubleshooting de pipelines, workloads e infraestrutura, utilizando ferramentas de observabilidade como Datadog ou similares.
  

Requisitos e qualificações

• Experiência em DevOps, DataOps ou áreas correlatas, com atuação na construção e evolução de pipelines de CI/CD ponta a ponta.
• Experiência com CI/CD como código, utilizando pelo menos uma das seguintes plataformas: Bitbucket Pipelines, GitHub Actions ou GitLab CI.
• Domínio de Git, incluindo estratégias de branching como Trunk-Based Development, GitFlow ou similares, além de Pull Requests, Code Review, proteção de branches e versionamento de releases.
• Experiência com Databricks Asset Bundles, Databricks CLI e processos de empacotamento e deploy de jobs, workflows e configurações.
• Conhecimento avançado em Python, incluindo estruturação e modularização de projetos, criação de bibliotecas, empacotamento com wheel e publicação de artefatos.
• Experiência com testes automatizados, incluindo testes unitários e de integração utilizando Pytest ou ferramentas similares, além de mocks, fixtures e métricas de cobertura.
• Experiência com Terraform, especialmente na automação e gerenciamento de recursos utilizando o provider Databricks.
• Vivência em ambientes Cloud, preferencialmente AWS ou Azure, com conhecimentos relacionados a identidade, armazenamento, redes e serviços gerenciados.
• Conhecimento sólido em SQL para validação, análise e troubleshooting de pipelines de dados.
  

Diferenciais

• Experiência em projetos de migração de Data Warehouse legado para arquiteturas Lakehouse.
• Conhecimento na administração e sustentação da plataforma Databricks, incluindo workspaces, clusters, jobs, workflows e políticas de compute.
• Experiência com Unity Catalog, governança de dados, RBAC, gestão de segredos, segregação de ambientes e controles automatizados de auditoria.
• Vivência com observabilidade e monitoramento de pipelines e infraestrutura utilizando Datadog ou ferramentas equivalentes.
• Experiência com plataformas de dados, Data Engineering, Data Warehouse e processos de modernização de ambientes corporativos.
  

Become a Compasser, be part of AI/R.

Compass UOL is a global firm and part of the AI Revolution Company, together transforming organizations using Artificial Intelligence, Generative AI, and other of today’s most advanced technologies.

We equip our team with proprietary and external AI-driven tools to design and build digital-native platforms, integrating cutting-edge technologies and enabling companies to innovate, transform their businesses, and drive success in their markets.

To achieve this, we attract and develop the best talent, creating opportunities that enhance people’s lives and highlight the positive impact of disruptive technologies.

We empower borderless talent and promote knowledge and opportunities in the latest market trends, driving significant personal and professional growth.

Join us and be part of the AI-driven revolution.