DevOps / DataOps Engineer – Databricks Platform | Senior (Remote)

Compass UOL; Brasil; On-site; BRL 180,000 - 260,000; Full time

Job summary

A Compass UOL busca um(a) engenheiro(a) de DevOps/DataOps para evoluir a esteira de CI/CD da plataforma Databricks. Serão promovidos artefatos entre ambientes de desenvolvimento, homologação e produção, com padronização de empacotamento e deploy via Databricks Asset Bundles.

O profissional implementará IaC com Terraform, gerenciará pipelines como código e estabelecerá quality gates com testes, validação de dados e lint.

Qualifications

• Experiência em DevOps/DataOps com pipelines CI/CD ponta a ponta.
• Experiência com CI/CD como código usando Bitbucket Pipelines, GitHub Actions ou GitLab CI.
• Domínio de Git e estratégias de branching e PRs.
• Conhecimento avançado em Databricks Asset Bundles, Databricks CLI e empacotamento/deploy de jobs.
• Conhecimento sólido em Python, modularização de projetos, bibliotecas e packaging.
• Experiência com testes automatizados (Pytest) e métricas de cobertura.
• Experiência com Terraform para automação com Databricks.
• Vivência em Cloud (AWS/Azure) com identidade, armazenamento e redes.
• Conhecimento de SQL para validação e troubleshooting de pipelines de dados.

Responsibilities

• Projetar, implementar e evoluir a esteira de CI/CD da Databricks, promovendo artefatos entre ambientes.
• Padronizar empacotamento e deploy com Databricks Asset Bundles, criando templates reutilizáveis.
• Manter IaC com Terraform para Databricks (workspaces, policies, Unity Catalog).
• Definir versionamento, branching, code review e release management (Bitbucket/GitHub/GitLab).
• Construir pipelines como código com Bitbucket Pipelines, GitHub Actions ou GitLab CI.
• Estabelecer quality gates com testes unitários/integrados, validação de dados e lint.
• Automatizar governança/segurança (Unity Catalog, RBAC, segredos, auditoria).
• Promover boas práticas de engenharia, modularização e documentação com as squads.
• Contribuir com decisões de arquitetura e mentoria técnica.
• Monitorar pipelines e infraestrutura com observabilidade (Datadog ou similar).

Skills

DevOps

DataOps

CI/CD como código

Git workflows

Databricks Asset Bundles

Databricks CLI

Python avançado

Pytest

Terraform

AWS/Azure

SQL

Tools

Databricks Asset Bundles

Databricks CLI

Terraform

Bitbucket Pipelines

GitHub Actions

GitLab CI

Unity Catalog

Job description

• Projetar, implementar e evoluir a esteira de CI/CD da plataforma Databricks, garantindo a promoção automatizada de artefatos entre os ambientes de desenvolvimento, homologação e produção.
• Padronizar o empacotamento e o deploy de workloads utilizando Databricks Asset Bundles, criando templates reutilizáveis para os diferentes domínios e squads de dados.
• Implementar e manter a infraestrutura como código (IaC) utilizando Terraform e o provider Databricks, contemplando workspaces, políticas de compute, service principals, secret scopes e objetos do Unity Catalog.
• Definir e evoluir estratégias de versionamento, branching, code review e release management, utilizando ferramentas como Bitbucket, GitHub ou GitLab.
• Construir e manter pipelines como código utilizando Bitbucket Pipelines, GitHub Actions ou GitLab CI, incluindo estratégias de deploy, versionamento, rollback e promoção entre ambientes.
• Estabelecer quality gates automatizados nas pipelines, incluindo testes unitários e de integração, validação de contratos de dados, análise estática, lint e métricas mínimas de cobertura como pré-requisitos para merge e deploy.
• Automatizar controles e práticas de governança e segurança, incluindo permissões via Unity Catalog, RBAC, políticas de cluster e custos, segregação de ambientes, gestão de segredos e trilhas de auditoria.
• Disseminar boas práticas de engenharia de software junto às squads de plataforma, migração e analytics engineering, promovendo modularização, reutilização de código, testabilidade, documentação e qualidade.
• Contribuir com decisões de arquitetura, definição de padrões técnicos, elaboração de documentação e mentoria técnica para outros profissionais do time.
• Apoiar o monitoramento e troubleshooting de pipelines, workloads e infraestrutura, utilizando ferramentas de observabilidade como Datadog ou similares.

Responsabilidades e atribuições

• Projetar, implementar e evoluir a esteira de CI/CD da plataforma Databricks, garantindo a promoção automatizada de artefatos entre os ambientes de desenvolvimento, homologação e produção.
• Padronizar o empacotamento e o deploy de workloads utilizando Databricks Asset Bundles, criando templates reutilizáveis para os diferentes domínios e squads de dados.
• Implementar e manter a infraestrutura como código (IaC) utilizando Terraform e o provider Databricks, contemplando workspaces, políticas de compute, service principals, secret scopes e objetos do Unity Catalog.
• Definir e evoluir estratégias de versionamento, branching, code review e release management, utilizando ferramentas como Bitbucket, GitHub ou GitLab.
• Construir e manter pipelines como código utilizando Bitbucket Pipelines, GitHub Actions ou GitLab CI, incluindo estratégias de deploy, versionamento, rollback e promoção entre ambientes.
• Estabelecer quality gates automatizados nas pipelines, incluindo testes unitários e de integração, validação de contratos de dados, análise estática, lint e métricas mínimas de cobertura como pré-requisitos para merge e deploy.
• Automatizar controles e práticas de governança e segurança, incluindo permissões via Unity Catalog, RBAC, políticas de cluster e custos, segregação de ambientes, gestão de segredos e trilhas de auditoria.
• Disseminar boas práticas de engenharia de software junto às squads de plataforma, migração e analytics engineering, promovendo modularização, reutilização de código, testabilidade, documentação e qualidade.
• Contribuir com decisões de arquitetura, definição de padrões técnicos, elaboração de documentação e mentoria técnica para outros profissionais do time.
• Apoiar o monitoramento e troubleshooting de pipelines, workloads e infraestrutura, utilizando ferramentas de observabilidade como Datadog ou similares.

Requisitos e qualificações

• Experiência em DevOps, DataOps ou áreas correlatas, com atuação na construção e evolução de pipelines de CI/CD ponta a ponta.
• Experiência com CI/CD como código, utilizando pelo menos uma das seguintes plataformas: Bitbucket Pipelines, GitHub Actions ou GitLab CI.
• Domínio de Git, incluindo estratégias de branching como Trunk-Based Development, GitFlow ou similares, além de Pull Requests, Code Review, proteção de branches e versionamento de releases.
• Experiência com Databricks Asset Bundles, Databricks CLI e processos de empacotamento e deploy de jobs, workflows e configurações.
• Conhecimento avançado em Python, incluindo estruturação e modularização de projetos, criação de bibliotecas, empacotamento com wheel e publicação de artefatos.
• Experiência com testes automatizados, incluindo testes unitários e de integração utilizando Pytest ou ferramentas similares, além de mocks, fixtures e métricas de cobertura.
• Experiência com Terraform, especialmente na automação e gerenciamento de recursos utilizando o provider Databricks.
• Vivência em ambientes Cloud, preferencialmente AWS ou Azure, com conhecimentos relacionados a identidade, armazenamento, redes e serviços gerenciados.
• Conhecimento sólido em SQL para validação, análise e troubleshooting de pipelines de dados.

Diferenciais

• Experiência em projetos de migração de Data Warehouse legado para arquiteturas Lakehouse.
• Conhecimento na administração e sustentação da plataforma Databricks, incluindo workspaces, clusters, jobs, workflows e políticas de compute.
• Experiência com Unity Catalog, governança de dados, RBAC, gestão de segredos, segregação de ambientes e controles automatizados de auditoria.
• Vivência com observabilidade e monitoramento de pipelines e infraestrutura utilizando Datadog ou ferramentas equivalentes.
• Experiência com plataformas de dados, Data Engineering, Data Warehouse e processos de modernização de ambientes corporativos.