Databricks / Ci-Cd - Senior Devops Engineer (Remote)

Compass Uol; Ituiutaba; Remote; BRL 180,000 - 320,000; Full time

Job summary

Compass Uol procura profissional sênior para liderar a construção e sustentação de esteiras CI/CD para plataformas de dados. A posição envolve automação, governança de código, e integração com Databricks, AWS/Azure e ferramentas de IaC.

O contratado trabalhará com equipes de dados para promover deployments estáveis e auditáveis. A função exige experiência sólida em Python ou Groovy, testes com Pytest e familiaridade com pipelines em Jenkins, além de melhor prática em observabilidade e gestão de

Qualifications

• Experiência em DevOps/DataOps com CI/CD ponta a ponta.
• Experiência em Jenkins, deployment, rollback e versionamento de releases.
• Domínio de Git com estratégias de branching.
• Python ou Groovy, empacotamento de bibliotecas (.wheel) e publicação.
• Teste com Pytest, mocks, fixtures e cobertura de código.
• Experiência com AWS/Azure para plataformas de dados.
• Databricks, DABs, Databricks CLI e Databricks Repos.
• IaC com Terraform e integração com pipelines.
• Observabilidade com DataDog ou ferramentas similares.
• Conhecimento de Bitbucket/GitHub/GitLab CI/CD

Responsibilities

• Projetar pipelines de CI/CD na plataforma Databricks.
• Padronizar empacotamento e deploy com DABs e templates reutilizáveis.
• Definir estratégia de controle de versão e branching.
• Impor gitflows e gates de qualidade automatizados.
• Publicar bibliotecas Python (.wheel) em artifact registry.
• Suportar squads de dados nos deployments dos pipelines.
• Monitorar saúde, estabilidade e observabilidade das esteiras em produção.

Skills

CI/CD pipelines

Git branching

Python

Groovy

Databricks

Cloud AWS/Azure

IaC Terraform

Testing Pytest

Data pipelines

Code review

Tools

Databricks CLI

Databricks Repos

Jenkins

GitHub

GitLab

Bitbucket Pipelines

Terraform

DataDog

Job description

Sólida experiência e maturidade profissional em DevOps ou DataOps, com atuação na concepção, implementação e sustentação de esteiras de CI/CD ponta a ponta;

• Domínio na implementação de esteiras de CI/CD em Jenkins, incluindo definição de estratégias de deploy, rollback e versionamento de releases;
• Domínio avançado de controle de versão com Git, estratégias de branching (trunk-based, GitFlow), pull requests, code review e proteção de branches;
• Conhecimento avançado de engenharia de software com Python ou Groovy, com vivência prática em estruturação/modularização de projetos, empacotamento de bibliotecas (.wheel) e publicação em repositório de artefatos;
• Experiência prática na criação e automação de testes unitários e de integração aplicados a pipelines de dados utilizando Pytest (ou equivalente), com uso de mocks, fixtures e métricas de cobertura de código;
• Vivência sólida com ecossistemas de nuvem AWS ou Azure aplicados ao contexto de plataformas de dados (gestão de identidade/IAM, storage, rede e serviços gerenciados).
• Desejáveis: Vivência prática com Databricks Asset Bundles (DABs), Databricks CLI e Databricks Repos; Experiência em projetos de migração de Data Warehouse legado para arquitetura Lakehouse Databricks; Conhecimento em observabilidade e monitoramento de pipelines e infraestrutura com ferramentas como DataDog ou similares; Conhecimento em Infraestrutura como Código (IaC) com Terraform; Experiência com outras ferramentas de esteira como Bitbucket Pipelines, GitLab CI ou GitHub Actions.
• Projetar, implementar e evoluir a esteira de CI/CD da plataforma Databricks, garantindo a promoção automatizada e auditável de artefatos entre os ambientes de desenvolvimento, homologação e produção;
• Padronizar o empacotamento e o deploy de workloads com Databricks Asset Bundles (DABs), disponibilizando templates reutilizáveis e escaláveis para os domínios de dados;
• Definir a estratégia de controle de versão (Git), políticas de branching (trunk-based, GitFlow ou equivalente), fluxo de revisões de código (code review), versionamento e release da plataforma no repositório corporativo (Bitbucket, GitHub ou GitLab);
• Definir e implementar gitflows e quality gates automatizados na esteira: testes unitários e de integração, validação de contratos de dados, análise estática de código, lint e cobertura mínima como pré-requisito de merge;
• Garantir a estruturação e modularização de projetos, empacotamento de bibliotecas em Python (construção de arquivos .wheel) e publicação em artifact registry;
• Disseminar boas práticas de engenharia de software, automação e governança, atuando como referência técnica e suportando as squads de dados nos deployments dos pipelines;
• Acompanhar a saúde, estabilidade e observabilidade das esteiras e dos artefatos da plataforma Lakehouse em produção.