Databricks Lakehouse Engenheiro(a) de Dados | Sênior (Remote)

Compass UOL; Brasil; Teletrabalho; BRL 300 000 - 420 000; Tempo integral

Resumo da oferta

A Compass UOL busca Engenheiro(a) de Dados sênior(a) para liderar a construção de uma plataforma Lakehouse na Databricks, com governança central via Unity Catalog e compartilhamento entre domínios por Delta Sharing.

Você atuará no desenho de padrões de ingestão (streaming/batch) com a arquitetura medalhão e no framework de contratos de dados, qualidade de dados e observabilidade com DataDog.

Qualificações

• Experiência com Databricks e administração de Workspaces, clusters, jobs e workflows.
• Governaça de dados usando Unity Catalog e Delta Lake em ambientes reais.
• Conhecimento em ingestão de dados (streaming e batch) com padrões de arquitetura medalhão.
• Domínio de Data Mesh, contratos de dados e qualidade de dados.
• Experiência com IaC (Terraform) e automação de infra.

Responsabilidades

• Contribuir para a construção da plataforma Lakehouse corporativa em Databricks.
• Governança de dados via Unity Catalog e compartilhamento entre domínios via Delta Sharing.
• Desenvolver e padronizar ingestão de dados (streaming/batch) e o modelo bronze/silver/gold.
• Desenvolver framework de contratos de dados e framework de Data Quality.
• Configurar CI/CD para Databricks (Asset Bundles, Repos, GitHub Actions, Azure DevOps).
• Integrar Databricks ao produto Data Mesh na AWS e garantir interoperabilidade de catálogos.
• Participar de decisões de arquitetura, documentação técnica e mentoria de equipe.
• Monitorar e observar plataformas com DataDog e métricas de jobs.

Conhecimentos

Python

PySpark

SQL

Data Mesh

Data Governance

Cloud (AWS)

Delta Lake

OpenMetadata

DataDog

CI/CD

Terraform

GitHub Actions

Azure DevOps

Databricks

Delta Sharing

Open Data Contract Standard

Ferramentas

Databricks

Unity Catalog

Delta Lake

Terraform

GitHub Actions

Azure DevOps

OpenMetadata

DataDog

Descrição da oferta de emprego

Databricks Lakehouse Engenheiro(a) de Dados | Sênior (Remote)

Job type: Full-time employee Full-time employee

• Colaborar na construção da plataforma Enterprise Lakehouse em Databricks, estruturada em domínios de dados conforme os princípios de Data Mesh.
• Implementar e administrar o Unity Catalog como camada de governança central e o compartilhamento de dados entre domínios via Delta Sharing.
• Desenvolver padrões de ingestão de dados (streaming e batch) e o template de arquitetura medalhão (bronze/silver/gold) para uso dos domínios.
• Desenvolver o framework de contrato de dados e o framework de Data Quality da plataforma.
• Estruturar esteiras de CI/CD para a plataforma Databricks e automação de infraestrutura.
• Integrar a plataforma Databricks ao produto Data Mesh existente na AWS, garantindo interoperabilidade de catálogos e aderência ao modelo de contrato de dados.
• Contribuir com decisões de arquitetura, documentação técnica e mentoria do time.
• Databricks: experiência sólida com a plataforma — administração de workspaces, clusters, jobs e workflows;
• Unity Catalog: governança de dados, modelo de permissões, lineage, external locations e integração com storage;
• Delta Lake e arquitetura medalhão (bronze, silver, gold) em ambientes produtivos;
• Padrões de ingestão de dados: streaming e batch em escala;
• CI/CD para Databricks (Databricks Asset Bundles, Repos, integração com esteiras como GitHub Actions, Azure DevOps ou similares);
• IaC (Terraform, incluindo o provider do Databricks);
• Python e PySpark avançados para desenvolvimento de pipelines e automações de plataforma;
• SQL avançado;
• Data Contracts e ferramentas de metadados como OpenMetadata;
• DataDog :para controles e monitoramentos de observabilidade;
• Vivência em projetos de Data Mesh (domínios, data products, governança federada) — diferencial importante;
• Experiência no mercado financeiro ou de crédito — diferencial importante;
• Observabilidade e monitoramento de plataformas de dados (system tables, métricas de jobs, qualidade de dados);
• FinOps: monitoramento, alocação e otimização de custos em Databricks (DBUs, dimensionamento de clusters, políticas de compute);
• Delta Sharing em cenários cross-company, cross-cloud ou cross-region;
• Certificações AWS (ex.: Data Engineer Associate, Solutions Architect);
• Certificações Databricks (Data Engineer Associate, Data Engineer Professional, Platform Administrator);
• Especificações abertas de contrato de dados (Open Data Contract Standard, ODPS).