Databricks Lakehouse Analytics Engineer | Sênior (Remote)

AI/R; Brasil; Presencial; BRL 140 000 - 190 000; Tempo integral

Resumo da oferta

AI/R busca profissionais para atuar em Analytics Engineering, com foco em consumo de dados, construção de marts por domínio e validação de paridade entre camadas. O papel envolve colaboração com Product Owner e Arquiteto de Dados, garantindo integração entre dados legados e novas estruturas.

Requer experiência em Databricks, SQL avançado, Python/PySpark e habilidades em BI/ETL. Vaga em ambiente corporativo brasileiro, com atuação direta nas camadas bronze/silver/gold e governança de dados.

Qualificações

• Experiência sólida em camada de consumo — modelagem dimensional/marts, camada semântica e métricas certificadas.
• Databricks: Spark SQL em produção, Delta Lake e arquitetura medalhão (bronze, silver, gold).
• Reapontamento de BI (Power BI, Tableau) com troca de fontes e validação de paridade de números.
• Integrações de dados: APIs, cargas entre sistemas e planos de rollback.
• SQL avançado para reconciliação e comparação de bases em escala.

Responsabilidades

• Mapear e inventariar os consumidores do DW legado, classificando por domínio e criticidade.
• Modelar os marts de consumo por domínio na camada gold, derivados da silver, seguindo o template medalhão e os contratos de dados.
• Executar o reapontamento de dashboards/relatórios/aplicações para a camada gold, wave a wave, coordenando com o cutover por domínio.
• Validar a paridade de consumo entre legado e gold e apoiar a desativação de pontos legados.
• Contribuir com a priorização das waves junto ao Product Owner e ao Arquiteto de Dados.

Conhecimentos

SQL avançado

Python e PySpark

Modelagem dimensional

Data Quality/Contracts

Observabilidade de dados

Formação académica

Bacharelado em Ciência de Dados / Engenharia / Estatística

Ferramentas

Databricks

Unity Catalog

DataStage

Power BI

Tableau

Descrição da oferta de emprego

Descrição da vaga

Responsabilidades e atribuições

• Mapear e inventariar os consumidores do DW legado (BI, relatórios, aplicações e integrações sistêmicas), classificando por domínio e criticidade;
• Modelar os marts de consumo por domínio na camada gold, derivados da silver, seguindo o template medalhão e os contratos de dados;
• Executar o reapontamento de dashboards, relatórios, aplicações e integrações sistêmicas para a gold, wave a wave, coordenado com o cutover por domínio;
• Validar a paridade de consumo entre legado e gold e suportar a desativação dos pontos de consumo legados;
• Contribuir com a priorização das waves junto ao Product Owner e ao Arquiteto de Dados.

Descrição da vaga

Responsabilidades e atribuições

• Mapear e inventariar os consumidores do DW legado (BI, relatórios, aplicações e integrações sistêmicas), classificando por domínio e criticidade;
• Modelar os marts de consumo por domínio na camada gold, derivados da silver, seguindo o template medalhão e os contratos de dados;
• Executar o reapontamento de dashboards, relatórios, aplicações e integrações sistêmicas para a gold, wave a wave, coordenado com o cutover por domínio;
• Validar a paridade de consumo entre legado e gold e suportar a desativação dos pontos de consumo legados;
• Contribuir com a priorização das waves junto ao Product Owner e ao Arquiteto de Dados.

Requisitos e qualificações

• Analytics Engineering: experiência sólida em camada de consumo — modelagem dimensional/marts, camada semântica e métricas certificadas;
• Databricks: Spark SQL em produção, Delta Lake e arquitetura medalhão (bronze, silver, gold);
• Reapontamento de BI (Power BI, Tableau ou similar): troca de fontes, refatoração de datasets e validação de paridade de números;
• Integrações sistêmicas de dados: APIs, extrações batch e cargas entre sistemas, incluindo contratos de interface e planos de rollback;
• SQL avançado: técnicas de reconciliação e comparação de bases em escala;
• Unity Catalog (lineage, descoberta e documentação de métricas e modelos de consumo);
• Modelagem dimensional (Kimball/star schema) e boas práticas de marts por domínio;
• Python e PySpark para automação de validações de paridade e rotinas de reapontamento;
• Data Contracts e Data Quality (expectations, DQ gates) aplicados à camada de consumo;

Requisitos Desejáveis

• Experiência em migração de DW com coexistência legado/novo, cutover por ondas e reconciliação de bases em volume — diferencial importante;
• Vivência em projetos de Data Mesh (domínios, dado como produto, governança federada) — diferencial importante;
• Conhecimento de DataStage ou outras ferramentas ETL legadas (facilita a leitura do consumo atual);
• Experiência com camadas semânticas e catálogos de métricas (metric stores, semantic layers);
• Observabilidade de dados e monitoramento de qualidade na camada de consumo;
• Experiência no mercado financeiro ou de crédito;
• Certificações Databricks (Data Analyst Associate, Data Engineer Associate);
• Especificações abertas de contrato de dados (Open Data Contract Standard, ODPS);

Become a Compasser, be part of AI/R.

Compass UOL is a global firm and part of the AI Revolution Company, together transforming organizations using Artificial Intelligence, Generative AI, and other of today’s most advanced technologies.

We equip our team with proprietary and external AI-driven tools to design and build digital-native platforms, integrating cutting-edge technologies and enabling companies to innovate, transform their businesses, and drive success in their markets.

To achieve this, we attract and develop the best talent, creating opportunities that enhance people’s lives and highlight the positive impact of disruptive technologies.

We empower borderless talent and promote knowledge and opportunities in the latest market trends, driving significant personal and professional growth.

Join us and be part of the AI-driven revolution.