Engenheiro(a) de Dados Sênior | FinOps | Databricks | Cloud Cost

Rox Partner; São Paulo; Remote; BRL 200,000 - 260,000; Full time

Benefits offered by this job

Plano de Saúde Amil 400

Vale-Refeição

Seguro de Vida

Convênio Odontológico MetLife

Gympass

Meu Pet Club

Auxílio-Educação

Job summary

A Rox Partner busca uma Engenheira de Dados Sênior para atuar em uma Squad FinOps, desenvolvendo soluções de engenharia de dados voltadas à gestão, análise e otimização de custos de infraestrutura em nuvem.

Você trabalhará na construção e evolução de pipelines de dados de billing e telemetria, transformando grandes volumes de informações em dados confiáveis, rastreáveis e estruturados para análises financeiras, operacionais e estratégicas, com foco em Databricks e Lakehouse.

Qualifications

• Experiência sólida em Engenharia de Dados sênior.
• Domínio de Python, PySpark, Spark SQL e SQL avançado.
• Experiência com Databricks e arquitetura Lakehouse.
• Conhecimento da arquitetura Medallion: Bronze/Silver/Gold.
• Experiência com Delta Lake e particionamento/otimização de tabelas e consultas.
• Construção e manutenção de pipelines de dados de alto volume.
• Modelagem dimensional com foco em Kimball.
• Capacidade de estruturar modelos analíticos para relatórios e decisões.

Responsibilities

• Desenvolver e manter pipelines de dados escaláveis para billing e telemetria.
• Construir e evoluir arquiteturas Lakehouse (Bronze/Silver/Gold).
• Modelar dados para análises de custos, consumo e orçamento.
• Integrar dados de serviços de billing (AWS, Azure, GCP).
• Definir regras de alocação de custos e reconciliação de dados.
• Otimizar transformações com Python, PySpark e Delta Lake.
• Criar consultas e estruturas analíticas para Databricks SQL e Lakeview.
• Garantir qualidade, governança e linhagem de dados (Unity Catalog).
• Evoluir CI/CD/Orquestração de pipelines (Airflow, Databricks Workflows, DLT).
• Identificar gargalos e melhorar desempenho/custo em alto volume.
• Colaborar com FinOps e áreas técnicas para soluções de dados.

Skills

Python

PySpark

Spark SQL

SQL Avançado

Databricks

Lakehouse

Delta Lake

Pipelines de dados

Modelagem dimensional

Kimball

Tools

Databricks Workflows

Airflow

dbt

Lakeflow Pipelines

Job description

Buscamos uma pessoa

Engenheira de Dados Sênior

para atuar em uma Squad FinOps, desenvolvendo soluções de engenharia de dados voltadas à gestão, análise e otimização de custos de infraestrutura em nuvem.

A pessoa terá papel importante na construção e evolução de pipelines de dados de billing e telemetria, transformando grandes volumes de informações em dados confiáveis, rastreáveis e estruturados para análises financeiras, operacionais e estratégicas.

O desafio envolve trabalhar com dados de diferentes provedores de nuvem, estruturar modelos de custos, estabelecer critérios de alocação e rateio e garantir qualidade, governança e desempenho em uma plataforma de dados baseada em Databricks.

Responsabilidades e Atribuições

• Desenvolver e manter pipelines de dados escaláveis para ingestão, transformação, consolidação e disponibilização de dados de billing e telemetria.
• Construir e evoluir arquiteturas Lakehouse utilizando as camadas Bronze, Silver e Gold.
• Modelar dados dimensionais para análises de custos, consumo, orçamento, tendências e otimização de recursos em nuvem.
• Integrar e tratar dados provenientes de serviços de billing, como AWS Cost and Usage Report (CUR), Azure Cost Management e Google Cloud Billing.
• Desenvolver regras de normalização de tags, hierarquias de contas e projetos, alocação de custos compartilhados e rateios.
• Implementar lógicas de amortização e distribuição de custos relacionados a Reserved Instances e Savings Plans.
• Construir e otimizar transformações utilizando Python, PySpark, Spark SQL e Delta Lake.
• Desenvolver consultas, tabelas e estruturas analíticas para consumo por Databricks SQL e dashboards em Lakeview.
• Implementar mecanismos de qualidade, reconciliação, testes e validação dos dados.
• Garantir governança, rastreabilidade e linhagem dos dados, considerando recursos como Unity Catalog.
• Participar da evolução dos processos de orquestração, versionamento, testes e CI/CD dos pipelines.
• Identificar gargalos de processamento e implementar melhorias de desempenho e custo em ambientes de alto volume.
• Trabalhar em conjunto com áreas técnicas, financeiras e de FinOps para transformar necessidades de negócio em soluções de dados confiáveis.

Requisitos

• Experiência sólida em Engenharia de Dados em nível sênior.
• Domínio de Python, PySpark, Apache Spark e SQL avançado.
• Experiência com Databricks e arquitetura Lakehouse.
• Conhecimento prático da arquitetura Medallion: Bronze, Silver e Gold.
• Experiência com Delta Lake e otimização de tabelas e consultas, incluindo particionamento, Z-Order e/ou Liquid Clustering.
• Experiência com construção e manutenção de pipelines de dados de grande volume.
• Experiência com modelagem dimensional, especialmente conceitos de Kimball.
• Capacidade de estruturar modelos analíticos consistentes para relatórios e tomada de decisão.
• Conhecimento de estratégias de transformação, consolidação e disponibilização de dados.
• Experiência com dados de billing de pelo menos um dos provedores: AWS, Azure ou GCP.
• Conhecimento de estruturas de custos e consumo de serviços de nuvem.
• Familiaridade com conceitos de precificação, incluindo On-Demand, Reserved Instances, Savings Plans, Spot, transferência de dados (egress) e camadas de armazenamento.
• Capacidade de implementar regras de tratamento, reconciliação, classificação e alocação de custos.
• Experiência com ferramentas de orquestração de pipelines, como Databricks Workflows, Lakeflow Pipelines (anteriormente Delta Live Tables/DLT), Airflow ou dbt, ou tecnologias equivalentes.
• Experiência com Git, versionamento e práticas de CI/CD aplicadas à engenharia de dados.
• Conhecimento de testes automatizados, validação de dados e monitoramento de pipelines.
• Familiaridade com práticas de implantação e gerenciamento de artefatos Databricks, como Databricks Asset Bundles, ou soluções equivalentes.

Diferenciais

• Conhecimento ou experiência com a especificação FOCUS (FinOps Open Cost and Usage Specification).
• Experiência com Unity Catalog, governança, controle de acesso e linhagem de dados.
• Experiência com dados de billing de múltiplos provedores de nuvem.
• Vivência em ambientes bancários, financeiros ou de alta criticidade operacional.
• Experiência com grandes volumes de dados e requisitos rigorosos de qualidade e rastreabilidade.

Benefícios

• Atuação remota - Segunda a sexta, (09h às 18h);
• Plano de Saúde Amil 400/QC: mensalidade 100% custeada pela empresa para o titular e 20% para os dependentes.
• Vale-Refeição: R$ 37,00 por dia útil, com desconto de 20%.
• Seguro de Vida: mensalidade 100% custeada pela empresa, com cobertura equivalente a 30 vezes o salário em caso de sinistro.
• Convênio Odontológico MetLife: opcional, com diferentes opções de planos a partir de R$ 11,00 mensais, descontados do colaborador.
• Gympass: benefício opcional, com diferentes opções de planos e participação financeira do colaborador.
• Meu Pet Club: benefício opcional, com diferentes opções de planos e participação financeira do colaborador.
• Auxílio-Educação: disponível após 12 meses de empresa, mediante avaliação e aprovação por comitê interno.

Oferecemos o equipamento de trabalho.