Engenheiro(a) de Dados Sênior | FinOps | Databricks | Cloud Cost

Rox Partner; São Paulo; Hybrid; BRL 300,000 - 420,000; Full time

Benefits offered by this job

Plano de saúde Amil 400/QC

Vale-refeição R$37/dia útil

Seguro de vida 100% pela empresa

Convênio odontológico MetLife (opções)

Gympass (opcional)

Meu Pet Club (opcional)

Auxílio-Educação após 12 meses

Job summary

Rox Partner procura uma Engenheira de Dados Sênior para atuar na squad FinOps, desenvolvendo soluções de engenharia de dados voltadas à gestão, análise e otimização de custos de infraestrutura em nuvem.

Você construirá pipelines de dados de billing e telemetria, transformando grandes volumes em dados confiáveis, rastreáveis e estruturados para análises financeiras, operacionais e estratégicas, com foco em qualidade, governança e desempenho na plataforma Databricks.

Qualifications

• Experiência sólida em Engenharia de Dados em nível sênior.
• Domínio de Python, PySpark, Apache Spark e SQL avançado.
• Experiência com Databricks e arquitetura Lakehouse.
• Conhecimento prático da arquitetura Medallion: Bronze, Silver e Gold.
• Experiência com Delta Lake e otimização de tabelas e consultas.
• Construção e manutenção de pipelines de dados de grande volume.
• Modelagem dimensional, especialmente Kimball.
• Capacidade de estruturar modelos analíticos para relatórios.

Responsibilities

• Desenvolver e manter pipelines de dados escaláveis para ingestão, transformação e disponibilização de dados de billing e telemetria.
• Construir e evoluir arquiteturas Lakehouse com Bronze, Silver e Gold.
• Modelar dados dimensionais para análises de custos, consumo e orçamento.
• Integrar dados de billing de AWS, Azure e GCP e tratar custos de cloud.
• Definir regras de normalização de tags, alocação de custos e rateios.
• Implementar lógicas de amortização de RI e Savings Plans.
• Construir transformações com Python, PySpark, Spark SQL e Delta Lake.
• Desenvolver consultas e dashboards em Databricks SQL e Lakeview.
• Implementar qualidade, reconciliação e validação de dados.
• Governança, rastreabilidade e lineage com Unity Catalog.
• Participar de CI/CD, versionamento e orquestração de pipelines.
• Identificar gargalos e melhorar desempenho e custo em alto volume.
• Colaborar com times de FinOps para transformar necessidades em soluções de dados.

Skills

Python

PySpark

Apache Spark

SQL Avançado

Databricks

Lakehouse

Delta Lake

CI/CD

Airflow

dbt

Git

Tools

Databricks

Delta Lake

Airflow

dbt

Git

Job description

Buscamos uma pessoa Engenheira de Dados Sênior para atuar em uma Squad FinOps, desenvolvendo soluções de engenharia de dados voltadas à gestão, análise e otimização de custos de infraestrutura em nuvem.

A pessoa terá papel importante na construção e evolução de pipelines de dados de billing e telemetria, transformando grandes volumes de informações em dados confiáveis, rastreáveis e estruturados para análises financeiras, operacionais e estratégicas.

O desafio envolve trabalhar com dados de diferentes provedores de nuvem, estruturar modelos de custos, estabelecer critérios de alocação e rateio e garantir qualidade, governança e desempenho em uma plataforma de dados baseada em Databricks.

Responsabilidades e Atribuições

• Desenvolver e manter pipelines de dados escaláveis para ingestão, transformação, consolidação e disponibilização de dados de billing e telemetria.
• Construir e evoluir arquiteturas Lakehouse utilizando as camadas Bronze, Silver e Gold.
• Modelar dados dimensionais para análises de custos, consumo, orçamento, tendências e otimização de recursos em nuvem.
• Integrar e tratar dados provenientes de serviços de billing, como AWS Cost and Usage Report (CUR), Azure Cost Management e Google Cloud Billing.
• Desenvolver regras de normalização de tags, hierarquias de contas e projetos, alocação de custos compartilhados e rateios.
• Implementar lógicas de amortização e distribuição de custos relacionados a Reserved Instances e Savings Plans.
• Construir e otimizar transformações utilizando Python, PySpark, Spark SQL e Delta Lake.
• Desenvolver consultas, tabelas e estruturas analíticas para consumo por Databricks SQL e dashboards em Lakeview.
• Implementar mecanismos de qualidade, reconciliação, testes e validação dos dados.
• Garantir governança, rastreabilidade e linhagem dos dados, considerando recursos como Unity Catalog.
• Participar da evolução dos processos de orquestração, versionamento, testes e CI/CD dos pipelines.
• Identificar gargalos de processamento e implementar melhorias de desempenho e custo em ambientes de alto volume.
• Trabalhar em conjunto com áreas técnicas, financeiras e de FinOps para transformar necessidades de negócio em soluções de dados confiáveis.

Requisitos

• Experiência sólida em Engenharia de Dados em nível sênior.
• Domínio de Python, PySpark, Apache Spark e SQL avançado.
• Experiência com Databricks e arquitetura Lakehouse.
• Conhecimento prático da arquitetura Medallion: Bronze, Silver e Gold.
• Experiência com Delta Lake e otimização de tabelas e consultas, incluindo particionamento, Z-Order e/ou Liquid Clustering.
• Experiência com construção e manutenção de pipelines de dados de grande volume.
• Experiência com modelagem dimensional, especialmente conceitos de Kimball.
• Capacidade de estruturar modelos analíticos consistentes para relatórios e tomada de decisão.
• Conhecimento de estratégias de transformação, consolidação e disponibilização de dados.
• Experiência com dados de billing de pelo menos um dos provedores: AWS, Azure ou GCP.
• Conhecimento de estruturas de custos e consumo de serviços de nuvem.
• Familiaridade com conceitos de precificação, incluindo On-Demand, Reserved Instances, Savings Plans, Spot, transferência de dados (egress) e camadas de armazenamento.
• Capacidade de implementar regras de tratamento, reconciliação, classificação e alocação de custos.
• Experiência com ferramentas de orquestração de pipelines, como Databricks Workflows, Lakeflow Pipelines (anteriormente Delta Live Tables/DLT), Airflow ou dbt, ou tecnologias equivalentes.
• Experiência com Git, versionamento e práticas de CI/CD aplicadas à engenharia de dados.
• Conhecimento de testes automatizados, validação de dados e monitoramento de pipelines.
• Familiaridade com práticas de implantação e gerenciamento de artefatos Databricks, como Databricks Asset Bundles, ou soluções equivalentes.

Diferenciais

• Conhecimento ou experiência com a especificação FOCUS (FinOps Open Cost and Usage Specification).
• Experiência com Unity Catalog, governança, controle de acesso e linhagem de dados.
• Experiência com dados de billing de múltiplos provedores de nuvem.
• Vivência em ambientes bancários, financeiros ou de alta criticidade operacional.
• Experiência com grandes volumes de dados e requisitos rigorosos de qualidade e rastreabilidade.

Benefícios

• Atuação remota - Segunda a sexta, (09h às 18h);
• Plano de Saúde Amil 400/QC: mensalidade 100% custeada pela empresa para o titular e 20% para os dependentes.
• Vale-Refeição: R$ 37,00 por dia útil, com desconto de 20%.
• Seguro de Vida: mensalidade 100% custeada pela empresa, com cobertura equivalente a 30 vezes o salário em caso de sinistro.
• Convênio Odontológico MetLife: opcional, com diferentes opções de planos a partir de R$ 11,00 mensais, descontados do colaborador.
• Gympass: benefício opcional, com diferentes opções de planos e participação financeira do colaborador.
• Meu Pet Club: benefício opcional, com diferentes opções de planos e participação financeira do colaborador.
• Auxílio-Educação: disponível após 12 meses de empresa, mediante avaliação e aprovação por comitê interno.
• Oferecemos o equipamento de trabalho.