Data Engineer Sênior

SOUTH SYSTEM; Brasil; On-site; BRL 180,000 - 300,000; Full time

Benefits offered by this job

Home office assistencia

Cartão Flash

South Academy cursos

Programa educação financeira

Saúde mental e física com sessões mens

Job summary

A South System busca um Engenheiro(a) de Dados Sênior para atuar na squad FinOps, conectando dados de faturamento e telemetria de nuvem a decisões estratégicas. Você modelará dados no Databricks, criará camadas Bronzes/Silver/Gold e entregará dashboards prontos para consumo nas ferramentas de BI.

O papel envolve estruturar camadas semânticas de custos, governança com Unity Catalog, automação de pipelines DataOps e implementação de práticas CI/CD para garantir qualidade e escalabilidade.

Qualifications

• Domínio de SQL para modelagem e pipeline development com foco em dados financeiros.
• Experiência prática com PySpark, Spark SQL e big data tooling.
• Conhecimentos de orquestração (Airflow) e versionamento (Git).
• Prática de CI/CD aplicada a pipelines de dados e deploy de artifacts.
• Conhecimentos de governança de dados e Unity Catalog.

Responsibilities

• Desenhar, implementar e manter modelos de dados analíticos (Bronze/Silver/Gold) no Lakehouse para suportar decisões financeiras.
• Estruturar a camada semântica de custos e governança de dados, com normalização de tags e hierarquias de contas.
• Mineração de billing e telemetria para detecção de padrões e oportunidades de otimização.
• Construir dashboards e visualizações integradas a BI e Databricks SQL.
• Desenvolver pipelines de dados automáticos, escaláveis e idempotentes com CI/CD.

Skills

SQL Avançado

Python (PySpark)

Airflow

Git

CI/CD

Tools

Databricks

Apache Spark / PySpark

Delta Lake

dbt

Unity Catalog

Power BI

Job description

Data Engineer - Sênior

Buscamos um(a) Engenheiro(a) de Dados para atuar diretamente na squad de FinOps, conectando dados de faturamento e telemetria de nuvem à tomada de decisão estratégica. O foco principal é estruturar, transformar e modelar dados no Databricks, automatizando pipelines resilientes e entregando camadas de dados analíticas prontas para consumo (Dashboards, Databricks SQL e ferramentas de BI).

O profissional atuará com postura proativa na modelagem dimensional de custos, apoiando a evolução contínua da governança de nuvem, visibilidade de gastos (Showback/Chargeback) e unit economics.

O seu impacto nessa posição:

Modelagem e Arquitetura de Dados no Lakehouse:

Desenhar, implementar e manter modelos de dados analíticos (camadas Bronze, Silver e Gold) no Databricks voltados à eficiência financeira de infraestrutura.

Estruturar a camada semântica de custos:

normalização de tags, hierarquias de contas/projetos, alocação de custos compartilhados e amortização de compromissos como RIs/Savings Plans.

Mineração, Curadoria e Visualização:

Minerar dados brutos de billing (AWS CUR, Azure Cost Management, GCP Billing) e telemetria de uso para identificar padrões, anomalias e oportunidades de otimização.

Construir e aprimorar visualizações, queries otimizadas e dashboards nativos no Databricks SQL / Lakeview ou integrados a ferramentas corporativas de BI.

Automação de Pipelines (DataOps):

Desenvolver pipelines automatizados, escaláveis e idempotentes para ingestão diária/horária de billing e métricas de infraestrutura.

Implementar orquestração via Databricks Workflows, Delta Live Tables (DLT) ou ferramentas externas (Airflow, dbt).

Garantir práticas de CI/CD para pipelines de dados (ex.: Databricks Asset Bundles, Git integration).

Qualidade, Governança e Observabilidade de Dados:

Assegurar integridade e consistência dos números financeiros por meio de testes automatizados de dados e validação de reconciliação de faturas.

Gerenciar permissões, linhagem de dados e governança através do Unity Catalog.

Atuação Colaborativa com a Squad de FinOps.

Ser proativo na proposição de novas métricas, visões e modelos preditivos/analíticos para apoiar SREs, arquitetos e lideranças financeiras.

Requisitos essenciais:

Modelagem de Dados:

Domínio de modelagem dimensional (Kimball: Fatos e Dimensões) e boas práticas de arquitetura Lakehouse (Medallion Architecture).

Capacidade analítica para estruturar modelos de dados flexíveis frente a mudanças constantes de taxonomia e tagging.

Databricks & Ecossistema Big Data:

Experiência sólida com Apache Spark / PySpark e Delta Lake (otimização de queries, Z-Order, Liquid Clustering, particionamento).

Proficiência em Databricks SQL (criação de visualizações, alertas, endpoints e queries de alta performance).

Automação & Orquestração:

Experiência comprovada em automação de pipelines de dados ponta a ponta (Databricks Workflows, Jobs, Delta Live Tables, Airflow ou dbt).

Práticas de desenvolvimento de software aplicadas a dados: versionamento com Git, testes unitários e CI/CD.

Linguagens:

SQL Avançado (Window functions, CTEs complexas, otimização de planos de execução).

Python (PySpark, manipulação de APIs e bibliotecas de dados).

Conceitos de FinOps & Cloud:

Noções sólidas sobre o ciclo de vida FinOps (Inform, Optimize, Operate).

Compreensão dos mecanismos de tarifação de nuvem (On-Demand, Instâncias Reservadas, Savings Plans, Spot, egress de rede, storage tiers).

Familiaridade com a estrutura de dados de faturamento de ao menos um dos grandes provedores (AWS, Azure ou GCP).

Diferenciais:

Experiência prática com a especificação FOCUS (FinOps Open Cost and Usage Specification) para normalização multi-cloud.

Vivência com Unity Catalog para linhagem e governança de dados.

Benefícios:

• Auxílio para home office
• Cartão Flash
• Acesso a cursos e certificações South Academy
• Programa de educação financeira
• Benefício de saúde mental e física, com 4 consultas psicológicas e 1 nutricional, mensalmente

Sobre a South:

Você fará parte de um time colaborativo, com autonomia e foco em evolução contínua, atuando em projetos com impacto real no negócio, onde transformar ideias em entregas faz parte do dia a dia.

Somos reconhecidos pelo nosso time: já fomos eleitos duas vezes uma das melhores empresas para se trabalhar no Brasil (GPTW).

Temos compromisso com o futuro: somos uma empresa carbono neutro.