Engenharia de Dados Sênior | Híbrida 136504

GFT Brasil; São Paulo; Hybride; BRL 200 000 - 320 000; Plein temps

Résumé du poste

A GFT Brasil está buscando um(a) Engenheiro(a) de Dados Sênior para atuar na construção e arquitetura de plataformas de dados. Você será responsável por pipelines, modelagem de data lake, governança de camadas e otimização de performance em um ambiente regulado.

O papel envolve trabalhar com Airflow, dbt, Redshift e um data warehouse em nuvem, assegurando rastreabilidade e reprodutibilidade de dados para painéis executivos e relatórios.

Qualifications

• Sólida experiência em engenharia de dados com atuação em produção.
• SQL avançado com funções de janela e resolução de planos de execução.
• Experiência com Airflow, dbt e data warehouse em nuvem.

Responsabilités

• Projetar, construir e manter pipelines de ingestão e transformação.
• Definir modelo de dados do warehouse e padrões de distribuição/particionamento.

Connaissances

SQL Avançado

Python para dados

Airflow em produção

dbt / transformação

Modelagem dimensional

Governança de dados

Observabilidade de dados

Otimização de performance

Outils

Airflow

dbt

Redshift

Snowflake

BigQuery

Pandas/Polars

Description du poste

Um(a) Engenheiro(a) de Dados Sênior para atuar com desenvolvimento e arquitetura de plataformas de dados. A posição envolve a construção e operação de pipelines, bem como a responsabilidade arquitetural sobre a plataforma, incluindo modelagem de data Lake, padrões de ingestão, governança de camadas e otimização de performance e custo. É essencial a execução técnica, com foco na confiabilidade dos dados que suportam painéis executivos, relatórios e obrigações regulatórias em um ambiente regulado, exigindo rastreabilidade e reprodutibilidade.

Responsabilidades

• Saber trabalhar na estrutura de hub-spoke
• Projetar, construir e manter pipelines de ingestão e transformação orquestrados em Apache Airflow, com padrões consistentes de retry, idempotência, alerta e SLA.
• Desenvolver e evoluir modelos de transformação em dbt sobre o data warehouse, organizando as camadas (staging → intermediate → marts) com testes e documentação.
• Implementar ingestões de fontes heterogêneas: bancos transacionais, APIs de terceiros (custodiantes, distribuidores, provedores de mercado), arquivos regulatórios e planilhas operacionais.
• Instrumentar observabilidade dos dados: freshness, volumetria, quebras de contrato, reconciliação entre origem e destino.
• Definir e defender o modelo de dados do warehouse (dimensional, Data Vault ou híbrido — com justificativa), incluindo chaves, granularidade, historização (SCD) e tratamento de correções retroativas.
• Estabelecer padrões de distribuição, ordenação e particionamento no MPP (DISTKEY, SORTKEY, compressão em Redshift; equivalentes em outras engines) e garantir que sejam seguidos.
• Fazer o desenho de camadas e contratos de dados entre times: o que é fonte da verdade, quem pode escrever onde, o que é exposto para BI e o que é interno.
• Conduzir tuning de performance e custo: análise de planos, filas/WLM, concorrência, manutenção (VACUUM/ANALYZE ou equivalente), rewrite de queries e materializações.
• Avaliar e recomendar tecnologias (formatos de tabela, lakehouse, streaming, catálogo, ferramentas de qualidade) com análise de trade-off explícita, incluindo custo e custo de saída.
• Trabalhar com dados vetorizados
• Implementar controles de qualidade automatizados e reconciliações que sustentem números usados em relatórios a clientes e em respostas a reguladores.
• Garantir linhagem e rastreabilidade ponta a ponta: de um número no painel até a origem e a versão do código que o produziu.
• Aplicar controles de acesso, segregação por sensibilidade e conformidade com LGPD e com as normas aplicáveis ao setor (CVM, BACEN, BSM, políticas internas de compliance).
• Documentar decisões arquiteturais (ADRs) e manter o dicionário de dados vivo.
• Atuar como referência técnica para engenheiros(as) pleno e júnior: code review, pareamento, definição de padrões e mentoria.
• Traduzir demandas de negócio (Wealth Management, Comercial, Risco, Compliance, Operações) em desenho de dados sustentável — inclusive dizendo "não" a atalhos que criam dívida.
• Participar do planejamento técnico e estimar com honestidade escopo, risco e prazo.

Requisitos obrigatórios

• 6+ anos em engenharia de dados, sendo pelo menos 2 anos com responsabilidade arquitetural (você desenhou o modelo, não só implementou o desenho de outra pessoa).
• Histórico comprovado de ter levado ao ar e operado em produção uma plataforma de dados analítica — com incidentes, plantão e consequências reais.
• SQL avançado de verdade: window functions, CTEs recursivas, leitura de plano de execução, diagnóstico de skew e de spill em disco.
• Python para engenharia de dados: código modular, testável e versionado (não apenas notebooks). Familiaridade com pandas/polars, tipagem e testes automatizados.
• Apache Airflow em produção: autoria de DAGs, sensores, backfill, gestão de dependências e de falhas.
• Data warehouse MPP em nuvem — Redshift preferencialmente; Snowflake, BigQuery ou Databricks são aceitos com disposição para se aprofundar em Redshift.
• dbt ou ferramenta equivalente de transformação versionada, com testes.
• Modelagem dimensional (Kimball) com domínio real: fato vs. dimensão, granularidade, SCD tipos 1/2, tabelas ponte, snapshots.
• Git e cultura de code review; CI/CD aplicado a dados.
• Modelagem e diagnóstico de performance: você sabe explicar por que uma query está lenta e provar a correção com números antes e depois.
• Rigor com correção numérica. Em ambiente regulado, "quase certo" é errado.
• Comunicação escrita clara — a arquitetura precisa sobreviver a você em documento.
• Autonomia para investigar do dashboard até a origem sem pedir permissão a cada passo.
• Disponibilidade de atuação hibrida 2 a 3x presencial - Região Vila Olimpia

Diferenciais (desejáveis)

• Experiência no mercado financeiro: investimentos, wealth management, custódia, renda fixa/variável, fundos, cálculo de rentabilidade (TIR/TWR), posição e movimentação.
• Vivência com dados regulatórios: CVM, BACEN, BSM, ANBIMA — inclusive prazos e formatos de entrega.
• Ferramentas de qualidade e catálogo (Great Expectations, Soda, DataHub, OpenMetadata).
• Experiência com camada semântica e ferramentas de BI (Power BI, Metabase, Looker).
• Ter conduzido uma migração relevante (legado → moderno, on-prem → nuvem, ou planilha/VBA → pipeline versionado) com validação de paridade.