Pessoa Engenheira de Dados Sênior (AWS e GCP)

Extractta; Brasil; Hybrid; BRL 180,000 - 300,000; Full time

Benefits offered by this job

Vale transporte

Convênio Sesi/Sesc

Auxílio para Certificações

Job summary

Extractta busca um(a) Engenheiro(a) de Dados Sênior dedicado a um banco digital de grande porte, responsável pela entrega governada de dados multi-cloud, alinhado às exigências do Open Finance. Você atuará na camada de dados da plataforma, com Iceberg sobre S3, Dataflow e contratos de dados.

O papel envolve desenhar contratos de dados, otimizar leitura em grandes volumes, e trabalhar com Go, Python, SQL e outras equipes de dados, arquitetura e SRE.

Qualifications

• Sólida experiência em engenharia de dados em produção, com Data Lake/Lakehouse na nuvem.
• Conhecimento de GCP para dados (Dataflow, BigQuery, Spanner).
• Experiência com ambientes multi-cloud (AWS e GCP).
• Domínio de Iceberg e Parquet (partições, snapshots, evolução de schema).
• Experiência com AWS (S3, Glue Catalog, Athena/EMR).
• Modelagem de dados NoSQL (MongoDB) e contratos de dados.

Responsibilities

• Desenhar e manter integração com S3 Tables, Iceberg e Glue Catalog, leitura eficiente de grandes volumes.
• Definir e validar contratos de dados com Dataflow (schemas, partições, snapshots, evolução de schema).
• Otimizar layout e partition pruning para desempenho e custo do Data Lake.
• Gerar e curar dados de teste em grande volume para testes de carga.
• Apoiar desenho de dados com Spanner, MongoDB e BigQuery conforme arquitetura do banco.
• Impor políticas de dados, PII e compliance na entrega.
• Replicar planos de Data Products/Data Policies entre AWS e GCP.
• Construir validações de qualidade de dados e observabilidade de custos de consultas.
• Escrever testes automatizados, revisar código e seguir padrões do banco.
• Participar de refinamento, planning, daily, review e retro com P.O. e times.

Skills

SQL

Python

Go

Git

CI/CD

Tools

S3 Tables

Apache Iceberg

Glue Catalog

Dataflow

BigQuery

Spanner

MongoDB

Parquet

Athena

EMR

Kubernetes

Terraform

Job description

Descrição da vaga

Buscamos uma Pessoa Engenheira de Dados Sênior para atuar dedicada em um banco digital de grande porte, em um squad de plataforma de dados responsável pela entrega governada de dados multi-cloud do banco, nascida das exigências do Open Finance.

Você será a referência do squad na camada de dados da plataforma: Apache Iceberg sobre S3 Tables, Glue Catalog, contrato de dados com o pipeline Dataflow que materializa datasets semanais de dezenas de milhões de linhas, e geração e curadoria de dados de teste em volume representativo. A posição exige domínio de formatos colunares, particionamento, custo de leitura e consistência temporal, atuando em conjunto com desenvolvedores Go, QA e os times de dados, arquitetura e SRE do banco.

Responsabilidades e atribuições

• Desenhar e manter a integração da plataforma com S3 Tables, Apache Iceberg e Glue Catalog, garantindo leitura eficiente de grandes volumes.
• Definir e validar o contrato de dados com o pipeline Dataflow do banco (esquemas, partições, snapshots, safe cut e evolução de schema).
• Otimizar layout de dados, particionamento e partition pruning para desempenho e controle de custo do Data Lake.
• Gerar e curar dados de teste em volume representativo (dezenas de milhões de registros) para testes de carga e homologação.
• Apoiar o desenho de dados sobre Spanner, MongoDB (Event Store e plano de controle) e BigQuery, conforme a arquitetura definida pelo banco.
• Implementar e validar policies de campo, mascaramento de PII e requisitos de compliance na entrega de dados.
• Apoiar a replicação do plano de controle (Data Products e Data Policies) entre AWS e GCP.
• Construir validações de qualidade e consistência de dados, com observabilidade de custo por consulta, DataSource e consumidor.
• Escrever testes automatizados, participar de code review e seguir as esteiras e padrões do banco.
• Participar de refinamento, planning, daily conjunta, review e retrospectiva com o product owner e os times do banco.
• Produzir ADRs, runbooks e documentação viva e conduzir sessões técnicas de transferência de conhecimento.
• Utilizar ferramentas de IA aplicadas ao desenvolvimento (GitHub Copilot, Claude Code ou similares) com senso crítico sobre o resultado gerado.

Requisitos e qualificações

• Sólida experiência em engenharia de dados em produção, com Data Lake e Lakehouse em nuvem.
• Conhecimento de GCP para dados (Dataflow, BigQuery, Spanner).
• Experiência com S3 Tables e ambientes multi-cloud (AWS e GCP).
• Domínio de Apache Iceberg e Parquet (snapshots, partições, evolução de schema, compactação e otimização de leitura).
• Experiência com AWS para dados (S3, Glue Catalog, Athena ou EMR).
• Experiência com bancos NoSQL (MongoDB ou equivalentes) e modelagem de documentos.
• Domínio de SQL e de Python ou Go aplicados a dados.
• Vivência com contratos de dados, governança, qualidade e requisitos de PII.
• Experiência com pipelines batch e streaming e arquiteturas orientadas a eventos.
• Vivência com Git, CI/CD e testes automatizados de pipelines.
• Atuação em metodologias ágeis (Scrum/Kanban).
• Disponibilidade para trabalho remoto no fuso de Brasília e presenças pontuais em São Paulo.

Diferenciais

• Experiência em bancos, fintechs ou instituições financeiras, com contato com Open Finance.
• Conhecimento de Data Mesh, Data Products e contratos de dados.
• Experiência com Kubernetes, Terraform e FinOps de dados.
• Familiaridade com Go.
• Certificações em AWS, GCP ou Databricks.
• Inglês para leitura de documentação técnica.

Informações adicionais:

• Vale Alimentação e/ou Vale Refeição;
• Convênio Sesi e Sesc, oferecendo acesso a serviços de saúde, bem-estar e lazer;
• Parceria com Instituições de Ensino, com descontos exclusivos em cursos e programas educacionais;
• Auxílio para Certificações;
• Possibilidade de crescimento na empresa e de participação em projetos estratégicos;
• Oportunidade de trabalhar em uma empresa do mercado em plena expansão.