Especialista de Dados

Banco Pine SA; São Paulo; Hybrid; BRL 180,000 - 260,000; Full time

Benefits offered by this job

Salário compatível com o mercado

Participação nos lucros e resultados

Vale Alimentação - com 13ª e 14ª cesta

Vale Refeição

Assistência Médica e Odontológica

Auxílio Creche

Seguro de vida

Total Pass

Licença Maternidade/Paternidade estend

Day Off Aniversário

Job summary

Banco Pine SA está buscando profissional para atuar na construção, sustentação e evolução de nossa plataforma de dados, garantindo dados disponíveis, confiáveis, seguros e performáticos para apoiar a tomada de decisão e geração de valor para o negócio.

Você atuará no desenvolvimento e monitoramento de pipelines end-to-end, novas ingestões, qualidade de dados e otimização de performance e custos, com contato próximo a equipes de tecnologia, dados e negócio.

Qualifications

• Conhecimento em engenharia de dados, pipelines ETL/ELT, Data Lakes e Data Warehouses.
• Experiência com Cloud (GCP/Azure) e modelagem de dados dimensional/Data Vault.
• DataOps e CI/CD para dados, com Python e SQL avançado.
• Conhecimento em Snowflake, DBT, Airflow e Spark é desejável.

Responsibilities

• Desenvolver e manter pipelines de dados escaláveis e eficientes.
• Sustentar e evoluir pipelines existentes, garantindo estabilidade, confiabilidade e disponibilidade.
• Implementar novas ingestões e integrar fontes de dados à plataforma.
• Monitorar pipelines de dados, identificando falhas e resolvendo incidentes.
• Otimizar performance de pipelines e consultas.
• Monitorar consumo de recursos para balancear custo e performance.
• Gerar documentação técnica de pipelines e arquitetura.
• Colaborar com times de negócio, analytics e engenharia de dados.

Skills

Engenharia de Dados

ETL/ELT

CI/CD para dados

DataOps

Modelagem Dimensional

Python

SQL Avançado

Governança de dados

Tools

Snowflake

DBT

Airflow

Spark

Python

SQL

Git

Azure DevOps

GCP

Job description

Sobre a área:

A área de Dados é responsável pela construção, sustentação e evolução da plataforma de dados do Banco, garantindo a disponibilidade, confiabilidade, segurança e performance das informações. Atua em parceria com diferentes áreas para transformar dados em soluções que apoiem a tomada de decisão e gerem valor para o negócio.

Descrição da vaga:

Buscamos uma pessoa para atuar na construção, sustentação e evolução da nossa plataforma de dados, garantindo dados disponíveis, confiáveis, seguros e performáticos para apoiar a tomada de decisão e a geração de valor para o negócio.

No dia a dia, terá atuação no desenvolvimento e monitoramento de pipelines de dados end-to-end, novas ingestões, qualidade de dados e otimização de performance e custos da plataforma.

A posição terá contato com um ambiente moderno de dados e tecnologias como Snowflake, DBT, Airflow (Composer), Spark (DataProc), Google Cloud Storage, Python, SQL e Azure DevOps, além de interação com diferentes times de tecnologia, dados e negócio.

Responsabilidades:

• Desenvolver e implementar pipelines de dados escaláveis e eficientes para ingestão, transformação e disponibilização de dados;
• Sustentar e evoluir os pipelines existentes, garantindo estabilidade, confiabilidade e disponibilidade dos dados;
• Implementar novas ingestões e integrar diferentes fontes de dados à plataforma;
• Monitorar pipelines de dados, identificando falhas, gargalos e inconsistências e atuando de forma proativa na resolução de incidentes;
• Otimizar a performance de pipelines, consultas e demais componentes da arquitetura de dados;
• Monitorar e otimizar o consumo de recursos da plataforma, buscando equilíbrio entre performance, qualidade e custos;
• Implementar validações, testes e controles para garantir a qualidade, integridade e consistência dos dados;
• Utilizar Azure DevOps para versionamento, controle de mudanças e gestão das entregas;
• Criar e manter a documentação técnica de pipelines, fontes de dados, regras de transformação e arquitetura;
• Apoiar as áreas usuárias no acesso, entendimento e utilização dos dados e ferramentas disponíveis;
• Apoiar a gestão de acessos aos dados e ferramentas, garantindo aderência às políticas de segurança e governança;
• Atuar em parceria com times de negócio, Analytics, Ciência de Dados e Engenharia, traduzindo necessidades em soluções de dados escaláveis.

Requisitos e qualificações:

• Conhecimento em fundamentos de Engenharia de Dados, incluindo pipelines, ETL/ELT, Data Lakes e Data Warehouses;
• Conhecimento em arquitetura de dados em Cloud, especialmente GCP e Azure;
• Conhecimento em modelagem de dados dimensional, Data Vault e/ou modelagem analítica com DBT;
• Conhecimento em DataOps e práticas de CI/CD para dados;
• Conhecimento em Python aplicado à Engenharia de Dados, incluindo ETL, automações e APIs;
• Conhecimento avançado em SQL;Conhecimento em Git e versionamento de código;
• Conhecimento em Snowflake, incluindo performance tuning e modelagem;
• Conhecimento em DBT para desenvolvimento de modelos, testes e documentação;
• Conhecimento em Airflow para orquestração de pipelines e DAGs;Conhecimento em Spark para processamento distribuído e otimização.

Modelo de trabalho:

Híbrido, sendo 3 dias presenciais na Vila Olímpia e 2 dias remotos por semana.

Benefícios:

• Salário compatível com o mercado;
• Participação dos lucros e resultados;
• Vale Alimentação - com 13ª e 14ª cestas complementares;
• Vale Refeição;
• Assistência Médica e Odontológica;
• Auxílio Creche;
• Seguro de vida;
• Total Pass;
• Licença Maternidade/Paternidade estendida;
• Day Off Aniversário.