Arquiteto de dados

Genesis Consulting Partners, LLC; São Paulo; Presencial; BRL 320 000 - 480 000; Tempo integral

Resumo da oferta

A Genesis Consulting está com uma oportunidade imediata para Arquiteto(a) de Dados GCP, sênior, hands-on, com forte conhecimento técnico. Foco na revisão e otimização da arquitetura de dados em Google Cloud Platform e BigQuery para aumentar eficiência, escalabilidade, governança e reduzir custos.

O profissional atuará desde a definição até a implementação das melhorias, com atuação consultiva e entrega direta de soluções no ambiente corporativo de grande escala.

Qualificações

• Sólida experiência com GCP e BigQuery em ambientes corporativos de dados de grande volume.
• Experiência em arquitetura, otimização e sustentação de plataformas de dados na nuvem.
• Conhecimento avançado de Data Lake: camadas Raw, Sub-Raw, Silver, Gold e Platinum.
• Capacidade de desenhar estratégias de processamento incremental para evitar reprocessamentos.
• Otimização de tabelas BigQuery: particionamento, clustering, cargas incrementais e otimização de queries.
• Experiência em análise de performance e custos no BigQuery.
• Conhecimento de SAP e Salesforce para ingestão de dados.
• Experiência com integração de dados using Airbyte, Airflow e CDC.
• Revisão de pipelines para melhoria de performance e redução de custos.
• Arquitetura de dados transacional e analítica com workloads apropriados.
• Avaliação de alternativas tecnológicas incluindo PostgreSQL para workloads transacionais.
• Conhecimento em FinOps aplicado a dados e cloud, com monitoramento de custos.
• Desenvolvimento de mecanismos de acompanhamento de economia obtida com otimizações.
• Gestão de visibilidade de custos por área/domínio/projeto.
• Governação de ambientes BigQuery e estrutura de projetos por domínio.
• Conhecimento de IAM, permissões e consumo cross-project no GCP.
• Capacidade de propor soluções sustentáveis e eficientes tecnicamente e economicamente.
• Hands-on para implementação de soluções e otimizações.

Responsabilidades

• Atuar na revisão da arquitetura atual de dados em GCP e BigQuery para reduzir processamento e consumo.
• Estabelecer baseline técnico e financeiro para acompanhamento de ganhos.
• Trabalhar com meta de redução de custos entre 50% e 60% conforme oportunidades identificadas.
• Revisar arquitetura, modelagem, pipelines, tabelas e estratégias de processamento.
• Definir e implementar processamento incremental e otimização das camadas do Data Lake.
• Revisar workloads transacionais/analíticos e indicar a arquitetura adequada.
• Apoiar governança do BigQuery, incluindo estrutura de projetos e permissões.
• Estruturar indicadores de consumo, performance e economia.
• Atuar de forma consultiva com as equipes técnicas e propor soluções alinhadas a melhores práticas.
• Participar da implementação, validação, produção e sustentação das melhorias.
• Contribuir para projeto estratégico de otimização de plataforma de dados.

Conhecimentos

GCP

BigQuery

Data Lake

Arquitetura de dados

FinOps

Otimização de custos

Ingestão de dados (SAP/Salesforce)

Airbyte

Apache Airflow

PostgreSQL

Performance de queries

Governança de dados

IAM e governança cross-project

Solução de problemas/Troubleshooting

Ferramentas

Airbyte

Apache Airflow

DAGs

PostgreSQL

Descrição da oferta de emprego

A Genesis Consulting está com uma oportunidade imediata para Arquiteto(a) de Dados GCP experiente, com forte conhecimento técnico e verdadeira paixão por resolução de problemas complexos através da tecnologia. O profissional fará parte de um projeto estratégico com foco na revisão e otimização da arquitetura de dados em Google Cloud Platform, buscando aumento de eficiência, escalabilidade, governança e redução significativa dos custos de processamento em BigQuery.

Buscamos um perfil sênior, consultivo e hands-on, capaz de atuar desde a definição e revisão da arquitetura até a implementação das melhorias necessárias no ambiente.

• Sólida experiência com Google Cloud Platform (GCP) e BigQuery, atuando em ambientes corporativos de dados de grande volume;
• Experiência em arquitetura, otimização e sustentação de plataformas de dados em cloud;
• Conhecimento avançado de arquitetura de Data Lake, incluindo organização e otimização das camadas Raw, Sub-Raw, Silver, Gold e Platinum;
• Experiência no desenho de estratégias de processamento incremental, evitando reprocessamentos e leituras desnecessárias de grandes volumes de dados;
• Conhecimento avançado de otimização de tabelas no BigQuery, incluindo particionamento, clustering, cargas incrementais e otimização de queries;
• Experiência em análise de performance e custos de processamento no BigQuery;
• Conhecimento de estratégias para tratamento e processamento de tabelas SAP de grande volume;
• Experiência com integração e ingestão de dados provenientes de ambientes como SAP e Salesforce;
• Conhecimento de ferramentas e tecnologias de integração como Airbyte, Apache Airflow, DAGs e CDC – Change Data Capture;
• Capacidade de revisar pipelines de ingestão e processamento de dados, identificando oportunidades de melhoria de performance e redução de custos;
• Conhecimento de arquitetura de dados transacional e analítica, incluindo definição adequada de workloads para cada tipo de processamento;
• Capacidade de avaliar alternativas tecnológicas, incluindo utilização de bancos como PostgreSQL para workloads transacionais e atualizações operacionais frequentes;
• Experiência com práticas de FinOps aplicadas a dados e cloud, incluindo análise de baseline de consumo, monitoramento de custos e identificação de oportunidades de otimização;
• Capacidade de estruturar mecanismos de acompanhamento da economia obtida através das otimizações implementadas;
• Conhecimento de modelos de alocação e visibilidade de custos por área, domínio, projeto ou unidade de negócio;
• Experiência com governança de ambientes BigQuery, incluindo organização de projetos por domínio ou área de negócio;
• Conhecimento de IAM, permissões, grupos de acesso e estratégias de consumo cross-project dentro do GCP;
• Capacidade de analisar criticamente decisões arquiteturais existentes e propor alternativas tecnicamente sustentáveis e economicamente eficientes;
• Experiência prática em troubleshooting, produção e sustentação de ambientes de dados críticos;
• Perfil hands-on, com capacidade de implementar diretamente soluções e otimizações propostas.

Atuação:

• Atuar na revisão da arquitetura atual de dados em GCP e BigQuery, identificando oportunidades de redução de processamento e consumo;
• Estabelecer baseline técnico e financeiro do ambiente atual para acompanhamento dos ganhos obtidos;
• Trabalhar com meta indicativa de redução entre 50% e 60% dos custos de processamento, condicionada às oportunidades identificadas durante a análise técnica do ambiente;
• Revisar arquitetura, modelagem, pipelines, tabelas, queries e estratégias de processamento atualmente utilizadas;
• Definir e implementar estratégias de processamento incremental e otimização das diferentes camadas do Data Lake;
• Revisar workloads transacionais e analíticos, recomendando a arquitetura mais adequada para cada cenário;
• Apoiar a evolução da governança do BigQuery, incluindo estrutura de projetos, domínios, permissões e consumo entre projetos;
• Estruturar indicadores para acompanhamento de consumo, performance e economia gerada pelas iniciativas de otimização;
• Atuar de forma consultiva junto às equipes técnicas, questionando decisões arquiteturais e propondo soluções alinhadas às melhores práticas de arquitetura, performance e FinOps;
• Participar diretamente da implementação, validação, produção e sustentação das melhorias propostas;
• Atuação em projeto estratégico de otimização e evolução de plataforma de dados em ambiente corporativo de grande escala.