Consultor em Engenharia de Dados

Maitha Tech; São Paulo; Hybrid; BRL 120,000 - 180,000; Full time

Benefits offered by this job

TotalPass com planos

Rewards com programa de pontos

Workshops e meetups

Treinamentos

Job summary

Maitha Tech procura Especialista/Consultor(a) em Engenharia de Dados para atuar na arquitetura, viabilidade e definição do modelo de dados, desenhando soluções de alta performance para grandes volumes e consultas em tempo real. Conduz PoCs e benchmarks, documenta decisões arquiteturais e realiza handoffs técnicos para times de desenvolvimento e QA.

Trabalhará com PySpark, Scala, Apache Pinot, Parquet e Delta Lake, promovendo padrões de dados e integração com Kafka em um ambiente colaborativo.

Qualifications

• Domínio de processamento distribuído utilizando PySpark e Scala.
• Experiência sólida com Apache Pinot, incluindo arquitetura, modelagem de tabelas real-time/offline e tuning de performance.
• Conhecimento avançado em formatos de armazenamento colunar, especialmente Apache Parquet.
• Conhecimento de Delta Lake e conceitos de camadas transacionais/ACID em Data Lakes.
• Experiência com sistemas distribuídos e integração com plataformas de mensageria, especialmente Kafka.
• Forte conhecimento em modelagem de dados para workloads analíticos e OLAP.
• Capacidade de projetar esquemas, índices e estratégias de particionamento visando consultas de baixíssima latência.
• Experiência com análise de viabilidade técnica, PoCs e benchmarks de performance.
• Capacidade de elaborar documentação arquitetural e realizar handoff técnico para times multidisciplinares.

Responsibilities

• Estruturar e definir a arquitetura da camada de dados para suportar consultas analíticas em tempo real e alta volumetria.
• Modelar esquemas, estratégias de indexação e particionamento no Apache Pinot.
• Definir a integração do Apache Pinot com fontes de mensageria, como Kafka e SQS, e soluções de armazenamento.
• Definir padrões de ingestão e transformação utilizando PySpark e Scala, com foco em performance.
• Avaliar e desenhar estratégias de transição e compatibilidade entre formatos de armazenamento, como Apache Parquet e Delta Lake.
• Conduzir Provas de Conceito (PoCs) e benchmarks para validar latência de leitura, processamento e escalabilidade.
• Documentar decisões, padrões e arquitetura de dados.
• Realizar o handoff técnico da arquitetura para os times de desenvolvimento e QA.
• Orientar tecnicamente os times quanto aos padrões de dados e boas práticas definidas.

Skills

PySpark

Scala

Apache Pinot

Kafka

Data modeling

OLAP

Real-time analytics

Performance tuning

Benchmarks

PoCs

Tools

Apache Pinot

Parquet

Delta Lake

Kafka

PySpark

Scala

Job description

Buscamos um(a) Especialista / Consultor(a) em Engenharia de Dados para atuar exclusivamente na fase de arquitetura, estudo de viabilidade e definição do modelo de dados. Você será responsável por desenhar soluções de alta performance para cenários de grande volumetria e consultas analíticas em tempo real, realizando PoCs, benchmarks e definições técnicas que orientarão os times de desenvolvimento e QA.

Responsabilidades

• Estruturar e definir a arquitetura da camada de dados para suportar consultas analíticas em tempo real e alta volumetria;
• Modelar esquemas, estratégias de indexação e particionamento no Apache Pinot;
• Definir a integração do Apache Pinot com fontes de mensageria, como Kafka e SQS, e soluções de armazenamento;
• Definir padrões de ingestão e transformação utilizando PySpark e Scala, com foco em performance;
• Avaliar e desenhar estratégias de transição e compatibilidade entre formatos de armazenamento, como Apache Parquet e Delta Lake;
• Conduzir Provas de Conceito (PoCs) e benchmarks para validar latência de leitura, processamento e escalabilidade;
• Documentar decisões, padrões e arquitetura de dados;
• Realizar o handoff técnico da arquitetura para os times de desenvolvimento e QA;
• Orientar tecnicamente os times quanto aos padrões de dados e boas práticas definidas.

Requisitos

• Domínio de processamento distribuído utilizando PySpark e Scala;
• Experiência sólida com Apache Pinot, incluindo arquitetura, modelagem de tabelas real-time/offline e tuning de performance;
• Conhecimento avançado em formatos de armazenamento colunar, especialmente Apache Parquet;
• Conhecimento de Delta Lake e conceitos de camadas transacionais/ACID em Data Lakes;
• Experiência com sistemas distribuídos e integração com plataformas de mensageria, especialmente Kafka;
• Forte conhecimento em modelagem de dados para workloads analíticos e OLAP;
• Capacidade de projetar esquemas, índices e estratégias de particionamento visando consultas de baixíssima latência;
• Experiência com análise de viabilidade técnica, PoCs e benchmarks de performance;
• Capacidade de elaborar documentação arquitetural e realizar handoff técnico para times multidisciplinares.

Diferenciais

• Experiência com Apache SQS ou outros serviços de mensageria;
• Vivência em arquiteturas de dados orientadas a eventos e streaming;
• Experiência com ambientes de Data Lake e Lakehouse em grande escala;
• Conhecimento de outras tecnologias de processamento distribuído e engines analíticas;
• Experiência em projetos de alta volumetria com requisitos rigorosos de latência;
• Vivência como consultor(a), arquiteto(a) ou especialista técnico em Engenharia de Dados.

Modelo de trabalho

O que você encontrará na Maitha

• Experiência de Desenvolvimento Individual de soft skills e acompanhamento em toda a jornada;
• Gestão de bem-estar com acompanhamento de métricas e indicadores sobre a evolução de satisfação;
• Treinamentos, workshops e meetups para evolução de soft e hard skills;
• Rewards com programa de pontos e premiações;
• TotalPass com várias opções de planos e mais de 250 modalidades, como musculação, cross training, yoga, dança e muito mais;