Pessoa Engenheira de Dados Sênior

Zup Innovation; Brasil; Hybrid; BRL 180,000 - 280,000; Full time

Benefits offered by this job

Home office flexível

Horários flexíveis

Auxílio educação

Desenvolvimento de carreira

Grupos de estudo

Job summary

A Zup Innovation busca profissionais para liderar engenharia de dados, com foco em soluções escaláveis para IA Generativa e Data Mesh. O papel envolve desenhar arquiteturas, implementar pipelines e integrar com LLMs de mercado, mantendo alto padrão de qualidade e desempenho.

Você trabalhará com uma stack que inclui Spark, Airflow, dbt e AWS, contribuindo para democratizar dados e acelerar decisões estratégicas, em um ambiente colaborativo e em constante evolução.

Qualifications

• Experiência prática em ELT com dbt, Data Lake/Lakehouse e orquestração com Airflow.
• Experiência com serviços de nuvem AWS (Glue, EMR, Athena, QuickSight).
• Domínio de Python e SQL; familiaridade com LLMs e embeddings.

Responsibilities

• Participar do entendimento de necessidades do negócio e entregar valor.
• Desenhar arquitetura de dados e avaliar tecnologias para resolver problemas.
• Desenvolver pipelines de dados escaláveis para alimentar modelos de IA Generativa e soluções RAG.
• Implementar pipelines de dados em arquitetura Data Mesh com camadas semânticas.
• Desenvolver conectores, APIs, SDKs e CLIs para integração com APIs de LLMs.
• Prototipar agentes inteligentes usando LangChain/LangGraph; analisar custo e latência.
• Automatizar testes e adaptar componentes com feedback dos usuários.
• Colaborar com equipes de qualidade e inovação tecnológica do produto.

Skills

Processamento de dados em larga escala

Python

Engenharia de dados

Data Mesh

LLMs & RAG

Tools

Apache Spark

Airflow

dbt

AWS services

OpenAI APIs

Pinecone

Job description

Por que ser zupper?

Vamos direto ao ponto: o que oferecemos é um ambiente de crescimento exponencial. Mais do que palavras bonitas, isso significa que oferecemos todas as oportunidades para que você possa protagonizar sua evolução e todo o suporte necessário.

Como protagonismo sem apoio não gera desenvolvimento acelerado, além de oportunidades, cada zupper tem um plano de desenvolvimento de carreira, acompanhamento próximo por uma pessoa do time de People e acesso a uma plataforma proprietária que tangibiliza o sentimento de progresso.

E por que fazemos tudo isso?

Porque acreditamos que somente um ambiente de crescimento exponencial vai nos fazer chegar aonde queremos: usar a tecnologia para transformar a vida de pessoas, potencializar talentos desperdiçados por falta de acesso e posicionar regiões desprivilegiadas como pólos de tecnologia de qualidade.

Ah, e não podemos esquecer: na Zup acreditamos na ! Com isso, zuppers podem trabalhar de onde quiserem, seja home office, em nossos escritórios ou em um modelo híbrido

O que você fará por aqui

• Participar do processo de entendimento das necessidades do negócio ,entendendo e garantindo a entrega de valor;
• Desenhar a arquitetura e avaliar as tecnologias disponíveis para resolver o problema certo;
• Desenvolver e evoluir pipelines de dados escaláveis e preparados para alimentar modelos de IA Generativa e soluções de RAG;
• Implementar pipelines de Dados para democratização de dados em uma arquitetura Data Mesh, criando camadas semânticas e dados estruturados para consumo por IA;
• Combinar a arquitetura e tecnologia para desenvolver e entregar componentes reutilizáveis como conectores, APIs, SDKs, CLIs, integrando com APIs de LLMs (OpenAI, Claude, Gemini);
• Prototipar agentes inteligentes utilizando frameworks como LangChain, LangGraph e CrewAI, avaliando custo, latência e qualidade das integrações;
• Testar e automatizar tudo que for possível;
• Validar e adaptar os componentes de acordo com os feedbacks dos usuários;
• Colaborar com a qualidade e inovação tecnológica do produto e ambiente de trabalho.

O que esperamos que você saiba

• Conhecimento em processamento de dados em larga escala, processamento paralelo e distribuído (Apache Spark, Hadoop, Hive, etc);
• Experiência prática em ELT utilizando dbt, Data Lake/Lakehouse e orquestração com Airflow;
• Experiência com serviços de Data & Analytics da nuvem AWS (Glue, EMR, Athena, Quicksight);
• Conhecimento de linguagem de programação Python;
• Domínio sobre os principais serviços da Cloud AWS (S3, Lambda, SQS, DynamoDB, API Gateway);
• Proficiência no uso de LLMs, aplicação prática de embeddings, RAG (Retrieval-Augmented Generation) e Bancos Vetoriais (Pinecone, Milvus, pgvector, Qdrant, etc.);
• Habilidade em Engenharia de Prompts e orquestração com frameworks como LangChain ou LangGraph;
• Atuação prática consistente com bases de dados relacionais (SQL) e NoSQL (documentos e chave-valor);
• Domínio de práticas de DevOps e infraestrutura como código (Terraform, CodePipeline, etc).

O que seria muito legal se você soubesse

• Experiência anterior em iniciativas de democratização de dados com Data Mesh;
• Experiência em avaliação comparativa entre diferentes LLMs de mercado considerando custo-benefício e latência;
• Experiência com IA generativa ou ferramentas de automação aplicadas a pipelines de dados, como geração assistida de código, documentação automatizada ou monitoramento inteligente de qualidade de dados;
• Conhecimentos de Observability (Cloudwatch, CloudTrail, Prometheus, AppDynamics, Splunk, ElasticSearch, Grafana e etc.);
• Conhecimento em técnicas avançadas de cache para sistemas escaláveis de IA;
• Ter experiência no desenvolvimento de soluções para instituições financeiras.

O que te oferecemos

Aqui não é só a sua carreira que importa, queremos que você tenha saúde e bem estar físico e mental para a melhor jornada de experiência profissional e pessoal da sua vida.

Carreira

• Liberdade para trabalhar de onde quiser
• Horários flexíveis*
• Auxílio Educação
• Ferramenta própria de desenvolvimento de carreira
• Guildas internas e outros grupos de estudo e interesse

Saúde e bem-estar

• Plano saúde
• Plano odontológico
• Parceria na compra de medicamentos
• Telemedicina: assistência médica disponível 24x7
• Terapia online gratuita
• Wellhub
• Licença maternidade estendida
• Licença paternidade estendida
• CAZ – Central de Atendimento a Zuppers

Conforto financeiro

• Vale-refeição e alimentação
• Seguro de vida
• Vale-transporte
• Auxílio home office
• Auxílio Creche
• Auxílio plano telefônico
• Participação em Lucros e Resultado

Se você está pronto para transformar dados em decisões estratégicas e quer fazer parte de um ambiente que valoriza a inovação e o crescimento, venha ser um zupper!