Pessoa Engenheira de Dados Sênior

Zup Innovation; United States; Hybrid; USD 120,000 - 190,000; Full time

Benefits offered by this job

Liberdade de trabalho remoto/ Escritó´

Horários flexíveis

Auxílio Educação

Ferramenta própria de desenvolvimento

Guildas internas

Plano de saúde

Telemedicina

Wellhub

Licença maternidade estendida

Licença paternidade

Vale-refeição/ alimentação

Seguro de vida

Auxílio home office

Auxílio creche

Auxílio plano telefônico

Participação nos lucros

Job summary

Na Zup Innovation, você fará parte de um time que impulsiona a transformação de dados em decisões estratégicas, desenvolvendo pipelines escaláveis para IA Generativa e soluções de RAG. Você integrará APIs de LLMs, criará conectores e componentes reutilizáveis, e trabalhará em um ecossistema Data Mesh com foco em performance e governança de dados.

Buscamos profissionais que atuem com LangChain, LangGraph, CrewAI e tenham experiência com AWS, DevOps e plataformas de dados modernas.

Qualifications

• Experiência prática com pipelines de dados em larga escala, ELT e orquestração com Airflow.

Responsibilities

• Entender necessidades do negócio e garantir entrega de valor.

Skills

Dados em larga escala

Apache Spark

dbt

Airflow

AWS

Python

LLMs

LangChain

LangGraph

CrewAI

DevOps

Terraform

CodePipeline

API/LLM integrações

Tools

Apache Spark

Hadoop

Hive

dbt

Airflow

AWS Glue

EMR

Athena

Quicksight

S3

Lambda

SQS

DynamoDB

API Gateway

LangChain

LangGraph

CrewAI

Pinecone

Milvus

pgvector

Qdrant

LangChain

Job description

Por que ser zupper?

Vamos direto ao ponto: o que oferecemos é um ambiente de crescimento exponencial. Mais do que palavras bonitas, isso significa que oferecemos todas as oportunidades para que você possa protagonizar sua evolução e todo o suporte necessário.

Como protagonismo sem apoio não gera desenvolvimento acelerado, além de oportunidades, cada zupper tem um plano de desenvolvimento de carreira, acompanhamento próximo por uma pessoa do time de People e acesso a uma plataforma proprietária que tangibiliza o sentimento de progresso.

E por que fazemos tudo isso?

Porque acreditamos que somente um ambiente de crescimento exponencial vai nos fazer chegar aonde queremos: usar a tecnologia para transformar a vida de pessoas, potencializar talentos desperdiçados por falta de acesso e posicionar regiões desprivilegiadas como pólos de tecnologia de qualidade.

Ah, e não podemos esquecer: na Zup acreditamos na #Liberdade ! Com isso, zuppers podem trabalhar de onde quiserem, seja home office, em nossos escritórios ou em um modelo híbrido

O que você fará por aqui

• Participar do processo de entendimento das necessidades do negócio ,entendendo e garantindo a entrega de valor;
• Desenhar a arquitetura e avaliar as tecnologias disponíveis para resolver o problema certo;
• Desenvolver e evoluir pipelines de dados escaláveis e preparados para alimentar modelos de IA Generativa e soluções de RAG;
• Implementar pipelines de Dados para democratização de dados em uma arquitetura Data Mesh, criando camadas semânticas e dados estruturados para consumo por IA;
• Combinar a arquitetura e tecnologia para desenvolver e entregar componentes reutilizáveis como conectores, APIs, SDKs, CLIs, integrando com APIs de LLMs (OpenAI, Claude, Gemini);
• Prototipar agentes inteligentes utilizando frameworks como LangChain, LangGraph e CrewAI, avaliando custo, latência e qualidade das integrações;
• Testar e automatizar tudo que for possível;
• Validar e adaptar os componentes de acordo com os feedbacks dos usuários;
• Colaborar com a qualidade e inovação tecnológica do produto e ambiente de trabalho.

O que esperamos que você saiba

• Conhecimento em processamento de dados em larga escala, processamento paralelo e distribuído (Apache Spark, Hadoop, Hive, etc);
• Experiência prática em ELT utilizando dbt, Data Lake/Lakehouse e orquestração com Airflow;
• Experiência com serviços de Data & Analytics da nuvem AWS (Glue, EMR, Athena, Quicksight);
• Conhecimento de linguagem de programação Python;
• Domínio sobre os principais serviços da Cloud AWS (S3, Lambda, SQS, DynamoDB, API Gateway);
• Proficiência no uso de LLMs, aplicação prática de embeddings, RAG (Retrieval-Augmented Generation) e Bancos Vetoriais (Pinecone, Milvus, pgvector, Qdrant, etc.);
• Habilidade em Engenharia de Prompts e orquestração com frameworks como LangChain ou LangGraph;
• Atuação prática consistente com bases de dados relacionais (SQL) e NoSQL (documentos e chave-valor);
• Domínio de práticas de DevOps e infraestrutura como código (Terraform, CodePipeline, etc).

O que seria muito legal se você soubesse

• Experiência anterior em iniciativas de democratização de dados com Data Mesh;
• Experiência em avaliação comparativa entre diferentes LLMs de mercado considerando custo-benefício e latência;
• Experiência com IA generativa ou ferramentas de automação aplicadas a pipelines de dados, como geração assistida de código, documentação automatizada ou monitoramento inteligente de qualidade de dados;
• Conhecimentos de Observability (Cloudwatch, CloudTrail, Prometheus, AppDynamics, Splunk, ElasticSearch, Grafana e etc.);
• Conhecimento em técnicas avançadas de cache para sistemas escaláveis de IA;
• Ter experiência no desenvolvimento de soluções para instituições financeiras.

O que te oferecemos

Aqui não é só a sua carreira que importa, queremos que você tenha saúde e bem estar físico e mental para a melhor jornada de experiência profissional e pessoal da sua vida.

Carreira

• Liberdade para trabalhar de onde quiser
• Horários flexíveis*
• Auxílio Educação
• Ferramenta própria de desenvolvimento de carreira
• Guildas internas e outros grupos de estudo e interesse

Saúde e bem-estar

• Plano saúde
• Telemedicina: assistência médica disponível 24x7
• Wellhub
• Licença maternidade estendida
• Licença paternidade estendida
• Vale-refeição e alimentação
• Seguro de vida
• Auxílio home office
• Auxílio Creche
• Auxílio plano telefônico
• Participação em Lucros e Resultado

Se você está pronto para transformar dados em decisões estratégicas e quer fazer parte de um ambiente que valoriza a inovação e o crescimento, venha ser um zupper!

Respeito e Inclusão

Respeito e Inclusão é um dos pilares da nossa cultura, por isso estamos engajados na busca por mais diversidade.

Oportunidades para todos

Nossas oportunidades são consideradas para todas as pessoas. Repudiamos qualquer tipo de discriminação, seja por raça, deficiência, gênero, idade, orientação sexual, estética, estado civil e condição financeira ou familiar. Todas as pessoas e suas pluralidades são bem-vindas à Zup.