Analista IA Langfuse

Jump; São Paulo; On-site; BRL 201,000 - 312,000; Full time

Job summary

A Jump procura um profissional pleno para apoiar a frente de IA Responsável, atuando na operação e evolução da esteira de declaração, avaliação, aprovação e monitoramento de casos de IA. O papel envolve governança de IA, gestão de modelos/AGentes, e implementação de dashboards de observabilidade e qualidade.

Você fará parte de um time multidisciplinar, com interação com negócios, dados e segurança, trabalhando com Langfuse, OpenTelemetry e outras tecnologias de IA corporativa.

Qualifications

• Obrigatório Langfuse hands-on com traces, scores e datasets.
• Experiência em avaliação de LLMs e agentes (LLM-as-a-Judge).
• Conhecimentos de OpenTelemetry e gateway LiteLLM.
• Proficiente em Python e SQL a nível básico/intermediário.
• Governança de IA, gestão de riscos e frameworks.

Responsibilities

• Conduzir revisões de formulários de casos de uso de IA e apoiar equipes.
• Conduzir reuniões técnicas com áreas envolvidas.
• Manter inventário de modelos/agentes e documentação para auditoria.
• Operar Langfuse como observabilidade dos agentes e gerenciar custos por modelo.
• Construir dashboards nos pilares Observabilidade, Qualidade, Rastreabilidade e FinOps.
• Integrar plataformas ao painel único e validar exportação de logs/KPIs.

Skills

Langfuse hands-on

Observabilidade

LLM evaluation

Python/SQL (basics)

IA governance

Tools

Langfuse

OpenTelemetry

LiteLLM gateway

LangChain/LangGraph/LangFlow

Docker/Kubernetes (basic)

Job description

Senioridade: Pleno

Breve Resumo do Projeto: Apoiar a frente de IA Responsável, do COE IA na operação e evolução da esteira de declaração, avaliação, aprovação e monitoramento de casos de uso de IA (modelos de ML, IA generativa e agentes).

Descrição das Principais Atividades e Reponsabilidades

• Revisar formulários de declaração de casos de uso (IA by Design), apoiar Champions e Tradutores, identificar lacunas e tracionar os casos junto às áreas.
• Conduzir reuniões técnicas com Negócio, Tech Dados & IA, Arquitetura, Segurança da Informação, Jurídico e fornecedores.
• Classificar casos de uso em N1, N2 e N3 e aplicar a matriz de risco, avaliando autonomia, uso de dados pessoais, exposição ao cliente, impacto financeiro, explicabilidade e HITL (intervenção humana).
• Manter o inventário de modelos e agentes (owner, finalidade, nível de risco e status), a documentação e o controle de evidências para auditoria.
• Preparar materiais para comitês (Comitê de Alto Risco e Comitê de Monitoramento IA), consolidar pareceres e controlar planos de ação.
• Operar o Langfuse como camada corporativa de observabilidade dos agentes: traces, sessions, tags, scores, evaluations, datasets, experiments e Prompt Management.
• Definir e manter a convenção de tags por agente, subagente e intenção, garantindo filtros sem mistura entre agentes.
• Implementar e acompanhar evaluators (LLM-as-a-Judge) das métricas M01 Acurácia, M06 Completude, M10 Guardrails e M11 LGPD, definindo execução síncrona, assíncrona ou batch e faixas de interpretação (aceitável, atenção, crítico) com alertas.
• Garantir a rastreabilidade agente → versão do prompt → intenção → avaliação, com cadastro dos prompts no Prompt Management.
• Construir e manter dashboards nos 4 pilares: Observabilidade (volume, latência, erro), Qualidade, Rastreabilidade e FinOps (tokens, custo por interação, baseline, realizado x estimado e projeção anual).
• Apoiar a integração de plataformas ao painel único (gateway LiteLLM, OpenTelemetry, LangChain/LangGraph, LangFlow, CrewAI) e validar a exportação de logs/KPIs de plataformas SaaS (Agentforce, Wonderful, Copilot Studio).
• Conectar os indicadores ao inventário do IAbD e ao Comitê de Monitoramento IA apoiando também o monitoramento de modelos de ML (KS, Lift, drift).

Descrição Perfil Técnico

• Langfuse (obrigatório, hands-on): tracing, scores, evaluations, datasets, experiments, Prompt Management, dashboards e configuração de custo por modelo.
• Observabilidade e avaliação de LLMs e agentes (LLM-as-a-Judge, métricas de qualidade, guardrails).
• Conceitos de OpenTelemetry e gateway LiteLLM.
• Python e SQL em nível básico/intermediário (leitura de traces, scripts e consultas) e prompt engineering.
• Governança de IA, gestão de riscos e frameworks.

Diferenciais

• Microsoft Copilot Studio, Salesforce Agentforce e Gemini Enterprise.
• Noções de ambiente self-hosted (Docker/Kubernetes).
• Monitoramento de modelos de ML: KS, Lift, drift e data quality.

Competências Comportamentais

• Boa comunicação e capacidade de traduzir o técnico para o negócio.
• Organização e disciplina de follow-up.
• Influência sem autoridade.
• Facilidade para atuar com diversas diretorias e times técnicos.
• Flexibilidade para mudança de rota.
• Pensamento analítico orientado a dados.
• Perfil hands-on, com autonomia técnica.
• Curiosidade e aprendizado contínuo em ferramentas de IA.
• Rigor com padronização, documentação e qualidade de dados.

Informações da Empresa

Nascida do objetivo de atender projetos e prestar serviços de forma eficiente e diferenciada somos uma empresa especializada em serviços de tecnologia e análise de dados, contando com uma equipe altamente capacitada em diversas áreas. Atendemos uma variedade de projetos, oferecendo expertise na captação e análise de dados, bem como a concepção e desenvolvimento de produtos.

Diferenciamo-nos pelo uso de uma metodologia única, proporcionando resultados de alta performance e qualidade com agilidade e eficiência.

Acreditamos em ultrapassar o convencional, trazendo inovação para todos os segmentos de negócio.

Com mais de 12 anos de experiência no mercado de tecnologia, a Jump destaca-se como a parceira ideal para extrair o máximo potencial de seus dados de maneira eficaz e ágil.

Nossa equipe especializada está sempre pronta para atender às necessidades específicas de nossos clientes em dados, a qualquer momento.