Analista IA Langfuse

Jump; São Paulo; Hybrid; BRL 180,000 - 240,000; Full time

Job summary

A Jump procura um profissional pleno para atuar na Frente de IA Responsável do COE IA, apoiando a operação e evolução da esteira de declaração, avaliação, aprovação e monitoramento de casos de uso de IA. Sera responsável por revisar formulários, conduzir reuniões técnicas e manter o inventário de modelos e evidências para auditoria.

O papel envolve operar Langfuse, estabelecer convenções de tags, acompanhar evaluators de métricas de qualidade e LGPD, bem como construir dashboards nos pilares

Qualifications

• Experiência com governança de IA e gestão de riscos em projetos de IA responsável.
• Conhecimentos em avaliação de modelos de ML, IA generativa e agentes.
• Capacidade de traduzir requisitos técnicos para o negócio.

Responsibilities

• Revisar formulários de declaração de casos de uso IA by Design e apoiar Champions.
• Conduzir reuniões técnicas com várias áreas (Negócio, Tech Dados & IA, Segurança, Jurídico).
• Classificar casos de uso (N1/N2/N3) e aplicar matriz de risco com foco em dados pessoais e HITL.
• Manter inventário de modelos e agentes, documentação e evidências para auditoria.
• Preparar materiais para comitês de alto risco e monitoramento IA.
• Operar Langfuse como camada de observabilidade (traces, sessions, prompts, dashboards).
• Definir convenções de tags, acompanhar evaluators de métricas (M01, M06, M10, M11).
• Construir dashboards nos pilares Observabilidade, Qualidade, Rastreabilidade e FinOps.

Skills

Langfuse hands-on

Observabilidade de LLMs

Prompt engineering

Governança de IA

OpenTelemetry

Python

SQL

Análise de dados

Comunicação com negócio

Gestão de riscos

Tools

LangChain

LangGraph

LangFlow

CrewAI

LiteLLM gateway

Docker

Kubernetes

OpenTelemetry

Job description

Senioridade: Pleno

Breve Resumo do Projeto: Apoiar a frente de IA Responsável, do COE IA na operação e evolução da esteira de declaração, avaliação, aprovação e monitoramento de casos de uso de IA (modelos de ML, IA generativa e agentes).

Descrição das Principais Atividades e Reponsabilidades:

• Revisar formulários de declaração de casos de uso (IA by Design), apoiar Champions e Tradutores, identificar lacunas e tracionar os casos junto às áreas.
• Conduzir reuniões técnicas com Negócio, Tech Dados & IA, Arquitetura, Segurança da Informação, Jurídico e fornecedores.
• Classificar casos de uso em N1, N2 e N3 e aplicar a matriz de risco, avaliando autonomia, uso de dados pessoais, exposição ao cliente, impacto financeiro, explicabilidade e HITL (intervenção humana).
• Manter o inventário de modelos e agentes (owner, finalidade, nível de risco e status), a documentação e o controle de evidências para auditoria.
• Preparar materiais para comitês (Comitê de Alto Risco e Comitê de Monitoramento IA), consolidar pareceres e controlar planos de ação.
• Operar o Langfuse como camada corporativa de observabilidade dos agentes: traces, sessions, tags, scores, evaluations, datasets, experiments e Prompt Management.
• Definir e manter a convenção de tags por agente, subagente e intenção, garantindo filtros sem mistura entre agentes.
• Implementar e acompanhar evaluators (LLM-as-a-Judge) das métricas M01 Acurácia, M06 Completude, M10 Guardrails e M11 LGPD, definindo execução síncrona, assíncrona ou batch e faixas de interpretação (aceitável, atenção, crítico) com alertas.
• Garantir a rastreabilidade agente → versão do prompt → intenção → avaliação, com cadastro dos prompts no Prompt Management.
• Construir e manter dashboards nos 4 pilares: Observabilidade (volume, latência, erro), Qualidade, Rastreabilidade e FinOps (tokens, custo por interação, baseline, realizado x estimado e projeção anual).
• Apoiar a integração de plataformas ao painel único (gateway LiteLLM, OpenTelemetry, LangChain/LangGraph, LangFlow, CrewAI) e validar a exportação de logs/KPIs de plataformas SaaS (Agentforce, Wonderful, Copilot Studio).
• Conectar os indicadores ao inventário do IAbD e ao Comitê de Monitoramento IA apoiando também o monitoramento de modelos de ML (KS, Lift, drift).

Descrição Perfil Técnico:

• Langfuse (obrigatório, hands-on): tracing, scores, evaluations, datasets, experiments, Prompt Management, dashboards e configuração de custo por modelo.
• Observabilidade e avaliação de LLMs e agentes (LLM-as-a-Judge, métricas de qualidade, guardrails).
• Conceitos de OpenTelemetry e gateway LiteLLM.
• Python e SQL em nível básico/intermediário (leitura de traces, scripts e consultas) e prompt engineering.
• Governança de IA, gestão de riscos e frameworks.

Diferenciais:

• Microsoft Copilot Studio, Salesforce Agentforce e Gemini Enterprise.
• Noções de ambiente self-hosted (Docker/Kubernetes).
• Monitoramento de modelos de ML: KS, Lift, drift e data quality.

Competências Comportamentais:

• Boa comunicação e capacidade de traduzir o técnico para o negócio.
• Organização e disciplina de follow-up.
• Influência sem autoridade.
• Facilidade para atuar com diversas diretorias e times técnicos.
• Flexibilidade para mudança de rota.
• Pensamento analítico orientado a dados.
• Perfil hands-on, com autonomia técnica.
• Curiosidade e aprendizado contínuo em ferramentas de IA.
• Rigor com padronização, documentação e qualidade de dados.

Informações da Empresa:

Nascida do objetivo de atender projetos e prestar serviços de forma eficiente e diferenciada somos uma empresa especializada em serviços de tecnologia e análise de dados, contando com uma equipe altamente capacitada em diversas áreas. Atendemos uma variedade de projetos, oferecendo expertise na captação e análise de dados, bem como a concepção e desenvolvimento de produtos.

Diferenciamo-nos pelo uso de uma metodologia única, proporcionando resultados de alta performance e qualidade com agilidade e eficiência.Acreditamos em ultrapassar o convencional, trazendo inovação para todos os segmentos de negócio.

Com mais de 12 anos de experiência no mercado de tecnologia, a Jump destaca-se como a parceira ideal para extrair o máximo potencial de seus dados de maneira eficaz e ágil. Nossa equipe especializada está sempre pronta para atender às necessidades específicas de nossos clientes em dados, a qualquer momento.