LLM Data Researcher — Python & SQL | RAG Evaluation

Programathor; United States; Remote; BRL 120,000 - 180,000; Full time

Job summary

A ProgramaThor está recrutando para fortalecer sua equipe de avaliação de LLMs e RAG no Brasil. Você irá liderar a qualidade do sistema de avaliação, realizar avaliações estruturadas e identificar falhas em recuperação, ranking e prompts.

Requisitos incluem 4+ anos de experiência, Python, SQL e conhecimento de LLMs. Buscamos alguém proativo, com excelente comunicação em inglês, capaz de manter datasets de alta qualidade e colaborar com Produto e Engenharia.

Qualifications

• 4+ anos de pesquisa de dados, analytics aplicado ou experiência em avaliação.
• Proeficiência em Python e SQL.
• Conhecimento de LLMs, prompting, RAG e conceitos de recuperação.
• Capacidade de manter conjuntos de dados de avaliação com qualidade e versionamento.
• Experiência em desenhar experimentos controlados com métricas e critérios de sucesso.

Responsibilities

• Possuir a qualidade do sistema de avaliação de LLM e RAG.
• Conduzir avaliações estruturadas de LLM e RAG e análise de causa raiz.
• Distinguir falhas de recuperação, ranking, fonte, prompt, modelo e citação.
• Manter datasets de avaliação com qualidade, versionamento e cobertura.
• Refinar prompts, rubricas e fluxos de avaliação com LLM como juiz.
• Automatizar análises repetitivas com Python, SQL, notebooks, APIs.
• Comunicar achados e ações para Produto, Engenharia e liderança.

Skills

Claude Code

Python

SQL

Education

Bacharelado em Engenharia da Computação, Ciência da Computação ou equivalente

Job description

A ProgramaThor está recrutando para fortalecer sua equipe de avaliação de LLMs e RAG no Brasil. Você irá liderar a qualidade do sistema de avaliação, realizar avaliações estruturadas e identificar falhas em recuperação, ranking e prompts.

Requisitos incluem 4+ anos de experiência, Python, SQL e conhecimento de LLMs. Buscamos alguém proativo, com excelente comunicação em inglês, capaz de manter datasets de alta qualidade e colaborar com Produto e Engenharia.