Engenheiro(a) IA Sênior: Avaliação de LMs no Varejo (Remote)

Sylision; United States; Remote; USD 40,000 - 76,000; Full time

Benefits offered by this job

Ambiente colaborativo

Trabalho remoto ilimitado

Conexão global

Apoio à saúde

Saúde mental

Job summary

A Sylision está contratando um(a) Engenheiro(a) de IA Sênior para atuar na avaliação de modelos de linguagem no varejo. O trabalho é 100% remoto com contratação CLT ou PJ.

Você definirá critérios de qualidade, construirá conjuntos de teste representativos e organizará rotulagem humana, calibrando juízes automáticos com base em LLM. Você implementará pipelines de avaliação com Python, FastAPI e ferramentas de RAG, medindo desempenho, custo e latência, além de reportar resultados por categoria de

Qualifications

• Avaliação de sistemas com LLM: métricas, juízes automáticos, vieses e concordância entre avaliadores.
• Delineamento de conjuntos de teste representativos, sem contaminação com treino ou prompts.
• Python com FastAPI e automação de rotinas de avaliação.
• Noções estatísticas para comparar sistemas e saber quando a diferença é real.
• Construção de RAG e de agentes, para entender o que se avalia.
• Comunicação com negócio sobre o que as notas significam e o que não significam.

Responsibilities

• Definir com o negócio os critérios de qualidade de resposta e seus pesos, por tipo de pergunta.
• Construir conjuntos de teste a partir de conversas reais anonimizadas, com casos difíceis e adversariais.
• Organizar a rotulagem humana, medir a concordância entre revisores e resolver divergências.
• Implementar juízes automáticos baseados em LLM e calibrá-los contra a rotulagem humana.
• Automatizar a execução no pipeline, comparando prompt, modelo e índice, com relatório por categoria de erro.
• Medir custo, latência e qualidade lado a lado, para escolher entre modelos de mercado e abertos.
• Acompanhar a qualidade em produção com amostras e sinais de uso, e alimentar o conjunto de teste.
• Ensinar o time a ler o resultado da avaliação e a desconfiar dele quando for o caso.

Skills

Avaliação LLM

Métricas

Concordância

Viés de modelos

Comunicação com negócio

Tools

Python

FastAPI

RAG

LangChain

Docker

Git

Job description

A Sylision está contratando um(a) Engenheiro(a) de IA Sênior para atuar na avaliação de modelos de linguagem no varejo. O trabalho é 100% remoto com contratação CLT ou PJ.

Você definirá critérios de qualidade, construirá conjuntos de teste representativos e organizará rotulagem humana, calibrando juízes automáticos com base em LLM. Você implementará pipelines de avaliação com Python, FastAPI e ferramentas de RAG, medindo desempenho, custo e latência, além de reportar resultados por categoria de