Engenheiro(a) de IA Sênior — Avaliação de LLMs (Logística)

Sylision; United States; Remote; USD 51,000 - 81,000; Full time

Benefits offered by this job

Ambiente colaborativo, com senso de…

Trabalhe de qualquer lugar, com flexib

Conexão global com times de diferentes

TotalPass e Mediquo

Team Care

Job summary

A Sylision busca Engenheiro(a) de IA Sênior para atuar na avaliação de modelos de linguagem aplicados à logística. Você montará conjuntos de avaliação a partir de casos reais, definirá métricas por tarefa (extração, resposta com consulta, recusa e tom) e criará avaliadores automáticos calibrados frente à revisão humana.

A função envolve integração da avaliação ao pipeline para bloquear liberações com queda de qualidade, além de acompanhar custo, latência e deriva entre produção e validação.

Qualifications

• Requisitos: Python e testes automatizados de aplicação com modelos de linguagem.
• Desenho de conjuntos de avaliação e de métricas por tarefa.
• Uso de modelos como avaliadores, com noção de seus vieses.
• Estatística básica para comparar versões com amostras pequenas.
• Observabilidade e rastreamento de chamadas de LLM.
• Leitura crítica de erros e comunicação com donos de produto

Responsibilities

• Montar conjuntos de avaliação a partir de e-mails, conhecimentos e ocorrências reais anonimizados.
• Definir métricas por tarefa: extração, resposta com consulta, recusa e tom.
• Construir avaliadores automáticos e calibrá-los contra a revisão humana.
• Integrar a avaliação ao pipeline para bloquear a liberação com queda de qualidade.
• Amostrar a produção e reavaliar para detectar deriva.
• Analisar falhas por categoria e abrir melhorias para os times donos de cada fluxo.
• Rastrear custo e latência por versão de prompt e de modelo

Skills

Python

Testes automatizados

Estatística básica

Observabilidade

Interpretação de erros

Comunicação com produto

Tools

LangChain

FastAPI

Banco vetorial

RAG

LLMs

Job description

A Sylision busca Engenheiro(a) de IA Sênior para atuar na avaliação de modelos de linguagem aplicados à logística. Você montará conjuntos de avaliação a partir de casos reais, definirá métricas por tarefa (extração, resposta com consulta, recusa e tom) e criará avaliadores automáticos calibrados frente à revisão humana.

A função envolve integração da avaliação ao pipeline para bloquear liberações com queda de qualidade, além de acompanhar custo, latência e deriva entre produção e validação.