Engenheiro(a) Sênior de IA: Avaliação de LLMs em E-commerce

Sylision; United States; Remote; USD 120,000 - 180,000; Full time

Benefits offered by this job

Ambiente colaborativo

Trabalhe de qualquer lugar

Conexão global com times

TotalPass e Mediquo

Team Care

Contratação definida

Job summary

Sylision procura Engenheiro(a) de IA Sênior para liderar a avaliação de modelos de linguagem aplicados a um e-commerce. O papel envolve construir conjuntos de avaliação, definir métricas de erro e implementar avaliadores automáticos com calibração humana.

Você rodará avaliações de mudanças de prompt e modelo, comparará custos e latência entre soluções de mercado e abertas e criará dashboards de qualidade para suportar decisões rápidas sobre cassos de melhoria.

Qualifications

• Avaliação de sistemas com modelos de linguagem (inclui juiz).
• Python e testes automatizados.
• RAG e agentes; estatística para validar diferenças.

Responsibilities

• Construir e manter o conjunto de avaliação a partir de conversas reais anonimizadas.
• Definir métricas por tipo de erro: fato de produto, política, tom, recusa indevida e alucinação.
• Implementar avaliadores com regras e com modelo como juiz, medindo concordância com revisão humana.
• Rodar avaliação automática em cada mudança de prompt, de modelo e de catálogo.
• Comparar custo, latência e qualidade entre modelos de mercado e abertos.
• Instrumentar rastreamentos para inspecionar cada conversa passo a passo.
• Criar painéis de qualidade e alertas para quedas após lançamentos.
• Orientar a equipe sobre amostragem, viés de avaliação e leitura de resultado.

Skills

Estatística

CI/CD

Matemática/Modelagem

Python

Tools

Python

LLMs

RAG

LangChain

FastAPI

Docker

Job description

Sylision procura Engenheiro(a) de IA Sênior para liderar a avaliação de modelos de linguagem aplicados a um e-commerce. O papel envolve construir conjuntos de avaliação, definir métricas de erro e implementar avaliadores automáticos com calibração humana.

Você rodará avaliações de mudanças de prompt e modelo, comparará custos e latência entre soluções de mercado e abertas e criará dashboards de qualidade para suportar decisões rápidas sobre cassos de melhoria.