Engenheiro(a) de IA Pleno — Avaliação de LLM em Pagamentos (Remote)

Sylision; United States; Remote; USD 120,000 - 180,000; Full time

Benefits offered by this job

Remote work

Health benefits

Team Care program

Flexible schedule

Job summary

Sylision está contratando um Engenheiro(a) de IA Pleno para avaliar modelos de linguagem em meios de pagamento, com atuação 100% remota. O papel envolve construir referências de avaliação, definir critérios de nota e automatizar execuções, calibrando o modelo como juiz. Trabalha com dados sensíveis e busca estabilidade entre execuções.

O profissional trabalhará com Python, LLMs, RAG, FastAPI e observabilidade, contribuindo para métricas de custo, latência e qualidade das defesas de contestações.

Qualifications

• Experiência prática com LLMs e saída estruturada.
• Construção de conjuntos de avaliação com critérios objetivos.
• Conhecimento de observabilidade de chamadas de modelo e custo de inferência.
• Capacidade de automatizar avaliações e calibração de modelos.

Responsibilities

• Montar o conjunto de referência estratificado por tipo de contestação, bandeira e dificuldade.
• Definir critérios de nota objetivos com os analistas.
• Automatizar a execução da avaliação a cada mudança de prompt, de modelo ou de regra.
• Calibrar o uso de modelo como juiz contra revisão humana e medir a concordância.
• Medir custo, latência e variação entre execuções para cada configuração candidata.
• Criar testes de regressão a partir de erros reais que chegaram a produção.
• Registrar traços das chamadas para investigar casos ruins com facilidade.
• Publicar um relatório comparativo que sustente a decisão de promover ou não uma mudança.

Skills

Python programming

LLMs experience

Automated evaluation pipelines

Experimentation

Observability

Tools

Python

LLMs

FastAPI

Docker

Git

RAG

Job description

Sylision está contratando um Engenheiro(a) de IA Pleno para avaliar modelos de linguagem em meios de pagamento, com atuação 100% remota. O papel envolve construir referências de avaliação, definir critérios de nota e automatizar execuções, calibrando o modelo como juiz. Trabalha com dados sensíveis e busca estabilidade entre execuções.

O profissional trabalhará com Python, LLMs, RAG, FastAPI e observabilidade, contribuindo para métricas de custo, latência e qualidade das defesas de contestações.