Engenheiro(a) Sênior de IA — Avaliação de LLMs (Mobilidade)

Sylision; United States; Remote; USD 36,000 - 62,000; Full time

Benefits offered by this job

Ambiente colaborativo

Trabalho remoto total

Conexão global

Apoio à saúde física

Saúde mental (Team Care)

Job summary

Sylision está buscando um Engenheiro(a) de IA Sênior para desenvolver a plataforma de avaliação dos modelos de linguagem que sustentam produtos de mobilidade urbana. O posto é 100% remoto, com contratação CLT ou PJ, para atuação em projetos de avaliação de LLMs, com foco em fidelidade, latência e custo.

Você construirá conjuntos de casos, definirá critérios de validação e calibrará o modelo com revisão humana, integrando RAG, LangChain e pipelines em FastAPI.

Qualifications

• Avaliação de LLM com métricas, conjunto de referência e análise de erro.
• Modelo como juiz calibrado com revisão humana.
• Casos de borda para mobilidade urbana com critérios verificáveis.

Responsibilities

• Construir o conjunto de avaliação com conversas anonimizadas e casos de borda da operação.
• Definir critérios verificáveis, como linha existente, horário correto e recusa adequada.
• Implementar checagens determinísticas e modelo como juiz, calibrado com amostras humanas.
• Automatizar a avaliação no pipeline com gate de publicação.
• Medir fidelidade, cobertura, custo e latência por versão e por categoria.
• Amostrar respostas em produção e acompanhar a regressão ao longo do tempo.
• Analisar falhas para decidir entre mudar prompt, recuperação ou modelo.
• Definir o padrão de avaliação e treinar engenheiros para usá-lo.

Skills

Python

FastAPI

LLMs

LangChain

RAG

Observability

Docker

Git

Model evaluation

Tools

LangChain

Job description

Sylision está buscando um Engenheiro(a) de IA Sênior para desenvolver a plataforma de avaliação dos modelos de linguagem que sustentam produtos de mobilidade urbana. O posto é 100% remoto, com contratação CLT ou PJ, para atuação em projetos de avaliação de LLMs, com foco em fidelidade, latência e custo.

Você construirá conjuntos de casos, definirá critérios de validação e calibrará o modelo com revisão humana, integrando RAG, LangChain e pipelines em FastAPI.