Engenheiro IA Pleno — Avaliação de Modelos Educacionais (Remote)

Sylision; United States; Remote; USD 16,000 - 27,000; Full time

Benefits offered by this job

Ambiente colaborativo

Trabalho remoto total

Conexão global com times diversos

Apoio à saúde física

Saúde mental Team Care

Job summary

Sylision procura Engenheiro(a) de IA Pleno para avaliar modelos de linguagem na educação, trabalhando 100% remoto. Você criará a infraestrutura de avaliação, métricas e rotinas para verificar fidelidade, correção, adequação e privacidade, com dados anonimizados de alunos.

O papel envolve calibrar um juiz de IA, automatizar avaliações a cada mudança, checar alucinações contra fontes e publicar relatórios de regressão, utilizando Python, FastAPI, RAG e LangChain.

Qualifications

• Requisitos: Python em nível de produção com testes.
• Construção de sistemas com RAG e conhecimento de seus pontos de falha.
• Métodos de avaliação de modelos de linguagem e seus vieses.
• Desenho de rubrica e de conjunto de referência confiável.
• FastAPI e containers para publicar a rotina de avaliação.
• Cuidado com dados de menores e com a LGPD.

Responsibilities

• Construir conjuntos de perguntas de referência por disciplina junto com professores.
• Definir métricas de fidelidade, correção e adequação e escrever a rubrica de cada uma.
• Calibrar um modelo juiz contra notas humanas e medir a concordância.
• Automatizar a execução da avaliação a cada mudança de modelo, instrução ou base.
• Detectar alucinação e resposta fora do material com checagem contra a fonte recuperada.
• Anonimizar dados de aula usados na avaliação, respeitando a LGPD.
• Publicar o relatório de regressão e bloquear versões abaixo do limite combinado.

Skills

Python

RAG

LangChain

FastAPI

LGPD

Git

LLMs

Tools

Banco vetorial

Job description

Sylision procura Engenheiro(a) de IA Pleno para avaliar modelos de linguagem na educação, trabalhando 100% remoto. Você criará a infraestrutura de avaliação, métricas e rotinas para verificar fidelidade, correção, adequação e privacidade, com dados anonimizados de alunos.

O papel envolve calibrar um juiz de IA, automatizar avaliações a cada mudança, checar alucinações contra fontes e publicar relatórios de regressão, utilizando Python, FastAPI, RAG e LangChain.