Senior AI Engineer: LLM Evaluation for HR (Remote)

Sylision; United States; Remote; USD 48,000 - 69,000; Full time

Benefits offered by this job

Ambiente colaborativo

Trabalho remoto

Conexão global

TotalPass/Mediquó

Team Care

Jornada definida

Job summary

A Sylision busca Engenheiro(a) de IA Sênior para atuar 100% remoto, avaliando modelos de linguagem em RH. Você criará a bateria de avaliação, definirá métricas de fidelidade ao documento e conduzirá testes de viés com pares contrafactuais.

Você calibrará avaliadores contra julgamento humano, integrará a bateria ao pipeline, monitorará custo por avaliação e latência, e garantirá conformidade com LGPD protegendo dados pessoais.

Qualifications

• Experiência com avaliação de LLMs e métricas de fidelidade.
• Conhecimento em métricas de equidade e viés algorítmico.
• Experiência com pipelines de RAG e ferramentas de memória.

Responsibilities

• Construir conjuntos de avaliação por caso de uso revisados por especialistas de RH.
• Medir fidelidade ao documento, cobertura de informação e recusa correta quando não há resposta.
• Montar testes de viés com pares contrafactuais e reportar diferenças por atributo.
• Calibrar avaliadores baseados em modelos contra julgamentos humanos e medir concordância.
• Integrar a bateria ao pipeline para bloquear regressões antes da publicação.
• Acompanhar em produção qualidade, custo por requisição e latência com amostragem para revisão.
• Proteger dados pessoais conforme LGPD durante os conjuntos de teste.

Skills

Python sólido

FastAPI

LLMs

Docker

Git

APIs

Tools

LangChain

Banco vetorial

Job description

A Sylision busca Engenheiro(a) de IA Sênior para atuar 100% remoto, avaliando modelos de linguagem em RH. Você criará a bateria de avaliação, definirá métricas de fidelidade ao documento e conduzirá testes de viés com pares contrafactuais.

Você calibrará avaliadores contra julgamento humano, integrará a bateria ao pipeline, monitorará custo por avaliação e latência, e garantirá conformidade com LGPD protegendo dados pessoais.