Senior AI Engineer LLM Evaluation for Real Estate (Remote)

Sylision; United States; À distance; USD 33 000 - 55 000; Plein temps

Avantages offerts par ce poste

Trabalho remoto 100%

Contrato CLT ou PJ

Trabalho com clientes internacionais

Ambiente de equipe

Résumé du poste

A Sylision busca um Engenheiro(a) de IA Sênior para liderar a avaliação de modelos de linguagem aplicados ao mercado imobiliário. Você vai construir rubricas, conjuntos de avaliação e pipelines de calibração, garantindo que as mudanças sejam seguras e justificadas por evidências.

O trabalho é 100% remoto com contratação CLT ou PJ; envolve trabalhar com equipes multidisciplinares, medindo custo, latência e fidelidade aos dados da ficha de imóvel, com foco em qualidade, confiabilidade e eficácia

Qualifications

• Experiência com avaliação de sistemas com LLM e calibração com revisão humana.
• Conhecimento de estatística para comparar variantes com amostras pequenas.
• Python com testes automatizados e código de avaliação reprodutível.

Responsabilités

• Construir conjuntos de avaliação por caso de uso, com casos comuns, raros e adversariais.
• Escrever rubricas de qualidade com áreas de negócio e transformá-las em critérios mensuráveis.
• Implementar avaliação automática por modelo e calibrá-la contra amostras revisadas por pessoas.
• Medir fidelidade a fatos da ficha do imóvel, taxa de invenção e adequação do tom.
• Rodar comparações de modelo, prompt e recuperação com custo e latência lado a lado.
• Integrar a avaliação ao pipeline, para que regressão de qualidade bloqueie a mudança.
• Acompanhar em produção amostras de conversas reais e realimentar o conjunto de avaliação.
• Orientar engenheiros do produto sobre como avaliar uma mudança antes de pedir revisão.

Connaissances

Avaliação de IA/LLM

Calibração de avaliação

Estatística aplicada

Gestão de qualidade de modelos

Outils

Python

RAG

LangChain

FastAPI

SQL

Git

Description du poste

A Sylision busca um Engenheiro(a) de IA Sênior para liderar a avaliação de modelos de linguagem aplicados ao mercado imobiliário. Você vai construir rubricas, conjuntos de avaliação e pipelines de calibração, garantindo que as mudanças sejam seguras e justificadas por evidências.

O trabalho é 100% remoto com contratação CLT ou PJ; envolve trabalhar com equipes multidisciplinares, medindo custo, latência e fidelidade aos dados da ficha de imóvel, com foco em qualidade, confiabilidade e eficácia