Get a reply from this recruiter
Your resume and cover letter, tailored to exactly what they’re hiring for.
Sylision procura Engenheiro(a) de IA Sênior para liderar a avaliação de modelos de linguagem aplicados a um e-commerce. O papel envolve construir conjuntos de avaliação, definir métricas de erro e implementar avaliadores automáticos com calibração humana.
Você rodará avaliações de mudanças de prompt e modelo, comparará custos e latência entre soluções de mercado e abertas e criará dashboards de qualidade para suportar decisões rápidas sobre cassos de melhoria.
Vaga aberta de Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem no E-commerce). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision.
Nível: senior.
Modelo de trabalho: 100% Remoto.
Contratação: tempo integral, CLT ou PJ.
Sobre a vaga:
Uma loja virtual troca de modelo de linguagem, muda o prompt do assistente de compras e atualiza o catálogo toda semana. Sem avaliação, ninguém sabe se a mudança melhorou ou piorou as respostas: o assistente recomenda produto sem estoque, erra voltagem, confunde tamanho de calçado ou responde política de troca com prazo errado.
O trabalho é construir a máquina de avaliação do produto. Isso inclui um conjunto de casos extraído de conversas reais, com resposta esperada e fonte; avaliadores automáticos, incluindo modelo como juiz com calibração contra pessoas; testes de regressão em cada mudança; e um modo de ver, para cada conversa, o que foi recuperado e por que o modelo respondeu o que respondeu.
Você é responsável por transformar opinião em número. O sucesso aparece quando a equipe decide trocar um modelo ou um prompt com base em evidência, quando regressões são pegas antes do lançamento e quando a nota automática concorda com a revisão humana.
O que você vai fazer:
Requisitos:
Diferenciais:
Como é trabalhar aqui:
Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em São Paulo, SP. Toda mudança de modelo ou de prompt só é publicada com o relatório de avaliação anexado, e os critérios de nota ficam escritos e revisados em par. O ritmo é de ciclos curtos, com a leitura de conversas reais como hábito semanal. Na candidatura, informe a sua pretensão salarial.
Benefícios oferecidos pela empresa contratante:
Tecnologias envolvidas:
Seus dados: tratados conforme a LGPD, com remoção a qualquer momento, a pedido.