Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem no E-commerce)

Sylision

United States

Remote

USD 120,000 - 180,000

Full time

10 days ago

Get a reply from this recruiter

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Benefits offered by this job

Ambiente colaborativo
Trabalhe de qualquer lugar
Conexão global com times
TotalPass e Mediquo
Team Care
Contratação definida

Job summary

Sylision procura Engenheiro(a) de IA Sênior para liderar a avaliação de modelos de linguagem aplicados a um e-commerce. O papel envolve construir conjuntos de avaliação, definir métricas de erro e implementar avaliadores automáticos com calibração humana.

Você rodará avaliações de mudanças de prompt e modelo, comparará custos e latência entre soluções de mercado e abertas e criará dashboards de qualidade para suportar decisões rápidas sobre cassos de melhoria.

Qualifications

  • Avaliação de sistemas com modelos de linguagem (inclui juiz).
  • Python e testes automatizados.
  • RAG e agentes; estatística para validar diferenças.

Responsibilities

  • Construir e manter o conjunto de avaliação a partir de conversas reais anonimizadas.
  • Definir métricas por tipo de erro: fato de produto, política, tom, recusa indevida e alucinação.
  • Implementar avaliadores com regras e com modelo como juiz, medindo concordância com revisão humana.
  • Rodar avaliação automática em cada mudança de prompt, de modelo e de catálogo.
  • Comparar custo, latência e qualidade entre modelos de mercado e abertos.
  • Instrumentar rastreamentos para inspecionar cada conversa passo a passo.
  • Criar painéis de qualidade e alertas para quedas após lançamentos.
  • Orientar a equipe sobre amostragem, viés de avaliação e leitura de resultado.

Skills

Estatística
CI/CD
Matemática/Modelagem
Python

Tools

Python
LLMs
RAG
LangChain
FastAPI
Docker

Job description

Vaga aberta de Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem no E-commerce). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision.

Nível: senior.

Modelo de trabalho: 100% Remoto.

Contratação: tempo integral, CLT ou PJ.

Sobre a vaga:

Uma loja virtual troca de modelo de linguagem, muda o prompt do assistente de compras e atualiza o catálogo toda semana. Sem avaliação, ninguém sabe se a mudança melhorou ou piorou as respostas: o assistente recomenda produto sem estoque, erra voltagem, confunde tamanho de calçado ou responde política de troca com prazo errado.

O trabalho é construir a máquina de avaliação do produto. Isso inclui um conjunto de casos extraído de conversas reais, com resposta esperada e fonte; avaliadores automáticos, incluindo modelo como juiz com calibração contra pessoas; testes de regressão em cada mudança; e um modo de ver, para cada conversa, o que foi recuperado e por que o modelo respondeu o que respondeu.

Você é responsável por transformar opinião em número. O sucesso aparece quando a equipe decide trocar um modelo ou um prompt com base em evidência, quando regressões são pegas antes do lançamento e quando a nota automática concorda com a revisão humana.

O que você vai fazer:

  • Construir e manter o conjunto de avaliação a partir de conversas reais anonimizadas
  • Definir métricas por tipo de erro: fato de produto, política, tom, recusa indevida e alucinação
  • Implementar avaliadores com regras e com modelo como juiz, medindo sua concordância com revisão humana
  • Rodar avaliação automática em cada mudança de prompt, de modelo e de catálogo
  • Comparar custo, latência e qualidade entre modelos de mercado e abertos
  • Instrumentar rastreios para inspecionar cada conversa passo a passo
  • Criar painéis de qualidade e alertas para queda após lançamentos
  • Orientar a equipe sobre amostragem, viés de avaliação e leitura de resultado

Requisitos:

  • Avaliação de sistemas com modelos de linguagem, incluindo modelo como juiz
  • Python e testes automatizados
  • RAG e agentes, com entendimento de onde cada um falha
  • Estatística para dizer se uma diferença entre duas versões é real ou ruído
  • Cuidado com dados pessoais de clientes
  • Escrita clara de critérios que outras pessoas consigam aplicar

Diferenciais:

  • Ferramentas de observabilidade para aplicações de IAConhecimento de catálogo, estoque e política de troca no varejo online
  • Geração de dados sintéticos para casos raros
  • Experiência com revisão humana em fila
  • Docker e CI para rodar avaliação em pipeline

Como é trabalhar aqui:

Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em São Paulo, SP. Toda mudança de modelo ou de prompt só é publicada com o relatório de avaliação anexado, e os critérios de nota ficam escritos e revisados em par. O ritmo é de ciclos curtos, com a leitura de conversas reais como hábito semanal. Na candidatura, informe a sua pretensão salarial.

Benefícios oferecidos pela empresa contratante:

  • Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
  • Trabalhe de qualquer lugar, com liberdade e flexibilidade
  • Conexão global: convivência com times de diferentes países e culturas
  • Apoio à saúde física com TotalPass e Mediquo
  • Cuidado com a saúde mental pelo programa Team Care
  • Contratação e jornada definidas com a empresa contratante

Tecnologias envolvidas:

  • Python
  • LLMs
  • Avaliação de LLMs
  • RAG
  • LangChain
  • FastAPI
  • Observabilidade
  • Docker

Seus dados: tratados conforme a LGPD, com remoção a qualquer momento, a pedido.

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem no Varejo)
Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem no Varejo)

Sylision • United States

Remote
USD 40,000 - 76,000
Ambiente colaborativo
Trabalho remoto ilimitado
Conexão global
+2
Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem no Mercado Imobiliário)
Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem no Mercado Imobiliário)

Sylision • United States

Remote
USD 33,000 - 55,000
Trabalho remoto 100%
Contrato CLT ou PJ
Trabalho com clientes internacionais
+1
Engenheiro(a) de IA Pleno (Avaliação de Modelos de Linguagem em Meios de Pagamento)
Engenheiro(a) de IA Pleno (Avaliação de Modelos de Linguagem em Meios de Pagamento)

Sylision • United States

Remote
USD 120,000 - 180,000
Remote work
Health benefits
Team Care program
+1
Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem em Recursos Humanos)
Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem em Recursos Humanos)

Sylision • United States

Remote
USD 48,000 - 69,000
Ambiente colaborativo
Trabalho remoto
Conexão global
+3
Engenheiro(a) de IA Pleno (Avaliação de Modelos de Linguagem na Educação)
Engenheiro(a) de IA Pleno (Avaliação de Modelos de Linguagem na Educação)

Sylision • United States

Remote
USD 16,000 - 27,000
Ambiente colaborativo
Trabalho remoto total
Conexão global com times diversos
+2
Engenheiro(a) de IA Pleno (Avaliação de Modelos de Linguagem no Agronegócio)
Engenheiro(a) de IA Pleno (Avaliação de Modelos de Linguagem no Agronegócio)

Sylision • United States

Remote
USD 120,000 - 180,000
Trabalho remoto 100%
TotalPass e Mediquo
Team Care program
+2
Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem na Saúde)
Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem na Saúde)

Sylision • United States

Remote
USD 44,000 - 65,000
Ambiente colaborativo
Trabalhe de qualquer lugar
Conexão global
+3
Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem em Bancos Digitais)
Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem em Bancos Digitais)

Sylision • United States

Remote
USD 150,000 - 210,000
Trabalho remoto 100%
Flexibilidade de local
Conexão global com equipes multi‑país
Engenheiro(a) de IA Sênior (Classificação de Chamados com LLM no Varejo)
Engenheiro(a) de IA Sênior (Classificação de Chamados com LLM no Varejo)

Sylision • United States

Remote
USD 33,000 - 55,000
Ambiente colaborativo
Trabalho remoto
Conexão global
+1
Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem na Logística)
Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem na Logística)

Sylision • United States

Remote
USD 51,000 - 81,000
Ambiente colaborativo, com senso de…
Trabalhe de qualquer lugar, com flexib
Conexão global com times de diferentes
+2