Engenheiro(a) de IA Pleno (Avaliação de Modelos de Linguagem em Meios de Pagamento)

Sylision

United States

Remote

USD 120,000 - 180,000

Full time

12 days ago

Get a reply from this recruiter

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Benefits offered by this job

Remote work
Health benefits
Team Care program
Flexible schedule

Job summary

Sylision está contratando um Engenheiro(a) de IA Pleno para avaliar modelos de linguagem em meios de pagamento, com atuação 100% remota. O papel envolve construir referências de avaliação, definir critérios de nota e automatizar execuções, calibrando o modelo como juiz. Trabalha com dados sensíveis e busca estabilidade entre execuções.

O profissional trabalhará com Python, LLMs, RAG, FastAPI e observabilidade, contribuindo para métricas de custo, latência e qualidade das defesas de contestações.

Qualifications

  • Experiência prática com LLMs e saída estruturada.
  • Construção de conjuntos de avaliação com critérios objetivos.
  • Conhecimento de observabilidade de chamadas de modelo e custo de inferência.
  • Capacidade de automatizar avaliações e calibração de modelos.

Responsibilities

  • Montar o conjunto de referência estratificado por tipo de contestação, bandeira e dificuldade.
  • Definir critérios de nota objetivos com os analistas.
  • Automatizar a execução da avaliação a cada mudança de prompt, de modelo ou de regra.
  • Calibrar o uso de modelo como juiz contra revisão humana e medir a concordância.
  • Medir custo, latência e variação entre execuções para cada configuração candidata.
  • Criar testes de regressão a partir de erros reais que chegaram a produção.
  • Registrar traços das chamadas para investigar casos ruins com facilidade.
  • Publicar um relatório comparativo que sustente a decisão de promover ou não uma mudança.

Skills

Python programming
LLMs experience
Automated evaluation pipelines
Experimentation
Observability

Tools

Python
LLMs
FastAPI
Docker
Git
RAG

Job description

Vaga aberta de Engenheiro(a) de IA Pleno (Avaliação de Modelos de Linguagem em Meios de Pagamento). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision.

Nível: pleno.

Modelo de trabalho: 100% Remoto.

Contratação: tempo integral, CLT ou PJ.

Sobre a vaga:

A empresa de meios de pagamento usa um assistente baseado em modelo de linguagem para ajudar analistas de contestação: ele lê o motivo informado pelo portador, o comprovante da venda, as regras da bandeira e o histórico do lojista e sugere a resposta de defesa de uma contestação de compra. Cada prazo perdido ou resposta mal fundamentada é dinheiro que não volta ao lojista.

Seu trabalho é a avaliação. Trocar de modelo, mexer no prompt ou atualizar as regras da bandeira pode melhorar um tipo de caso e piorar outro sem ninguém perceber. Você vai construir o conjunto de referência com casos reais anonimizados, os critérios de nota (fundamentação correta, uso da regra vigente, ausência de dado inventado, formato aceito pela bandeira), a rotina de execução automática e a calibração do modelo usado como juiz contra a revisão de analistas.

O resultado é uma régua que decide, com número, se uma mudança pode subir: taxa de defesas aprovadas em amostra revisada, afirmações sem apoio na evidência, custo por caso, latência e estabilidade das notas entre execuções.

O que você vai fazer:
  • Montar o conjunto de referência estratificado por tipo de contestação, bandeira e dificuldade
  • Definir critérios de nota objetivos com os analistas de contestação
  • Automatizar a execução da avaliação a cada mudança de prompt, de modelo ou de regra
  • Calibrar o uso de modelo como juiz contra revisão humana e medir a concordância
  • Medir custo, latência e variação entre execuções para cada configuração candidata
  • Criar testes de regressão a partir de erros reais que chegaram a produção
  • Registrar traços das chamadas para investigar casos ruins com facilidade
  • Publicar um relatório comparativo que sustente a decisão de promover ou não uma mudança
Requisitos:
  • Python com testes e rotinas de avaliação automatizadas
  • Experiência prática com LLMs de mercado e abertos, incluindo saída estruturada
  • Construção de conjuntos de avaliação e escolha de métricas por tarefa
  • Noção de RAG e de como a recuperação afeta a resposta final
  • Observabilidade de chamadas de modelo: traços, custo e latência
  • Cuidado com dado financeiro e pessoal em conjuntos de avaliação
Diferenciais:
  • Calibração de modelo como juiz e estimativa de concordância entre avaliadores
  • Conhecimento do processo de contestação de compras e das regras das bandeiras
  • Avaliação de agentes com várias chamadas de ferramenta
  • Estatística para comparar versões com amostras pequenas
Como é trabalhar aqui:

Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em São Paulo, SP. Nenhuma alteração do assistente sobe sem o relatório de avaliação anexado ao pedido de revisão. Cada semana o time revisa em conjunto os dez casos com pior nota, que alimentam o conjunto de regressão. Na candidatura, informe a sua pretensão salarial.

Benefícios oferecidos pela empresa contratante:
  • Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
  • Trabalhe de qualquer lugar, com liberdade e flexibilidade
  • Conexão global: convivência com times de diferentes países e culturas
  • Apoio à saúde física com TotalPass e Mediquo
  • Cuidado com a saúde mental pelo programa Team Care
  • Contratação e jornada definidas com a empresa contratante
Tecnologias envolvidas:
  • Python
  • LLMs
  • Avaliação de LLMs
  • RAG
  • FastAPI
  • Observabilidade
  • Docker
  • Git
Seus dados:

tratados conforme a LGPD, com remoção a qualquer momento, a pedido.

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem no Varejo)
Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem no Varejo)

Sylision • United States

Remote
USD 40,000 - 76,000
Ambiente colaborativo
Trabalho remoto ilimitado
Conexão global
+2
Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem em Bancos Digitais)
Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem em Bancos Digitais)

Sylision • United States

Remote
USD 150,000 - 210,000
Trabalho remoto 100%
Flexibilidade de local
Conexão global com equipes multi‑país
Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem em Recursos Humanos)
Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem em Recursos Humanos)

Sylision • United States

Remote
USD 48,000 - 69,000
Ambiente colaborativo
Trabalho remoto
Conexão global
+3
Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem no E-commerce)
Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem no E-commerce)

Sylision • United States

Remote
USD 120,000 - 180,000
Ambiente colaborativo
Trabalhe de qualquer lugar
Conexão global com times
+3
Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem no Mercado Imobiliário)
Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem no Mercado Imobiliário)

Sylision • United States

Remote
USD 33,000 - 55,000
Trabalho remoto 100%
Contrato CLT ou PJ
Trabalho com clientes internacionais
+1
Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem na Saúde)
Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem na Saúde)

Sylision • United States

Remote
USD 44,000 - 65,000
Ambiente colaborativo
Trabalhe de qualquer lugar
Conexão global
+3
Engenheiro(a) de IA Pleno (Avaliação de Modelos de Linguagem no Agronegócio)
Engenheiro(a) de IA Pleno (Avaliação de Modelos de Linguagem no Agronegócio)

Sylision • United States

Remote
USD 120,000 - 180,000
Trabalho remoto 100%
TotalPass e Mediquo
Team Care program
+2
Engenheiro(a) de IA Pleno (Avaliação de Modelos de Linguagem na Educação)
Engenheiro(a) de IA Pleno (Avaliação de Modelos de Linguagem na Educação)

Sylision • United States

Remote
USD 16,000 - 27,000
Ambiente colaborativo
Trabalho remoto total
Conexão global com times diversos
+2
Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem na Logística)
Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem na Logística)

Sylision • United States

Remote
USD 51,000 - 81,000
Ambiente colaborativo, com senso de…
Trabalhe de qualquer lugar, com flexib
Conexão global com times de diferentes
+2
Engenheiro(a) de IA Sênior (Classificação de Chamados com LLM no Varejo)
Engenheiro(a) de IA Sênior (Classificação de Chamados com LLM no Varejo)

Sylision • United States

Remote
USD 33,000 - 55,000
Ambiente colaborativo
Trabalho remoto
Conexão global
+1