Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem em Seguros)

Sylision

United States

Remote

USD 150,000 - 190,000

Full time

11 days ago

A complete application in a minute

Tailored resume and cover letter, ready to send.

Get past ATS filters

Benefits offered by this job

Ambiente colaborativo
Trabalhe de qualquer lugar
Conexão global com times

Job summary

A Sylision está buscando um Engenheiro(a) de IA Sênior para liderar a avaliação de modelos de linguagem aplicados a seguros, incluindo a definição de taxonomia de erros, construção de conjuntos de avaliação e implementação de juízes automáticos. A posição é 100% remota para cliente sediado em Se3o Paulo, com contratação CLT ou PJ, exigindo senioridade e colaboração com especialistas em regulação.

Você irá desenvolver a infraestrutura de avaliação, calibrar contra avaliações humanas e medir

Qualifications

  • Avaliação de sistemas com LLMs e métricas
  • Python para pipelines de avaliação e RAG
  • Estatística para comparar versões com intervalo de confiança
  • Noção de risco de IA em contexto regulado e LGPD
  • Colaboração com especialistas de domínio para rotular casos
  • Rastreio e observabilidade de chamadas a modelos

Responsibilities

  • Definir com especialistas a taxonomia de erros e pesos
  • Construir conjuntos de avaliação (resumo, triagem, cobertura)
  • Implementar juízes automáticos e calibrá-los contra humanos
  • Medir fidelidade ao texto da apólice, recusa correta e alucinações
  • Montar pipeline de avaliação para mudanças de instrução/modelo/bases
  • Comparar modelos de mercado e open-source em qualidade e custo
  • Criar dashboards de qualidade em produção com amostragem contínua
  • Orientar equipes sobre leitura de resultados da avaliação

Skills

Avaliação LLM
Python
Estatística
LGPD
Domínio de seguros
Observabilidade

Tools

LangChain
Banco vetorial
Docker
FastAPI
Git

Job description

Vaga aberta de Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem em Seguros). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision.

Nível: senior.

Modelo de trabalho: 100% Remoto.

Contratação: tempo integral, CLT ou PJ.

Sobre a vaga:

Uma seguradora quer usar modelos de linguagem em três pontos: resumo de apólice para o corretor, triagem de aviso de sinistro e resposta a dúvidas sobre cobertura. Antes de cada uso ir ao ar, alguém precisa responder se o modelo é bom o bastante, e a resposta hoje é uma impressão de quem testou alguns exemplos. Você vai construir o método e a infraestrutura de avaliação que dão uma resposta com número.

Avaliar linguagem em seguros é difícil porque o erro é sutil. Dizer que um dano está coberto quando a cláusula o exclui gera dívida real. Os conjuntos de teste precisam de casos reais anonimizados, com respostas de referência feitas por especialistas em regulação e subscrição, e de uma divisão entre erros leves e graves. Os juízes automáticos baseados em modelo precisam de calibração contra avaliação humana, ou apenas repetem o viés do modelo avaliado.

A infraestrutura roda a cada mudança de instrução, de modelo ou de base de conhecimento, compara versões, mede custo e latência e bloqueia liberações que pioram os casos críticos. Como é uma vaga sênior, a metodologia e o padrão de qualidade são seus.

O que você vai fazer:
  • Definir com especialistas de seguros a taxonomia de erros e o peso de cada um
  • Construir conjuntos de avaliação de resumo, triagem e respostas sobre cobertura
  • Implementar juízes automáticos e calibrá-los contra amostras avaliadas por humanos
  • Medir fidelidade ao texto da apólice, recusa correta e taxa de alucinação
  • Montar o pipeline que roda a avaliação a cada mudança e bloqueia regressões
  • Comparar modelos de mercado e abertos em qualidade, custo e latência
  • Criar painéis de acompanhamento da qualidade em produção com amostragem contínua
  • Orientar engenheiros e produto sobre como ler os resultados da avaliação
Requisitos:
  • Avaliação de sistemas com LLMs: conjuntos de teste, métricas e juízes automáticos
  • Python para pipelines de avaliação e para aplicações com RAG
  • Estatística para comparar versões com intervalo de confiança
  • Noção de risco de uso de IA em contexto regulado e de LGPD
  • Colaboração com especialistas de domínio para rotular casos
  • Rastreio e observabilidade de chamadas a modelos
Diferenciais:
  • Conhecimento do funcionamento de apólices, coberturas e sinistros
  • Experiência com ferramentas de avaliação de LLMs de código aberto
  • Testes adversariais para provocar respostas incorretas
  • Prática em calibrar concordância entre avaliadores, como kappa
Como é trabalhar aqui:

Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em São Paulo, SP. Todo resultado de avaliação é guardado com a versão do conjunto de teste e do modelo, para poder ser reproduzido. A revisão é em par e os casos críticos são discutidos com os especialistas de seguros a cada ciclo. Na candidatura, informe a sua pretensão salarial.

Benefícios oferecidos pela empresa contratante:
  • Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
  • Trabalhe de qualquer lugar, com liberdade e flexibilidade
  • Conexão global: convivência com times de diferentes países e culturas
  • Apoio à saúde física com TotalPass e Mediquo
  • Cuidado com a saúde mental pelo programa Team Care
  • Contratação e jornada definidas com a empresa contratante
Tecnologias envolvidas:
  • Python
  • LLMs
  • RAG
  • LangChain
  • Banco vetorial
  • FastAPI
  • Docker
  • Git
  • Avaliação automatizada
Seus dados:

tratados conforme a LGPD, com remoção a qualquer momento, a pedido.

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Especialista em Inteligência Artificial (Ajuste Fino de Modelos em Seguros)
Especialista em Inteligência Artificial (Ajuste Fino de Modelos em Seguros)

Sylision • United States

Remote
USD 120,000 - 180,000
Ambiente colaborativo
Trabalho remoto
Conexão global
+2
Especialista em Inteligência Artificial (IA Responsável em Seguros)
Especialista em Inteligência Artificial (IA Responsável em Seguros)

Sylision • United States

Remote
USD 33,000 - 51,000
Trabalho remoto 100%
Contrato CLT ou PJ
Ambiente de atuação com clientes glob展
Engenheiro(a) de IA Pleno (Assistente Interno com LLM em Seguros)
Engenheiro(a) de IA Pleno (Assistente Interno com LLM em Seguros)

Sylision • United States

Remote
USD 90,000 - 120,000
Ambiente colaborativo
Trabalho remoto 100%
Conexão global: times de diferentes pa
+3
Especialista em Inteligência Artificial (Governança de Modelos em Seguros)
Especialista em Inteligência Artificial (Governança de Modelos em Seguros)

Sylision • United States

Remote
USD 59,000 - 85,000
Trabalho remoto 100%
CLT ou PJ
Ambiente colaborativo
+2
Analista de QA Sênior (Testes de Sistemas com IA em Seguros)
Analista de QA Sênior (Testes de Sistemas com IA em Seguros)

Sylision • United States

Remote
USD 90,000 - 130,000
Ambiente colaborativo
Trabalho remoto
Conexão global
+3
Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem no Mercado Imobiliário)
Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem no Mercado Imobiliário)

Sylision • United States

Remote
USD 33,000 - 55,000
Trabalho remoto 100%
Contrato CLT ou PJ
Trabalho com clientes internacionais
+1
Engenheiro(a) de IA Pleno (Avaliação de Modelos de Linguagem em Meios de Pagamento)
Engenheiro(a) de IA Pleno (Avaliação de Modelos de Linguagem em Meios de Pagamento)

Sylision • United States

Remote
USD 120,000 - 180,000
Remote work
Health benefits
Team Care program
+1
Engenheiro(a) de IA Sênior (Copiloto de Vendas em Seguros)
Engenheiro(a) de IA Sênior (Copiloto de Vendas em Seguros)

Sylision • United States

Remote
USD 140,000 - 200,000
Ambiente colaborativo
Trabalhe de qualquer lugar
Conexão global
+3
Especialista em Inteligência Artificial (Plataforma de IA em Seguros)
Especialista em Inteligência Artificial (Plataforma de IA em Seguros)

Sylision • United States

Remote
USD 180,000 - 280,000
Ambiente colaborativo
Trabalhe de qualquer lugar
Conexão global
+3
Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem em Recursos Humanos)
Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem em Recursos Humanos)

Sylision • United States

Remote
USD 48,000 - 69,000
Ambiente colaborativo
Trabalho remoto
Conexão global
+3