Especialista em Inteligência Artificial (Qualidade de IA em Bancos Digitais)

Sylision; United States; Remote; USD 33,000 - 51,000; Full time

Benefits offered by this job

Ambiente colaborativo

Trabalho remoto 100%

Conexão com times globais

Apoio à saúde física/mental

Job summary

Sylision busca um(a) especialista em qualidade de IA para definir métricas, monitoramento contínuo de deriva e calibração, além de supervisionar revisões humanas em saídas de alto risco. Você trabalhará com produto, risco e jurídico para garantir que modelos operem com indicadores claros e limites de uso bem documentados.

A posição é 100% remota, com contratação integral (CLT ou PJ) para um projeto de cliente sediado em São Paulo.

Qualifications

• Visão sistêmica de qualidade de modelos de aprendizado de máquina e de LLMs em produção.
• Domínio de métricas de desempenho, calibração e justiça entre grupos.
• Capacidade de projetar monitoramento de deriva com dados reais e ruidosos.
• Entendimento de risco de modelo em ambiente regulado.
• Comunicação com pessoas de risco, jurídico e produto, sem jargão desnecessário.
• Orientação de engenheiros por revisão e por exemplo.

Responsibilities

• Definir indicadores de qualidade por sistema de IA, ligando cada um ao impacto no cliente.
• Desenhar o monitoramento de deriva, calibração e desempenho por segmento.
• Estabelecer amostragem e rotina de revisão humana para saídas de alto risco.
• Definir limiares, responsáveis e passos de resposta para cada alerta.
• Orientar engenheiros na instrumentação e na avaliação de novos modelos.
• Conduzir revisões de qualidade com produto, risco e jurídico.
• Estabelecer critérios de retreino, de retorno a versão anterior e de desligamento de um modelo.
• Documentar limites de uso de cada modelo para quem toma decisão.

Skills

Qualidade de ML

LLMs

MLOps

Governança de IA

Monitoramento

Comunicação com risco

Python

PyTorch

Git

Tools

Python

PyTorch

Git

Job description

Nível: senior

Modelo de trabalho: 100% Remoto

Contratação: tempo integral, CLT ou PJ

Sobre a vaga:

Depois de alguns meses com modelos de IA em produção, um banco digital percebe que a qualidade não é um estado, é uma variável que muda. O modelo de crédito perde calibração, o assistente de atendimento responde bem a perguntas antigas e mal às novas, o classificador de fraude erra em um perfil que cresceu. Ninguém vê, porque o acompanhamento mede disponibilidade, e não acerto.

Como especialista, você vai definir o que significa qualidade de IA para cada sistema e como ela é medida continuamente: indicadores de desempenho, deriva de dados e de conceito, amostragem para revisão humana, limites que disparam alerta e política de retreino ou de retirada. A conversa inclui produto, risco e jurídico, que precisam entender o que a medida diz e o que não diz.

Também cabe a você decidir o que merece avaliação rigorosa e o que não. O resultado é medido por problemas detectados antes de o cliente sentir, tempo de reação e clareza dos relatórios para quem responde pelo risco.

O que você vai fazer:

• Definir indicadores de qualidade por sistema de IA, ligando cada um ao impacto no cliente
• Desenhar o monitoramento de deriva, calibração e desempenho por segmento
• Estabelecer amostragem e rotina de revisão humana para saídas de alto risco
• Definir limiares, responsáveis e passos de resposta para cada alerta
• Orientar engenheiros na instrumentação e na avaliação de novos modelos
• Conduzir revisões de qualidade com produto, risco e jurídico
• Estabelecer critérios de retreino, de retorno a versão anterior e de desligamento de um modelo
• Documentar limites de uso de cada modelo para quem toma decisão

Requisitos:

• Visão sistêmica de qualidade de modelos de aprendizado de máquina e de LLMs em produção
• Domínio de métricas de desempenho, calibração e justiça entre grupos
• Capacidade de projetar monitoramento de deriva com dados reais e ruidosos
• Entendimento de risco de modelo em ambiente regulado
• Comunicação com pessoas de risco, jurídico e produto, sem jargão desnecessário
• Orientação de engenheiros por revisão e por exemplo

Diferenciais:

• Experiência com modelos de crédito, fraude ou atendimento financeiro
• Conhecimento de gestão de risco de modelo e de documentação de validação
• Prática com rotinas de revisão humana em escala
• Familiaridade com plataformas de observabilidade de modelos

Como é trabalhar aqui:

Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em São Paulo, SP. A qualidade de cada sistema de IA tem dono nomeado e uma revisão periódica com participação de produto e de risco. Os pareceres são curtos, com evidência anexada e recomendação objetiva. O trabalho combina atuação direta nas decisões e mentoria de engenheiros, sem esconder dúvida quando ela existe.

Benefícios oferecidos pela empresa contratante:

• Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
• Trabalhe de qualquer lugar, com liberdade e flexibilidade
• Conexão global: convivência com times de diferentes países e culturas
• Apoio à saúde física com TotalPass e Mediquo
• Cuidado com a saúde mental pelo programa Team Care
• Contratação e jornada definidas com a empresa contratante

Tecnologias envolvidas:

• Python
• LLMs
• MLOps
• Avaliação de modelos
• Governança de IA
• Monitoramento
• Nuvem
• PyTorch
• Git

Seus dados: tratados conforme a LGPD, com remoção a qualquer momento, a pedido.