Especialista em Inteligência Artificial (Qualidade de IA no E-commerce)

confidential; United States; Remote; USD 150,000 - 190,000; Full time

Benefits offered by this job

Ambiente colaborativo

Trabalhe de qualquer lugar com flexibl

Job summary

Sylision procura Especialista em Inteligência Artificial (Qualidade de IA no E-commerce) para compor equipe sênior, atuando 100% remoto nos EUA. Você definirá padrões de qualidade, critérios por tarefa e calibrará avaliações com revisão humana, orientando engenheiros em testes, guardrails e decisões de arquitetura.

O papel exige visão de arquitetura de sistemas de IA, uso de Python, MLOps e gestão de riscos como alucinação e viés, com comunicação eficiente entre equipes técnicas e tomadores de

Qualifications

• Avaliação de modelos de linguagem com métodos quantitativos e qualitativos.
• Visão de arquitetura de sistemas de IA, incluindo recuperação, ferramentas e dados.
• Estatística para comparar versões e interpretar diferenças pequenas.
• Python e práticas de MLOps, com versionamento de dados e modelos.
• Entendimento de riscos de IA: alucinação, viés, vazamento de dados.
• Comunicação com público técnico e com quem decide.

Responsibilities

• Definir o padrão de qualidade para assistentes e busca com IA e os critérios por tarefa.
• Montar conjuntos de avaliação a partir de conversas reais, com amostragem e anonimização.
• Calibrar avaliação automática por modelo com revisão humana e medir a concordância.
• Desenhar o monitoramento contínuo em produção, com amostras revisadas e alertas de queda.
• Estabelecer portões de liberação para novas versões de modelo, prompt e dados.
• Orientar engenheiros em testes, guardrails e análise de falhas.
• Explicar o risco residual a negócio e jurídico, inclusive sobre promessa de prazo e preço.

Skills

Python

MLOps

Arquitetura de IA

PyTorch

Git

Job description

Vaga aberta de Especialista em Inteligência Artificial (Qualidade de IA no E-commerce). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision.

Nível: senior.

Modelo de trabalho: 100% Remoto.

Contratação: tempo integral, CLT ou PJ.

Sobre a vaga:

O e-commerce tem um assistente de compras que recomenda produtos, compara itens e responde dúvidas de pedido, além de uma busca por linguagem natural. As reclamações vão de recomendação de produto fora de estoque a resposta confiante sobre prazo de entrega que está errada. Ninguém tem uma visão única da qualidade: cada equipe confere do seu jeito, e a nota depende de quem olhou.

Você vai definir o que é qualidade para sistemas de IA da empresa e como medi-la: conjuntos de referência por tarefa, critérios de avaliação (fidelidade ao catálogo, utilidade, tom, segurança), uso de modelo como juiz calibrado por avaliação humana e monitoramento em produção. Também decide o que bloqueia uma versão e o que vira alerta.

O sucesso se vê quando uma troca de modelo ou de prompt vem com números comparáveis, quando regressões são pegas antes do cliente e quando negócio e jurídico entendem o risco residual. Como especialista sênior, você orienta engenheiros e responde pelas decisões de arquitetura de avaliação.

O que você vai fazer:

• Definir o padrão de qualidade para assistentes e busca com IA e os critérios por tarefa
• Montar conjuntos de avaliação a partir de conversas reais, com amostragem e anonimização
• Calibrar avaliação automática por modelo com revisão humana e medir a concordância
• Desenhar o monitoramento contínuo em produção, com amostras revisadas e alertas de queda
• Estabelecer portões de liberação para novas versões de modelo, prompt e dados
• Orientar engenheiros em testes, guardrails e análise de falhas
• Explicar o risco residual a negócio e jurídico, inclusive sobre promessa de prazo e preço

Requisitos:

• Avaliação de modelos de linguagem com métodos quantitativos e qualitativos
• Visão de arquitetura de sistemas de IA, incluindo recuperação, ferramentas e dados
• Estatística para comparar versões e interpretar diferenças pequenas
• Python e práticas de MLOps, com versionamento de dados e modelos
• Entendimento de riscos de IA: alucinação, viés, vazamento de dados
• Comunicação com público técnico e com quem decide

Diferenciais:

• Testes A/B com métricas de produto e de qualidade
• Experiência com anotação de dados e guias de rotulagem
• Conhecimento de busca e recomendação
• Ajuste fino de modelos menores para tarefas específicas
• Participação em definição de políticas de uso de IA

Como é trabalhar aqui:

Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em São Paulo, SP. Seu trabalho é de influência: documentos curtos de decisão, revisões abertas e um relatório mensal de qualidade que o time inteiro lê. O ritmo é guiado pelas liberações de versão. Na candidatura, informe a sua pretensão salarial.

Benefícios oferecidos pela empresa contratante:

• Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
• Trabalhe de qualquer lugar, com liberdade e flexibilidade
• Conexão global: convivência com times de diferentes países e culturas
• Apoio à saúde física com TotalPass e Mediquo
• Cuidado com a saúde mental pelo programa Team Care
• Contratação e jornada definidas com a empresa contratante

Tecnologias envolvidas:

• Python
• LLMs
• MLOps
• PyTorch
• Avaliação de modelos
• Nuvem
• Testes A/B
• Git

Seus dados:

tratado conforme a LGPD, com remoção a qualquer momento, a pedido.