Analista de QA Sênior (Testes de Sistemas com IA no E-commerce)

Sylision; United States; Remote; USD 27.000 - 38.000; Vollzeit

Benefits dieser Stelle

Ambiente colaborativo

Trabalhe de qualquer lugar

Conexão global

TotalPass e Mediquo

Team Care

Contrato CLT

Zusammenfassung

A Sylision está buscando um Analista de QA Sênior para definir estratégias de testes de sistemas com IA no E-commerce. O papel envolve planejar camadas de API, resposta e segurança, além de montar avaliações e escrever testes com Playwright e Postman.

Será responsável por criar casos adversariais, calibrar o juiz automático e conduzir regressões a cada mudança de prompt ou KB, orientando o time sobre qualidade de IA.

Qualifikationen

• Definir estratégia de testes de APIs e de UI.
• Montar e manter avaliações com casos reais anonimizados.
• Escrever testes automatizados com Playwright e Postman.
• Criar casos adversariais para vazamento de dados e prompt injection.

Aufgaben

• Definir estratégia de testes do assistente, com camadas de API, de resposta e de segurança.
• Montar e manter o conjunto de avaliação com casos reais anonimizados.
• Escrever testes automatizados de ponta a ponta com Playwright e de API com Postman.
• Criar casos adversariais para vazamento de dados, injeção de instrução e promessa indevida.
• Calibrar o juiz automático com revisão humana.
• Rodar regressão a cada mudança no prompt, modelo ou base de conhecimento.
• Orientar o time sobre qualidade de IA e critérios de liberação.

Kenntnisse

Testes de APIs

Testes de UI

Python

Playwright

Postman

CI/CD

Observabilidade

QA leadership

Tools

Playwright

Postman

Python

CI/CD

SQL

Git

Observabilidade

Jobbeschreibung

Vaga aberta de Analista de QA Sênior (Testes de Sistemas com IA no E-commerce). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision.

Sobre a vaga:

O assistente de compras responde sobre preço, prazo de entrega, estoque e política de troca, e recomenda produtos. Testar um sistema assim não se parece com testar um formulário: a mesma pergunta pode ter respostas diferentes, e uma resposta fluente pode estar errada. O pior erro é o inventado, como prometer um desconto que não existe, afirmar estoque inexistente ou citar prazo de entrega que a transportadora não cumpre.

Sua estratégia combina camadas. Testes tradicionais cobrem as APIs, o carrinho e as integrações de preço e de estoque. Um conjunto de avaliação curado verifica a verdade das respostas contra a fonte de dados. Testes adversariais tentam o contrário: pedir que o assistente ignore regras, revelar dados de outro cliente, aceitar um cupom inventado. Um juiz automático ajuda em escala, mas é calibrado contra revisão humana.

Como analista sênior, você define a estratégia, o que bloqueia uma versão e quais métricas comprovam a qualidade: taxa de resposta fiel à fonte, taxa de recusa correta, defeitos por mil conversas e regressão entre versões do prompt e do modelo.

O que você vai fazer:

• Definir a estratégia de testes do assistente, com camadas de API, de resposta e de segurança
• Montar e manter o conjunto de avaliação com casos reais anonimizados
• Escrever testes automatizados de ponta a ponta com Playwright e de API com Postman
• Criar casos adversariais para vazamento de dados, injeção de instrução e promessa indevida
• Calibrar o juiz automático contra revisão humana por amostra
• Rodar regressão a cada mudança de prompt, modelo ou base de conhecimento, no pipeline
• Orientar o time sobre qualidade de IA e definir critérios de liberação

Requisitos:

• Estratégia e automação de testes de APIs e de interface web
• Entendimento de como sistemas com modelos de linguagem falham: alucinação, injeção, inconsistência
• Construção de conjuntos de avaliação e métricas para respostas abertas
• Python para escrever ferramentas de teste e analisar resultados
• Pipeline de integração contínua com portões de qualidade
• Comunicação de risco para produto e jurídico
• Capacidade de orientar outras pessoas de QA

Diferenciais:

• Experiência com testes de segurança em aplicações com LLM
• Calibração de avaliadores automáticos e medidas de concordância
• Conhecimento de comércio eletrônico, preço e estoque
• Testes de carga em serviços com chamadas a modelos
• Observabilidade de conversas, com amostragem para revisão

Como é trabalhar aqui:

Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em Minas Gerais. Nenhuma versão do assistente é liberada sem passar pelo conjunto de avaliação e pelos casos adversariais, e a decisão fica registrada. Uma revisão quinzenal analisa as conversas que falharam em produção e transforma cada uma em novo teste. Na candidatura, informe a sua pretensão salarial.

Benefícios oferecidos pela empresa contratante:

• Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
• Trabalhe de qualquer lugar, com liberdade e flexibilidade
• Conexão global: convivência com times de diferentes países e culturas
• Apoio à saúde física com TotalPass e Mediquo
• Cuidado com a saúde mental pelo programa Team Care
• Contratação e jornada definidas com a empresa contratante

Tecnologias envolvidas:

• Playwright
• Postman
• Python
• CI/CD
• Avaliação de LLM
• Testes adversariais
• SQL
• Observabilidade
• Git

Seus dados: tratados conforme a LGPD, com remoção a qualquer momento, a pedido.