Analista de QA Sênior (Testes de Sistemas com IA em Telecom)

Sylision; United States; Remote; USD 110.000 - 170.000; Vollzeit

Benefits dieser Stelle

Trabalho remoto 100%

Flexibilidade de horário

Conexão com equipes globais

Plano de saúde/beam

Zusammenfassung

A Sylision procura Analista de QA Sênior para atuar com testes de sistemas com IA em telecomunicações. A posição é 100% remota, contratação integral (CLT ou PJ), com foco em API/UI, testes de segurança de IA e avaliação de modelos.

Você definirá estratégias, criará conjuntos de avaliação e integrará testes ao pipeline de CI/CD. O candidato ideal traz automação com Python e Playwright, conhecimento em SQL e experiência com Postman, além de orientar a equipe sobre componentes não determinísticos e

Qualifikationen

• Automação de testes de API e de interface com Python e Playwright.
• Avaliação de sistemas com LLM: referência, rubricas e variabilidade.
• Testes de segurança de IA: injeção de prompt e vazamento de dados.
• Pipeline CI/CD com gates de qualidade baseados em métricas.
• SQL para checagem de efeitos no banco e geração de dados de teste.
• Capacidade de definir padrões de qualidade e orientar equipes.

Aufgaben

• Definir estratégia de teste para recursos com IA.
• Montar conjuntos de avaliação versionados com casos positivos, limites e ataques.
• Automatizar testes de fluxo e API em Playwright e Postman ligados ao pipeline.
• Testar vazamento de dados pessoais, injeção de prompt e respostas fora de política.
• Criar critérios de aprovação por métrica (acerto, recusa e alucinação).
• Comparar versões de modelo e prompt e reportar regressões.
• Transformar defeito de produção em teste permanente.
• Orientar o time sobre testes de componentes não determinísticos.

Kenntnisse

Automação de API e UI

Python

Playwright

Postman

SQL

CI/CD

Git

Tools

Python

Playwright

Postman

SQL

Jobbeschreibung

Vaga aberta de Analista de QA Sênior (Testes de Sistemas com IA em Telecom)

Nível: senior.

Modelo de trabalho: 100% Remoto.

Contratação: tempo integral, CLT ou PJ.

Sobre a vaga:

Sistemas de telecom passaram a ter componentes com IA: assistente de atendimento, classificação de chamados, detecção de fraude em recarga, recomendação de plano. O comportamento não é fixo, a mesma pergunta pode ter respostas diferentes e o modelo pode piorar sem que uma linha de código mude. Você vai definir como esses sistemas são testados, o que se considera defeito e como isso trava uma entrega ruim.

O trabalho mistura teste clássico e avaliação. De um lado, contrato da API, fluxo de ponta a ponta e regressão da interface. De outro, conjuntos de perguntas e respostas esperadas, testes de segurança como injeção de prompt e vazamento de dados de cliente, e medidas de qualidade que mudam com o tempo. Está bem feito quando uma troca de modelo é aprovada ou barrada com evidência, os casos de falha viram testes permanentes e o time sabe a taxa de erro aceitável de cada recurso.

O que você vai fazer:

• Definir a estratégia de teste para recursos com IA, separando o que é determinístico do que é estatístico
• Montar conjuntos de avaliação versionados, com casos felizes, limites e ataques
• Automatizar testes de fluxo e de API em Playwright e em Postman, ligados ao pipeline
• Testar vazamento de dados pessoais, injeção de prompt e respostas fora de política
• Criar critérios de aprovação por métrica, como acerto, recusa devida e taxa de alucinação
• Comparar versões de modelo e de prompt com os mesmos casos e reportar a regressão
• Transformar defeito encontrado em produção em caso de teste permanente
• Orientar o time sobre como escrever testes para componentes não determinísticos

Requisitos:

• Automação de testes de API e de interface, com Python e Playwright ou equivalente
• Compreensão de como avaliar sistemas com LLM: conjunto de referência, rubricas e variabilidade
• Testes de segurança aplicados a IA, como injeção de prompt e exposição de dados
• Pipeline de CI/CD com portões de qualidade baseados em métrica
• SQL para verificar efeitos no banco e montar massa de dados
• Capacidade de definir padrão de qualidade e de orientar outras pessoas

Diferenciais:

• Conhecimento de LGPD aplicada a logs de conversa
• Experiência com avaliação automática por modelo, com calibração por revisão humana
• Testes de contrato entre serviços
• Noção de métricas estatísticas, como intervalo de confiança em taxa de acerto

Como é trabalhar aqui:

Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em Minas Gerais. Os conjuntos de avaliação ficam junto do código e são revisados como código. O resultado de cada rodada aparece no pipeline e no painel de qualidade, e o time discute as regressões em reunião curta semanal.

Benefícios oferecidos pela empresa contratante:

• Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
• Trabalhe de qualquer lugar, com liberdade e flexibilidade
• Conexão global: convivência com times de diferentes países e culturas
• Apoio à saúde física com TotalPass e Mediquo
• Cuidado com a saúde mental pelo programa Team Care
• Contratação e jornada definidas com a empresa contratante

Tecnologias envolvidas:

• Python
• Playwright
• Postman
• CI/CD
• Avaliação de LLMs
• SQL
• Testes de API
• Git

Seus dados:

tratados conforme a LGPD, com remoção a qualquer momento, a pedido.