QA Sênior - IA Industrial (Remoto)

Sylision; United States; Remote; USD 120.000 - 180.000; Vollzeit

Benefits dieser Stelle

Ambiente colaborativo

Trabalho 100% remoto

Conexão global com times

Apoio à saúde

Programa Team Care

Contratação CLT/PJ

Zusammenfassung

Sylision está com vaga aberta para Analista de QA Sênior em Testes de Sistemas com IA na Indústria. A posição é 100% remota, com contratação CLT ou PJ, e requer experiência em automação com Python, pytest e ferramentas de API; foco em avaliação de modelos de linguagem, visão computacional e testes de integração de APIs.

Você definirá estratégias de teste, criará conjuntos de referência, monitorará métricas de desempenho e orientará a equipe na qualidade de sistemas com IA.

Qualifikationen

• Automação de testes com Python, pytest e ferramentas de API e de interface.
• Conhecimento de como modelos de linguagem e de ML se comportam e falham.
• Construção de conjuntos de avaliação e escolha de métricas.
• Pensamento estatístico: variabilidade, limiar de aceite e amostra.
• Pipeline de integração contínua com porta de qualidade.
• Capacidade de documentar risco e critério de aceite para negócio.
• Responsabilidade pela estratégia e orientação a outras pessoas.

Aufgaben

• Definir a estratégia de teste para sistemas com IA: o que é determinístico, o que é estatístico e como cada parte é validada.
• Construir conjuntos de referência e rotinas de avaliação automática para respostas de LLM, com fidelidade e recusa.
• Testar resistência a falha: perguntas ambíguas, entrada mal formada, injeção de instrução e vazamento de dado sensível.
• Criar testes por subgrupo e de casos extremos para modelos de previsão e de visão, e estabelecer limiares de aceite.
• Automatizar a execução no pipeline e bloquear versão que degrade as métricas.
• Testar a camada de API e de interface que cerca o modelo.
• Acompanhar métricas em produção e transformar falhas reais em novos casos de teste.
• Orientar o time sobre qualidade de sistemas com IA e revisar o trabalho de outras pessoas.

Kenntnisse

Python

pytest

Automação de testes

Estatística

Documentação de risco

Orientação a pessoas

Tools

Playwright

Postman

SQL

Git

CI/CD

Avaliação de LLMs

Jobbeschreibung

Sylision está com vaga aberta para Analista de QA Sênior em Testes de Sistemas com IA na Indústria. A posição é 100% remota, com contratação CLT ou PJ, e requer experiência em automação com Python, pytest e ferramentas de API; foco em avaliação de modelos de linguagem, visão computacional e testes de integração de APIs.

Você definirá estratégias de teste, criará conjuntos de referência, monitorará métricas de desempenho e orientará a equipe na qualidade de sistemas com IA.