Analista de QA Pleno com LLM

Evertec Brasil; Guarulhos; Hybrid; BRL 70,000 - 110,000; Full time

Job summary

A Evertec Brasil busca um Analista de QA Pleno para garantir a qualidade funcional e não funcional de soluções com OCR e IA. Você planeja e executa testes, valida a acurácia de dados extraídos e automatiza cenários de teste, contribuindo para a evolução da qualidade dos produtos.

O papel envolve automação de API com REST Assured/ Postman/pytest e testes de interface com Cypress/Playwright/Selenium, além de validar fluxos assíncronos, filas e cenários de falha.

Qualifications

• Experiência mínima de 3 anos em QA.
• Experiência com automação de testes utilizando Python/pytest ou Java/JUnit.
• Experiência em testes de API REST.
• Conhecimentos em SQL básico.
• Experiência com Git e integração em pipelines CI/CD.
• Experiência em testes E2E para aplicações web utilizando Cypress, Playwright ou Selenium.
• Capacidade de elaborar casos de teste para sistemas não determinísticos baseados em LLM, utilizando tolerâncias, comparações semânticas e thresholds de aceitação.

Responsibilities

• Planejar e executar testes funcionais, de regressão, de API e ponta a ponta (E2E).
• Montar e manter datasets de documentos de teste contemplando diferentes layouts, idiomas, níveis de qualidade e casos de borda.
• Automatizar testes de API utilizando REST Assured, Postman ou pytest.
• Automatizar testes de interface utilizando Cypress, Playwright ou tecnologias equivalentes.
• Validar fluxos assíncronos envolvendo filas, Kafka, reprocessamentos e cenários de falha ou timeout.
• Reportar defeitos com evidências e indicadores de qualidade.
• Participar de refinamentos e apoiar a definição de estratégias de testes.
• Acompanhar métricas de qualidade relacionadas à extração de dados e modelos de IA, incluindo precisão e recall por campo.

Skills

Python/pytest

Java/JUnit

SQL básico

Git & CI/CD

QA de API REST

E2E testing web

Testes com LLM/ML tolerâncias

Tools

REST Assured

Postman

pytest

Cypress

Playwright

Selenium

Job description

A Evertec é uma empresa especializada em tecnologia para o setor financeiro, com mais de 27 anos de atuação e presença em 26 países da América Latina e Caribe. Com mais de 11 bilhões de transações processadas anualmente, somos referência em soluções que impulsionam a transformação digital do mercado.

Oferecemos um portfólio completo de soluções em software, atendendo instituições financeiras, empresas e fintechs que buscam inovação, segurança e eficiência.

Nosso compromisso é com a excelência tecnológica, a inclusão financeira e a geração de valor sustentável para clientes, colaboradores e parceiros, promovendo um ecossistema mais conectado e acessível.

Estamos em busca de um(a) Analista de QA Pleno para atuar na garantia da qualidade funcional e não funcional de soluções baseadas em OCR e IA. Este profissional será responsável por planejar e executar testes, validar a acurácia de dados extraídos, automatizar cenários de testes e apoiar a evolução da qualidade dos produtos.

• Planejar e executar testes funcionais, de regressão, de API e ponta a ponta (E2E).
• Montar e manter datasets de documentos de teste contemplando diferentes layouts, idiomas, níveis de qualidade e casos de borda.
• Automatizar testes de API utilizando ferramentas e frameworks como REST Assured, Postman ou pytest.
• Automatizar testes de interface utilizando Cypress, Playwright ou tecnologias equivalentes.
• Validar fluxos assíncronos envolvendo filas, Kafka, reprocessamentos e cenários de falha ou timeout.
• Reportar defeitos com evidências e indicadores de qualidade.
• Participar de refinamentos e apoiar a definição de estratégias de testes.
• Acompanhar métricas de qualidade relacionadas à extração de dados e modelos de IA, incluindo precisão e recall por campo.

Requisitos obrigatórios

• Experiência mínima de 3 anos em QA.
• Experiência com automação de testes utilizando Python/pytest ou Java/JUnit.
• Experiência em testes de API REST.
• Conhecimentos em SQL básico.
• Experiência com Git e integração em pipelines CI/CD.
• Experiência em testes E2E para aplicações web utilizando Cypress, Playwright ou Selenium.
• Capacidade de elaborar casos de teste para sistemas não determinísticos baseados em LLM, utilizando tolerâncias, comparações semânticas e thresholds de aceitação.

Requisitos desejáveis

• Familiaridade com Kafka, mensageria e filas de processamento.
• Conhecimentos em AWS, incluindo consultas a S3 e monitoramento via CloudWatch.
• Noções de métricas de qualidade para IA, como acurácia, F1 Score e taxa de alucinação.
• Experiência com testes de performance utilizando k6 ou JMeter.
• Vivência em projetos de OCR, processamento documental ou dados sensíveis em conformidade com a LGPD.

Informações relevantes sobre a vaga

Atuação com soluções de OCR e Inteligência Artificial voltadas à validação e extração de dados.

Modelo de trabalho: Híbrido (3x por semana presencial).