Pessoa Analista de Teste – Sênior

INSTITUTO ATL NTICO; United States; Remote; USD 65,000 - 90,000; Full time

Job summary

Instituto Atlântico procura Analista de Testes para impulsionar inovação em IA e software. O candidato trabalhará com APIs REST, testes manuais e automatizados, bem como automação de testes com PyTest e Locust.

O papel envolve curadoria de cenários, criação de relatórios executivos e avaliação de aplicações baseadas em LLMs, com foco em guardrails e segurança de IA. Fortemente desejável conhecimentos em ferramentas de observabilidade.

Qualifications

• Graduação em andamento em Computação, Engenharia de Software ou áreas correlatas.
• Sólida experiência em testes, incluindo APIs REST.
• Experiência com CI/CD, Git (GitHub/GitLab/Bitbucket).
• Conhecimento em SQL (Oracle, Postgres, MySQL).
• Teste de agentes de IA Generativa e guardrails, segurança em IA.
• Teste de performance com PyTest e Locust.
• Automação de testes com PyTest e ferramentas associadas.

Responsibilities

• Escrever cenários de testes e relatórios executivos.
• Curadoria de testes e resultados, avaliando aplicações baseadas em LLM/RAG.
• Participar de testes de segurança e robustez de IA.
• Realizar testes de performance, carga e benchmarking com PyTest/Locust.

Skills

Testes de IA Generativa

SQL

CI/CD

Git

Python

Testes manuais e automatizados

Education

Graduação em andamento em Computação/Engenharia de Software

Tools

PyTest

PyTest-benchmark

Locust

LangFuse

Arize Phoenix

Giskard

TextAttack

Job description

Descrição da Vaga

Transformar a vida das pessoas através de inovação e tecnologia, este é o nosso propósito. Estamos procurando um(a) Analista de Testes, que queira impulsionar a inovação conosco!

Somos um Instituto de Pesquisa e Desenvolvimento formado por um time de pessoas incríveis,com ideias inovadoras, possuímos um ambiente descontraído e muito espírito colaborativo.

Promovemos em nosso dia-a-dia um ambiente de desenvolvimento, onde os Atlantes são o nosso maior foco, por isso um dos nossos valores mais fortes é a “Valorização de Pessoas”. Não é à toa, que estamos entre as melhores empresas de TI para se trabalhar no Brasil, segundo o ranking do GPTW.

Formação:

• Graduação em andamento em Computação, Engenharia de Software, ou em áreas correlatas.

Experiência:

• Sólida experiência em testes;
• Testes de API REST;
• CI/CD;
• GIT (GitHub, Gitlab, Bitbucket etc);
• Linguagem SQL (podendo ter atuado com um dos seguintes bancos: Oracle, Postgres e MySql);
• Testes de agentes de IA Generativa;
• Testes de guardrails;
• Testes de segurança em aplicações de IA;
• Testes de agentes transacionais e informacionais;
• Testes Manuais e Automatizados;
• Escrita de Cenários de Testes;
• Escrita de relatórios executivos;
• Curadoria de testes e resultados;
• Avaliação de aplicações baseadas em LLMs e RAG com Ragas e/ou DeepEval;
• Automação de testes com PyTest;
• Testes de performance e benchmarking com PyTest-benchmark;
• Testes de carga e performance com Locust;
• Observabilidade de aplicações de IA com LangFuse e/ou Arize Phoenix;
• Testes de segurança, vulnerabilidades e robustez de aplicações de IA com Giskard;
• Testes adversariais com TextAttack;
• Monitoramento de métricas e performance com Prometheus e Grafana.

Conhecimento:

• BDD e padrões como POM;
• Linguagem de scripting (Python);
• Testes de agentes de IA Generativa;
• Testes de guardrails;
• Testes de segurança em aplicações de IA;
• Agentes transacionais e informacionais;
• Ragas e/ou DeepEval;
• PyTest;
• PyTest-benchmark;
• Locust;
• LangFuse e/ou Arize Phoenix;
• Giskard;
• TextAttack;
• Prometheus e Grafana.

Desejável:

• Docker;
• Computação em nuvem (preferencialmente AWS);
• TDD e Testes unitários;
• Conhecimentos em LLMOps/MLOps;
• Conhecimentos em avaliação, observabilidade e segurança de aplicações baseadas em LLMs;
• Inglês intermediário.

Vem ser Atlante!!!

Quer se candidatar para esta vaga?

Sobre a Organização

Somos uma Instituição de Ciência e Tecnologia (ICT), estruturada na forma de uma Associação Civil de Direito Privado, sem fins lucrativos, voltada para a promoção da Inovação através da Pesquisa e Desenvolvimento em TIC. Fundado pelo CPqD e PADTEC, somos dos principais ICTs do Nordeste em Pesquisa, Desenvolvimento e Inovação. Com mais de 600 profissionais talentosos e certificados em suas áreas, o Atlântico possui colaboradores alocados em Fortaleza, onde fica a sede principal, e em outras cidades do Brasil remotamente. O Atlântico possui um ambiente de trabalho harmonioso e colaborativo, com liberdade de experimentação e maior proximidade com o cliente . Missão Promover o avanço e o bem-estar da sociedade por meio da ciência, tecnologia e educação.