QA Engineer: AI & LLM Testing with RAG Grounding

White Glove Hiring; Jakarta Selatan; On-site; IDR 89,280,000 - 178,560,000; Full time

Job summary

White Glove Hiring membuka posisi QA Engineer yang bertugas merancang dan menjalankan test case untuk pengujian manual maupun otomatis pada aplikasi berbasis AI, chatbot, dan LLM. Anda akan mengevaluasi kualitas respons AI dari aspek akurasi, relevansi, koherensi, dan konsistensi, serta mengidentifikasi potensi hallucination.

Peran ini mencakup validasi sistem RAG, mengembangkan automation test dengan Selenium/Playwright/Cypress/Python untuk API dan end-to-end, serta pengujian API menggunakan

Qualifications

• Pengalaman QA Engineer minimal 2–3 tahun (Manual & Automation).
• mengerti pengujian AI/LLM dan evaluasi kualitas jawaban.
• Pengalaman pada pengujian data/khususnya chatbot diutamakan.

Responsibilities

• Merancang, menyusun, dan menjalankan test case untuk pengujian manual maupun otomatis pada aplikasi berbasis AI, chatbot, dan LLM.
• Melakukan pengujian kualitas respons AI dari sisi akurasi, relevansi, koherensi, konsistensi, serta mendeteksi hallucination.
• Melakukan validasi terhadap sistem Retrieval-Augmented Generation (RAG) untuk memastikan jawaban sesuai dokumen referensi.
• Mengembangkan, memelihara, dan menjalankan automation test menggunakan Selenium, Playwright, Cypress, atau framework berbasis Python untuk API dan end-to-end.
• Melakukan pengujian API menggunakan Postman atau JMeter untuk performa, throughput, latency.
• Melakukan pengujian keamanan dasar terhadap aplikasi AI melalui simulasi prompt injection, jailbreak, dan red teaming.

Education

Bachelor's degree

Tools

Selenium

Playwright

Cypress

Python

Postman

JMeter

Job description

White Glove Hiring membuka posisi QA Engineer yang bertugas merancang dan menjalankan test case untuk pengujian manual maupun otomatis pada aplikasi berbasis AI, chatbot, dan LLM. Anda akan mengevaluasi kualitas respons AI dari aspek akurasi, relevansi, koherensi, dan konsistensi, serta mengidentifikasi potensi hallucination.

Peran ini mencakup validasi sistem RAG, mengembangkan automation test dengan Selenium/Playwright/Cypress/Python untuk API dan end-to-end, serta pengujian API menggunakan