QA Engineer Generative AI Focus

White Glove Hiring; Jakarta Selatan; On-site; IDR 89,280,000 - 178,560,000; Full time

Job summary

White Glove Hiring membuka posisi QA Engineer yang bertugas merancang dan menjalankan test case untuk pengujian manual maupun otomatis pada aplikasi berbasis AI, chatbot, dan LLM. Anda akan mengevaluasi kualitas respons AI dari aspek akurasi, relevansi, koherensi, dan konsistensi, serta mengidentifikasi potensi hallucination.

Peran ini mencakup validasi sistem RAG, mengembangkan automation test dengan Selenium/Playwright/Cypress/Python untuk API dan end-to-end, serta pengujian API menggunakan

Qualifications

• Pengalaman QA Engineer minimal 2–3 tahun (Manual & Automation).
• mengerti pengujian AI/LLM dan evaluasi kualitas jawaban.
• Pengalaman pada pengujian data/khususnya chatbot diutamakan.

Responsibilities

• Merancang, menyusun, dan menjalankan test case untuk pengujian manual maupun otomatis pada aplikasi berbasis AI, chatbot, dan LLM.
• Melakukan pengujian kualitas respons AI dari sisi akurasi, relevansi, koherensi, konsistensi, serta mendeteksi hallucination.
• Melakukan validasi terhadap sistem Retrieval-Augmented Generation (RAG) untuk memastikan jawaban sesuai dokumen referensi.
• Mengembangkan, memelihara, dan menjalankan automation test menggunakan Selenium, Playwright, Cypress, atau framework berbasis Python untuk API dan end-to-end.
• Melakukan pengujian API menggunakan Postman atau JMeter untuk performa, throughput, latency.
• Melakukan pengujian keamanan dasar terhadap aplikasi AI melalui simulasi prompt injection, jailbreak, dan red teaming.

Education

Bachelor's degree

Tools

Selenium

Playwright

Cypress

Python

Postman

JMeter

Job description

DESKRIPSI PEKERJAAN

• Merancang, menyusun, dan melaksanakan test case untuk pengujian manual maupun otomatis pada aplikasi berbasis AI, chatbot, dan Large Language Models (LLM).
• Melakukan pengujian kualitas respons AI berdasarkan aspek akurasi, relevansi, koherensi, konsistensi, serta mengidentifikasi potensi hallucination pada hasil yang dihasilkan model.
• Melakukan validasi terhadap sistem Retrieval-Augmented Generation (RAG) untuk memastikan jawaban yang diberikan sesuai dan didukung oleh dokumen referensi (groundedness/faithfulness).
• Mengembangkan, memelihara, dan menjalankan automation test menggunakan Selenium, Playwright, Cypress, atau framework berbasis Python untuk pengujian API dan end-to-end.
• Melakukan pengujian API menggunakan Postman, JMeter, atau tools sejenis, termasuk pengujian fungsional, performa, throughput, dan latency layanan AI.
• Melakukan pengujian keamanan dasar terhadap aplikasi AI melalui simulasi prompt injection, jailbreak, dan red teaming untuk memastikan efektivitas guardrails dan mekanisme keamanan AI.

KUALIFIKASI MINIMUM

• Experience: Minimal 2-3 tahun pengalaman sebagai QA Engineer (Manual & Automation). Pengalaman dalam menguji aplikasi berbasis data atau chatbot sangat diutamakan.
• LLM Testing & Evaluation: Memahami metodologi pengujian khusus AI, termasuk evaluasi kualitas jawaban (akurasi, relevansi, dan koherensi) serta teknik hallucination detection.
• RAG Testing Knowledge: Memahami cara menguji sistem Retrieval-Augmented Generation, terutama dalam memvalidasi apakah jawaban sistem benar-benar bersumber dari dokumen referensi yang diberikan (Groundness/Faithfulness).
• Automation Skills: Mahir menggunakan tools automation seperti Selenium, Playwright, atau Cypress. Familiar dengan Python untuk menulis skrip pengujian otomatis pada level API.
• Prompt Injection & Security: Memahami teknik red teaming sederhana untuk menguji ketahanan model terhadap prompt injection atau upaya pembobolan sistem agar AI tetap memberikan respon sesuai batasan (guardrails).
• Data Validation: Kemampuan melakukan kueri SQL/NoSQL untuk memverifikasi integritas data yang masuk ke dalam vector database atau sistem audit log.
• API Testing: Mahir menggunakan Postman atau JMeter untuk menguji performa API, throughput, dan latency (terutama karena LLM memiliki latensi yang lebih tinggi dibanding API standar).

RINGKASAN PERKERJAAN

• *SPESIALISASI**: IT and Software
• *PENDIDIKAN MINIMAL**: S1 (Sarjana)
• *SISTEM KERJA**: On-site
• *TIPE PEKERJAAN**: Contractual
• *LOKASI**: South Jakarta, DKI Jakarta, Indonesia
• *INDUSTRI**: Information Technology / IT
• *SITUS PERUSAHAAN**: https://www.code.id/