QA engineer for AI and LLM features (auto)

NDA; United States; À distance; USD 90 000 - 140 000; Plein temps

Résumé du poste

NDA объявляет о вакансии QA-инженера для работы над AI/LLM проектами в составе команды тестирования. Требуется опыт в тестировании LLM, разработке наборов данных для оценки качества вывода и API-тестировании с использованием инструментов типа Postman.

Знания Python, Jira и понимание финансовой документации приветствуются. Ищем профиль с опытом в автоматизации тестирования (Playwright/pytest), внимательность к вопросам безопасности, GDPR и конфиденциальности.

Qualifications

• Опыт не менее 3 лет в QA/QA-инženерии, включая тестирование LLM/AI- функций (RAG, чат-боты, документ-ИИ).
• Умение формировать наборы данных для оценки качества вывода AI, не ограничиваясь pass/fail.
• Опыт API-тестирования через Postman или аналогичные инструменты.
• Базовые навыки Python для скриптов и подготовки тестовых данных.
• Умение писать понятные баг-репорты в Jira.
• Свободное владение английским языком (устно и письменно).
• Продвинутые навыки Excel и чтение финансовой отчетности/сверка цифр.
• Опыт в финансах, аудите или due diligence.
• Опыт с инструментами оценки AI (Langfuse/Promptfoo/DeepEval).
• Опыт автоматизации тестирования (Playwright/pytest).
• Навыки тестирования безопасности (доступ, PII, GDPR).

Connaissances

QA инженерия

LLM тестирование

API тестирование

Python-скрипты

Отчет об ошибках

Бизнес-английский

Excel для финансов

Оценка финансовых документов

Тестирование безопасности

Автоматизация тестирования

Безопасность / GDPR

Outils

Langfuse

Promptfoo

DeepEval

Playwright

pytest

Description du poste

Описание

Описания нет

Задачи

No tasks specified

Требования

• At least 3 years of QA or QA Engineering experience, including some testing of LLM or AI features such as RAG, chatbots, or document AI
• Experience building and maintaining evaluation datasets and assessing AI output quality beyond simple pass/fail testing
• API testing experience with Postman or similar tools
• Basic Python skills for scripting and test data preparation
• Experience with Jira and writing clear bug reports
• Fluent spoken and written English
• Strong Excel skills and the ability to read financial statements and verify figures against source documents
• Background in finance, accounting, audit, or due diligence
• Experience with Langfuse, Promptfoo, DeepEval, or similar evaluation tools
• Test automation experience with Playwright or pytest
• Security and privacy testing experience, including access control, PII, and GDPR

Условия

Initial duration: 3-4 weeks, covering QA absence; possibility of moving for 2027