Freelance Agent Evaluation Engineer

Employment

Doha

On-site

QAR 207,000 - 295,000

Part time

14 days+

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Benefits offered by this job

Project-based engagement

Job summary

Mindrift تسعى إلى متخصصين في تطوير البرمجيات للمشاركة في مشروع بنيوي يختبر ويقيّم وكالات البرمجة الذكائية من خلال بناء بيئات مطور واقعية وتقييم مهام مطورين واقعيين. ستشمل المهمة كتابة الاختبارات وتقييم الحلول وتحديد معيار 'المsolved' مع QA صارم.

المشاركة بنظام مشروع وليس توظيفاً دائماً، مع رواتب/تعويض حتى 50 دولاراً في الساعة حسب المستوى والإيقاع، وتحديد ساعاتك الخاصة ضمن إطار زمني مرن يقدّر بحوالي 20 ساعة لكل مهمة.

Qualifications

  • خبرة 5+ سنوات في تطوير البرمجيات ضمن بيئة حديثة وتكاملية.
  • المجموعة التقنية الأساسية تشمل Python (FastAPI)، JavaScript/TypeScript مع React، Docker، PostgreSQL، Kafka، Redis.
  • إتقان اللغة الإنجليزية بمستوى B2+.
  • القدرة على كتابة اختبارات وظيفية وتكاملية ومراجعة حلول الوكلاء وتقييمها.

Responsibilities

  • تصميم مهام وتقييم وكلاء الذكاء الاصطناعي في بيئات محاكاة واقعية.
  • صياغة متطلبات واضحة ومحددة وتجربة واختبارات للتحقق من الحلول.
  • مراجعة نتائج الحلول وتحسينها لضمان عدالة التقييم.

Skills

Python
FastAPI
JavaScript
TypeScript
React
Docker
PostgreSQL
Kafka
Redis
Testing
English (B2+)

Job description

وصف الوظيفة

ترتبط Mindrift بالمتخصصين بفرص AI مبنية على المشاريع لشركات تقنية رائدة، مع تركيز على اختبار النظم الذكية وتقييمها وتحسينها. المشاركة مبنية على المشروع وليست توظيفاً دائماً. ما تتضمنه هذه الفرصة نحن نقوم ببناء مجموعة بيانات لتقييم وكلاء الترميز بالذكاء الاصطناعي - مدى قدرة النموذج على التعامل مع مهام المطورين الواقعية. ستقوم بإنشاء مهام وتقييمات ضمن بيئات محاكاة واقعية: إنشاء بيئات مطور واقعية - شركة افتراضية تحتوي على كود وبنية تحتية وسياق (تذاكر، مستندات، محادثات) تشكل تاريخ تطوير مقنع تصميم مهام من حالات وسيطة لهذه البيئات - صِغ الطلب، حدد معنى "المsolved"، وتأكد من أن المهمة قابلة للحل بواسطة وكيل AI اكتب اختبارات تتحقق من حلول الوكيل - تقبل جميع الأساليب الصحيحة وترفض الأساليب الخاطئة، لا تكون صارمة جدًا ولا متساهلة جدًا تكرار المهام والاختبارات بناءً على ملاحظات QA - مراجعة حلول الوكلاء، تحليل الفشل، وتحسينها حتى تكون التقييم عادلًا ومتينًا ما ليس هذا NOT ليس تصنيف بيانات ليس هندسة المطالبات ليس كتابة كود من الصفر - الوكيل يكتب معظم الكود؛ أنت ترشد وتقييم ما نبحث عنه.

5+ سنوات في تطوير البرمجيات مجموعة التقنية الأساسية: بايثون (FastAPI)، جافاسكريبت/تايب سكريبت (React)، Docker، PostgreSQL، Kafka، Redis خبرة في كتابة الاختبارات (Functional، Integration) إتقان الإنجليزية - B2+ لماذا هذا صعب تقنيات الجبهة الرائدة جيدة في الترميز بالفعل.

  • إنشاء مهمة تتحدى النماذج الأفضل حقًا ليس بالأمر السهل.
  • تحتاج إلى فهم عميق لأين تفشل النماذج وما السيناريوهات التي تكشف الفرق بين حل جيد وآخر سيئ.
  • لدى المهام العديد من الحلول الصحيحة - كتابة اختبارات تقبل جميع الحلول الصحيحة وترفض الحلول الخاطئة أصعب مما يبدو.

تقديرات المهام حوالي ~20 ساعة لكل مهمة؛ يمكنك تحديد جدولك الخاص.

التعويض: حتى 50 دولار/ساعة مكافئ، حسب المستوى والإيقاع.

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

AI Evaluation Engineer – Data-Driven Testing Lead
AI Evaluation Engineer – Data-Driven Testing Lead

Employment • Doha

On-site
QAR 207,000 - 295,000
Project-based engagement
Agent Evaluation Engineer
Agent Evaluation Engineer

Employment • Doha

Remote
QAR 207,000 - 295,000
AI Coding Agent Evaluator — Design & Validate Tasks
AI Coding Agent Evaluator — Design & Validate Tasks

Employment • Doha

Remote
QAR 207,000 - 295,000
Forward Deployed Engineer - Doha
Forward Deployed Engineer - Doha

present of AI • Doha

On-site
QAR 70,000 - 110,000
Data Scraping Engineer
Data Scraping Engineer

Employment • Doha

Remote
QAR 153,000 - 218,000
Remote work
Flexible hours
Senior AI Engineer
Senior AI Engineer

Alpha10x • Doha

On-site
QAR 300,000 - 540,000
Senior AI Engineer
Senior AI Engineer

Cplusoft • Doha

On-site
QAR 400,000 - 800,000
Forward Deployed Engineer - Doha
Forward Deployed Engineer - Doha

FDE Times • Doha

On-site
QAR 437,000 - 655,000
Senior AI Evals Engineer
Senior AI Evals Engineer

Alpha10x • Doha

On-site
QAR 360,000 - 600,000
Deployed Engineer - Doha
Deployed Engineer - Doha

Cognition • Doha

On-site
QAR 437,000 - 692,000
Top locations