ریبکس: بررسی کیفیت پاسخ و جلوگیری از تکرار خطا

مقایسه با روش فعلی

نمونه بی‌نام در جدول با شناسه گفتگو، نسخه، نوع خطا، منبع، پاسخ قابل قبول و مسئول اصلاح؛ اجرای یکسان نسخه فعلی و جدید و بازبینی کور انسانی. مقایسه با همین روش دستی، فایده مدل دسته‌بندی را روشن می‌کند.

نمونه آزمون

طرح پیشنهادی: ۲۰۰ مورد بی‌نام شامل ۱۰۰ مورد از انواع خطای موجود و ۱۰۰ مورد موفق/معمولی؛ ۴۰ مورد برای آزمون نهایی کنار گذاشته شود و ۴۰ مورد را دو بازبین مستقل ببینند. برای تخمین نرخ واقعی خطا نمونه تصادفی جدا از ترافیک لازم است؛ این مجموعه متوازن نماینده فراوانی تولید نیست.

• درصد تکمیل درست کار و امتناع/ارجاع درست به تفکیک سناریو
• خطای عدد، منبع، تازگی، حریم خصوصی و ادعای ابزار ناموجود به تفکیک شدت
• توافق بازبین‌ها و اختلاف داور مدل با انسان
• دقیقه بازبینی و هزینه کل به ازای مورد پذیرفته‌شده

معیار پیشنهادی پذیرش

پیشنهاد برای توافق مالک کیفیت: هیچ خطای بحرانی تازه در آزمون نهایی؛ اصلاح موارد هدف بدون افت دسته‌های دیگر؛ زمان کل بازبینی از روش دستی بیشتر نشود. حد عددی تکمیل پس از baseline تعیین شود؛ این‌ها نتیجه یا آستانه مصوب نیستند.

ابزارهای مرتبط

• promptfoo — runner آزمون نسخه‌ها
• Langfuse — پیوند trace، نسخه و برچسب بازبین

منابع فنی

• C01 · Promptfoo — Assertions and metrics — آزمون قطعی، اعتبارسنجی ساختار، معیار هزینه و تأخیر و داوری مدل؛ مبنای طراحی مجموعه آزمون نسخه‌ها.
• C02 · Langfuse — Model usage and cost tracking — تفکیک مصرف و هزینه دریافت‌شده از هزینه استنباطی بر اساس نام مدل و جدول قیمت؛ امکان تعریف قیمت سفارشی.
• C15 · OWASP — LLM prompt injection prevention — ورودی خارجی نامطمئن، اعتبارسنجی آرگومان ابزار و مجوز در کد، حداقل دسترسی و تأیید اقدام حساس؛ فیلتر متن به‌تنهایی کافی نیست.

منابع این پیشنهاد: RS03 · RS12 · RS21