ریبکس: بررسی ورود، تازگی و پیدا کردن داده

مقایسه با روش فعلی

دریافت محدود منابع مجاز، شناسه یکتا و hash محتوا، صف retry با سقف و گزارش شکست؛ جست‌وجوی واژگانی با نام مستعار موجودیت و فیلتر منبع/تاریخ/مجوز. همین مسیر باید پیش از جست‌وجوی معنایی قابل بازپخش باشد.

نمونه آزمون

طرح پیشنهادی: ۶۰ پرسش با ۱۰ مورد در هر گروه نام دقیق، بیان متفاوت فارسی، عدد/شرط، خبر تازه، بی‌پاسخ/متناقض و خارج از مجوز؛ ۱۵ مورد برای آزمون نهایی کنار گذاشته شوند. قطع منبع، تاریخ خراب، لغو مجوز، retry و تغییر embedding نیز در محیط تست بازپخش شود.

• درصد رکوردهای دارای وضعیت نهایی توضیح‌پذیر و زمان دریافت تا قابلیت جست‌وجو
• Recall@5 و رتبه سند درست به تفکیک گروه؛ پاسخ صحیح دارای ارجاع قابل بررسی
• نشت دسترسی، سند منسوخ استفاده‌شده و ترجمه عدد/نام غلط
• هزینه embedding و بازیابی، p95 تأخیر و زمان رفع شکست

معیار پیشنهادی پذیرش

پیشنهاد اولیه: تمام اختلاف شمارها توضیح‌پذیر، صفر سند غیرمجاز در خروجی آزمون و صفر خبر با تاریخ ساختگی؛ روش تازه باید روی آزمون نهایی بهبود مرتبط‌بودن نشان دهد و کیفیت/هزینه مورد توافق P27/P30 را حفظ کند. بدون baseline آستانه برتری عددی مصوب نداریم.

ابزارهای مرتبط

• pgvector — نامزد بازیابی کنار پایگاه موجود
• Qdrant — گزینه جایگزین جست‌وجوی ترکیبی مستقل
• BGE-M3 — نامزد embedding چندزبانه
• promptfoo — آزمون سند و پاسخ

منابع فنی

• C01 · Promptfoo — Assertions and metrics — آزمون قطعی، اعتبارسنجی ساختار، معیار هزینه و تأخیر و داوری مدل؛ مبنای طراحی مجموعه آزمون نسخه‌ها.
• C03 · pgvector — Search, filtering and multitenancy — جست‌وجوی برداری در PostgreSQL، فیلتر و اثر فیلتر پس از جست‌وجوی تقریبی بر تعداد نتیجه؛ فایل مجوز PostgreSQL بررسی شد.
• C04 · Qdrant — Hybrid and multi-stage queries — ترکیب جست‌وجوی dense، sparse و واژگانی با prefetch و fusion؛ مجوز Apache-2.0 در مخزن رسمی بررسی شد.
• C14 · BAAI — BGE-M3 model card — نامزد embedding چندزبانه با حالت‌های dense، sparse و multi-vector؛ متادیتای کارت مدل MIT را اعلام می‌کند.
• C15 · OWASP — LLM prompt injection prevention — ورودی خارجی نامطمئن، اعتبارسنجی آرگومان ابزار و مجوز در کد، حداقل دسترسی و تأیید اقدام حساس؛ فیلتر متن به‌تنهایی کافی نیست.

منابع این پیشنهاد: RS03 · RS04 · RS05 · RS12 · RS13 · RS17 · RS18 · RS19 · RS20 · RS25