آزمایش تحلیل مالی مستند، بدون انجام معامله
P36
برنامه شروع
پرسش پژوهشی به یادداشت مستند با شواهد موافق و مخالف و محاسبه قابل بازپخش تبدیل شود.
قدم اول
یک سؤال، منبع مجاز و قالب یادداشت دستی را مشخص کنید؛ زمان دسترسی داده و روش بازبینی مستقل را ثبت کنید.
- مسئول پیشنهادی
- مسئول پژوهش ریبکس با بازبین مالی مستقل
- معیار نتیجه
- ادعاها منبع و محاسبات بازپخشپذیر داشته باشند؛ شاهد مخالف ثبت و زمان یا کیفیت یادداشت نسبت به روش دستی بهتر شود.
ورودیهای لازم
- سؤال و دامنه پژوهش
- منابع با زمان انتشار و دسترسی
- قالب یادداشت و محاسبه مرجع
کمک هوش مصنوعی: شواهد و نکته مخالف را گردآوری و یادداشت دارای ارجاع تهیه کند؛ اجرای معامله و تولید وعده بازده در این مسیر نباشد.
روش آزمون و ابزارها
مقایسه با روش فعلی
تحلیلگر با قالب یادداشت ثابت، جدول داده زماندار، منابع تأییدشده و محاسبات قابل بازپخش کار کند؛ یک روش ساده ثابت مرجع باشد. روایتِ خروجی فرمول با پیشبینی آینده مخلوط نشود.
نمونه آزمون
طرح اکتشافی پیشنهادی: ۲۰ پرسش پژوهشی با پوشش داده کافی/غایب/متناقض و روش دستی مرجع؛ ۵ پرسش برای آزمون نهایی کنار بماند و حداقل ۵ یادداشت دو بازبین داشته باشد. حجم و افق مطالعه پیشنگر پس از تعریف هدف و baseline تعیین میشود؛ این ۲۰ یادداشت آزمون سودآوری نیست.
- ادعای قابل ردیابی به منبع مجاز و درست در زمان تصمیم
- برابری عدد و واحد با کد مستقل، فرض نامشخص و داده آینده/بازنگریشده
- پذیرش کور متخصص، پوشش شواهد مخالف و قابلیت بازپخش
- زمان و هزینه تمام تلاشها به ازای یادداشت پذیرفتهشده؛ نتایج ردشده هم ثبت شوند
معیار پیشنهادی پذیرش
پیشنهاد: هیچ ادعای حساس بیمنبع و عدد غلط در خروجی پذیرفتهشده، همه محاسبات قابل بازپخش و بهبود زمان یا کیفیت نسبت به قالب دستی با بودجه مصوب؛ ادعای پیشبینی/بازده تا مطالعه مستقل پیشنگر معلق بماند. نتیجه فعلی یا اثبات سود وجود ندارد.
ابزارهای مرتبط
- FinRobot — مرجع معماری پژوهش مالی
- promptfoo — کنترل ساختار، منبع و محدودیت
- decimal.js — محاسبه قطعی در پشته سازگار
منابع فنی
- C01 · Promptfoo — Assertions and metrics — آزمون قطعی، اعتبارسنجی ساختار، معیار هزینه و تأخیر و داوری مدل؛ مبنای طراحی مجموعه آزمون نسخهها.
- C06 · decimal.js — Arbitrary-precision decimal arithmetic — حساب اعشاری با دقت و گردکردن قابل تنظیم؛ توصیه دریافت عدد به صورت رشته برای پرهیز از اتلاف دقت؛ مجوز MIT بررسی شد.
- C13 · FinRobot — Current architecture and deterministic computation — README فعلی V0 را مرجع آموزشی و V2 را پژوهش سهام با PydanticAI توصیف میکند؛ جداسازی محاسبه قطعی از روایت مدل و مجوز Apache-2.0 بررسی شد.
- C16 · scikit-learn — TimeSeriesSplit — آزمون روی آینده نسبت به داده آموزش، پنجرههای زمانی و فاصله gap؛ نیاز به فاصله یکسان نمونهها برای مقایسه foldها.
جزئیات پروژه و منابع
این پروژه چه کمکی به کار روزانه میکند؟
یک مثال فرضی: تحلیلگر میخواهد یک روش تحلیل بازار را آزمایش کند. ابزار داده، زمان آن، فرضها و روش محاسبه را در یک پرونده جمع میکند.
برای شروع، چه چیزی آماده میشود؟
گزارش نشان میدهد تحلیل روی کدام داده و بازه ساخته شده، نتیجه چگونه محاسبه شده و کجا داده کافی نبوده است.
در مرحله بعد، چه میتوان اضافه کرد؟
روش روی داده دورهای دیگر هم آزمایش میشود تا معلوم شود نتیجه فقط مخصوص دوره اول نبوده است.
این خروجی پژوهشی است؛ سفارش معامله ثبت نمیکند و سود آینده را تضمین نمیکند.
مراحل پیشنهادی کار
- مرحله ۱
پرسش و دادهای که اجازه استفاده از آن را داریم
پرسش پژوهشی را با دادهای که اجازه استفاده از آن را داریم و تاریخش مشخص است تعریف میکنیم.
- مرحله ۲
گردآوری محدود مدارک
دستیار در محدوده تعیینشده، منابع و مدارک را جمع میکند.
- مرحله ۳
جداکردن نتیجههای موافق و مخالف
نتیجههای موافق و مخالف جدا نوشته میشوند.
- مرحله ۴
بررسی تحلیلگر
تحلیلگر منابع، فرضها و نتیجه را بررسی میکند.
- مرحله ۵
ارزیابی؛ بدون معامله واقعی
روش روی داده جدا و بدون اطلاع بازبین از تولیدکننده نتیجه سنجیده میشود. هیچ سفارشی در بازار ثبت نمیشود.
زمان، درستی خروجی و فایده کار را بسنجیم
۱. زمان و هزینه انجام کار
هزینه و زمان هر یادداشت پژوهشی پذیرفته شده
۲. کیفیت و اعتبار
درستی نتیجه، استفادهنکردن از اطلاعات آینده، امکان تکرار آزمایش و خطرهای روش
۳. فایده و نتیجه اقتصادی
تمایل به استفاده/پرداخت برای پژوهش معتبر؛ بازده فرضی معیار درآمد نیست
توضیحات بیشتر برای اجرا و بررسی نتیجه
این کار کجا ثبت میشود؟
محیط آزمایش مستقل؛ پروتکل و نتیجه در تیمیک؛ dataset با timestamp و هزینه همه اجراها
هر مرحله را چه کسی انجام میدهد و به چه کسی تحویل میدهد؟
- ۱
تحلیلگر مالی، روش آزمون را طراحی میکند
- ۲
تیم فنی، محدودیتهای ابزار را مشخص میکند
- ۳
بازبین مستقل، درستی نتیجه و استفادهنشدن از اطلاعات آینده را بررسی میکند
- ۴
تیم محصول، درباره ادامه کار تصمیم میگیرد.
تحلیلگر مالی، روش آزمون را طراحی میکند ← تیم فنی، محدودیتهای ابزار را مشخص میکند ← بازبین مستقل، درستی نتیجه و استفادهنشدن از اطلاعات آینده را بررسی میکند ← تیم محصول، درباره ادامه کار تصمیم میگیرد.
از کجا بفهمیم آزمون اولیه موفق بوده است؟
روش آزمون را از قبل مشخص کنید و با یک روش ساده مقایسه کنید. داده یک دوره زمانی جدا را فقط برای آزمون نهایی نگه دارید. هزینه، کارمزد و نتیجههای ناموفق هم در گزارش باشند؛ فقط نمونههای سودآور گزارش نشوند.
چه زمانی باید کار را متوقف کنیم؟
با داده آینده، منبعی که اجازه استفاده از آن را نداریم یا عدم بازتولید، نتیجه کنار گذاشته شود؛ خودمعاملهگری به کاربران عرضه نشود.
برای شروع چه لازم است و بعد چه میکنیم؟
چه چیزهایی باید آماده باشد؟
این موارد باید از پروژههای مرتبط آماده شوند؛ کاملشدن همه امکانات آن پروژهها لازم نیست.
- P27؛ دیدن پروژه مرتبط
سؤالهای آزمون، پاسخ مرجع و بازبین کیفیت پاسخ مشخص باشند.
- P28؛ دیدن پروژه مرتبط
روش ورود اسناد، زمان آخرین بهروزرسانی و آزمون پیداکردن پاسخ آماده باشد.
- P29؛ دیدن پروژه مرتبط
فرمول محاسبه، ورودیها، واحدها و آزمون درستی نتیجه تأیید شده باشند.
مراحل پیشنهادی اجرا و توسعه
این مراحل برنامه پیشنهادیاند؛ انجامشدن آنها هنوز تأیید نشده است.
- مرحله ۱تحلیل مستند
یک روش را با داده، تاریخ و فرمول روشن اجرا کنید.
- مرحله ۲بازبینی مستقل
بازبین دیگر فرضها و خطاهای احتمالی را بررسی کند.
- مرحله ۳مقایسه با روش ساده
روی داده جدا کیفیت و هزینه را بسنجید؛ روش پیچیده فقط با بهبود قابل اندازهگیری ادامه یابد.