P14
واحدها قیف و نتیجه تجاری را با تعریف و شمارش مشترک بسنجند.
یک نتیجه قابل مشاهده و روش تطبیق آن با فرم، سفارش یا پرونده فروش را تعیین کنید؛ ۳۰ سناریوی صحت داده آماده کنید.
کمک هوش مصنوعی: تغییر شاخص‌های محاسبه‌شده را توضیح و فرضیه قابل آزمون پیشنهاد کند؛ شمارش و تعریف نتیجه در قواعد داده بمانند.
یک قیف مشخص با رخدادهای نسخه‌دار، جدول SQL یا CSV بازتولیدپذیر و تطبیق ثبت‌نام/سفارش/پرداخت؛ تحلیل‌گر گزارش کوتاه می‌نویسد. این نسخه حتی بدون مدل ارزش مستقل دارد.
پیشنهاد اولیه: ۳۰ سناریوی کنترل‌شده شامل event تکراری، کاربر چنددستگاهی، تأخیر، ارز متفاوت و بازپرداخت؛ سپس بررسی دستی نمونه واقعی مجاز. حجم A/B از نرخ پایه و اثر مهم محاسبه شود؛ ۳۰ سناریو برای استنتاج رشد کافی نیست.
شرط پیشنهادی و هنوز تصویب‌نشده: همه سناریوهای کنترل‌شده با مرجع تطبیق کنند و همه اعداد گزارش عیناً بازتولید شوند؛ آزمایش دارای نسبت تخصیص مشکوک یا نمونه ناکافی بی‌نتیجه اعلام شود. مدل تنها در صورت کاهش زمان کل با حفظ صحت به مرحله بعد برود.
منابع این پیشنهاد: RS13 · RS16 · RS17 · RS19 · RS20 · RS29 · RS33
یک مثال فرضی: کمپین کلیک زیادی گرفته، اما مدیر نمی‌داند چند نفر خرید کرده‌اند. ابزار مسیر کلیک تا ثبت‌نام و خرید را با شناسه همان کمپین دنبال می‌کند.
گزارش فرضی: «۱۰۰ کلیک، ۲۰ ثبت‌نام معتبر و ۳ خرید»؛ موارد تکراری و مرحله‌های بدون اطلاعات جدا مشخص‌اند.
دو نسخه تبلیغ مقایسه می‌شوند تا هزینه رسیدن به یک مشتری واقعی روشن شود.
عددهای مثال واقعی نیستند. تا ثبت رخدادها درست نباشد، نمی‌توان نتیجه کمپین را معتبر دانست.
مشخص می‌کنیم چه چیزی بازدید، کلیک، ثبت‌نام یا خرید حساب می‌شود؛ شناسه جایگزین برای حفظ حریم خصوصی به کار می‌بریم.
آزمایش می‌کنیم که اطلاعات گم نشوند و یک اقدام دوبار شمرده نشود.
گزارشی از آمار جمع‌شده آماده می‌کنیم که دستیار فقط اجازه خواندن آن را دارد.
هوش مصنوعی تغییر آمار را توضیح می‌دهد و علت‌های احتمالی را پیشنهاد می‌کند.
تحلیل‌گر بررسی می‌کند آزمایش درست انجام شده و نتیجه واقعاً قابل اعتماد است یا نه.
زمان تدوین گزارش و پاسخ به سؤال تجاری
کامل بودن رخداد و تطبیق خرید/پرداخت با منبع
افزایش ثبت‌نام یا خرید و افزایش درآمد پس از کسر هزینه‌های متغیر؛ در مقایسه با گروهی که تغییر را ندیده است
تعریف metric در دانش‌نامه؛ آزمایش و نتیجه در تیمیک؛ CRM/پرداخت مرجع اصلی اطلاعات فروش و پرداخت
تیم فنی، ثبت درست رفتار کاربران را بررسی کند
تحلیل‌گر، تعداد کل نمونه‌ها در محاسبه نرخ را بررسی کند
مسئول محصول یا فروش، نتیجه را بررسی و تأیید می‌کند.
تیم فنی، ثبت درست رفتار کاربران را بررسی می‌کند ← تحلیل‌گر، روش محاسبه نرخ‌ها و تعداد کل نمونه‌ها را بررسی می‌کند ← مسئول محصول یا فروش، نتیجه را بررسی و تأیید می‌کند.
یک قیف مشخص از بازدید تا نتیجه، با آزمون رویداد گمشده/تکراری و تفاوت واحد پول؛ صورت و مخرج مستند باشند.
دسترسی آزاد مدل به SQL تولید یا نسبت دادن هر رشد به هوش مصنوعی ممنوع؛ نمونه کم = نتیجه نامشخص.
رخداد نتیجه معتبر به محل انتشار و هزینه وصل شود.
دو نسخه با مخاطب و بازه مشخص سنجیده شوند؛ نتیجه به شرح کار بعدی برسد.
جزئیات هر کار و معیار نمونه اول در همین پروژه قرار دارد.
منبع روش پیشنهادی: RS33
برای این پیشنهاد، پروژه پیش‌نیاز جداگانه ثبت نشده است. پیش از شروع، مسئول کار و بازبین را مشخص کنید و نمونه‌ها و اجازه استفاده از آن‌ها را آماده کنید.
این مراحل برنامه پیشنهادی‌اند؛ انجام‌شدن آن‌ها هنوز تأیید نشده است.
روشن کنید چه چیزی یک ثبت‌نام یا خرید معتبر حساب می‌شود.
یک خرید آزمایشی انجام دهید و مطمئن شوید دوبار ثبت نشده است.
مسیر کمپین تا خرید را گزارش و دو نسخه را با نمونه کافی مقایسه کنید.
