التحقق من الاختبار الخلفي

ما ستتعلمه

أربعة تحيّزات تصنع أفضلية زائفة

النظر المسبق: استخدام معلومة لم تكن موجودة حينها — إغلاق اليوم لاتخاذ قرار في منتصف الجلسة. تحيّز البقاء: الاختبار على الأصول المدرجة فقط وتجاهل التي أفلست. تنقيب البيانات: تجربة ألف تركيبة والاحتفاظ بالأفضل، وهي الأفضل بالصدفة. الإفراط في المواءمة: إضافة قواعد حتى ينطبق الماضي تمامًا، بضجيجه. الأربعة تعطي نتائج ممتازة ولا ينجو منها شيء في السوق.

داخل العينة وخارجها

يُحجز جزء من التاريخ — آخر 30 % مثلًا — ولا يمسّه بحث المعاملات أبدًا. وبعد اختيار أفضل مجموعة قواعد، يُقيَّم هناك مرة واحدة. إن نظرت إلى ذلك الجزء ثم أعدت الضبط، فلم يعد خارج العينة: صار جزءًا من التدريب. نتيجة توجد داخل العينة فقط هي وصف للماضي لا تنبؤ.

التحقق المتدحرج: كيف كان سيُتداول فعلًا

مجموعة معاملات واحدة مضبوطة على التاريخ كله تستخدم معلومات من المستقبل: في يناير لم تكن تعرف أي متوسط متحرك سينجح في ديسمبر. يعيد التحقق المتدحرج التحسين على نوافذ — تدرّب على الأولى، تداول التالية، تقدّم — وهكذا كان سيجري فعلًا. الرقم المهم هو الكفاءة: كم من أفضلية التدريب تصمد عند التطبيق للأمام. تحت 0.5 هي البصمة الكلاسيكية للإفراط في المواءمة.

مونت كارلو على ترتيب الصفقات

أظهر لك اختبارك تسلسلًا واحدًا من الصفقات، والتراجع الذي رأيته يعتمد على ترتيب ظهورها. إعادة خلط الصفقات نفسها آلاف المرات تعطيك توزيع التراجعات التي كان يمكن لذلك النظام إنتاجها. انظر إلى المئين 95 لا إلى المتوسط: هو الذي يجيب عن «كم يجب أن أكون مستعدًا لتحمّله؟». وهو دائمًا تقريبًا أسوأ بكثير من التسلسل الوحيد الذي عشته.

كم صفقة تلزم

أقل من 30 صفقة لا تقول شيئًا. مئة هي الحد الأدنى للقرار، ومئتان تقنع، وخمسمئة تعطي دلالة قوية. وهناك خصم لا يطبّقه أحد تقريبًا: الصفقات المترابطة — عدة في الاتجاه نفسه أو اليوم نفسه أو القطاع نفسه — تزن أقل من عينة مستقلة. ثلاثمئة صفقة شديدة الترابط تفيد أقل من ثمانين غير مترابطة. في العينات الصغيرة، خطأ بخمس نقاط في نسبة النجاح المقدَّرة قد يضاعف كسر كيلي الناتج ثلاث مرات.

الخصم مقابل حجم البحث

اختبر سبعًا وأربعين تركيبة على بيانات عشوائية تمامًا وستبدو الأفضل جيدة. هذا حساب لا مهارة. يحسب شارب المخصوم ما كان سينتجه بحث بالحجم نفسه بالصدفة وحدها على نظام بلا أفضلية، ويشترط أن يتجاوزه نظامك. هذا ما يفصل «حقق اختباري 40 %» عن «حقق اختباري 40 % وهذا أكثر مما كانت ستعطيه الصدفة». وبأقل من عشرين تركيبة يكون التصحيح نفسه غير دقيق: تجاوزه هناك مؤشر لا دليل.

لماذا تتوقف الأفضلية المنشورة عن العمل

أنظف مثال هو «انحراف ما قبل الفومك»: وثّقت دراسة عام 2015 أن جزءًا كبيرًا من علاوة الأسهم الأمريكية كان يُكتسب في الأربع والعشرين ساعة السابقة لإعلانات الفيدرالي. ودراسات لاحقة وسّعت العينة وجدت أنه اختفى عمليًا بعد 2015. ليس أن النتيجة كانت خاطئة: بل إن نشرها استنفدها. لذلك لا تضمن أفضلية تاريخية أخرى مستقبلية، ولذلك يجدر مراقبة التي تتداولها — تحسب تحليلات اليوميات ما إذا كان الهبوط الأخير لنظامك يتجاوز ما تفسّره المصادفة.