تقسيم IS/OOS لا يكفي: تصميم نوافذ Walk-Forward

الخلاصة: إذا كان OOS فترة واحدة فقط، فهو لا يزال "اختبارًا واحدًا"

تقسيم البيانات إلى فترة للتحسين (IS) وفترة للتحقق (OOS) هو خطوة أولى فعّالة للكشف عن الإفراط في التحسين. لكن إذا كان التقسيم مرة واحدة فقط، فإن نتيجة OOS لا تخبرك إلا بما حدث في تلك الفترة الواحدة.

خلاصتنا هي التالية: قسّم OOS إلى عدة نوافذ وتحقق منها وأنت تتقدم زمنيًا، وانظر إلى ربحية كل نافذة على حدة لا إلى المجموع فقط. وحتى لو كان المجموع رابحًا، فإذا تركّزت الأرباح في نافذة بعينها فنؤجّل الحكم على الاستراتيجية.

نقاط ضعف التقسيم الثابت

نقطة التقسيم تحدد النتيجة

في التقسيم الثابت يقرر المطوّر أين يضع الحد الفاصل. فإذا صادفت فترة OOS مرحلة ذات اتجاه واضح، بدت النتائج أفضل من القدرة الفعلية للمنطق. وإذا صادفت العكس، فقد تتخلى عن منطق صالح للاستخدام. في الحالتين تعتمد النتيجة على اختيار واحد هو نقطة التقسيم.

النظر إلى OOS مرارًا يُفقده صفته

المشكلة الثانية تتعلق بسلوك المطوّر نفسه. عندما تكون نتيجة OOS سيئة نعدّل المعاملات ثم ننظر إلى OOS مرة أخرى. ومع التكرار يصبح الأمر مماثلًا لاختيار ما يناسب OOS. فالبيانات تبدو غير مستخدمة شكليًا، لكنها استُخدمت فعليًا في التحسين. وهذا خطأ قد نقع فيه نحن أيضًا، ولا يمكن تفاديه دون قيد إجرائي صريح.

كيف تُبنى نوافذ Walk-Forward

يقوم Walk-Forward على اعتبار "فترة التحسين" و"فترة التحقق التي تليها مباشرة" نافذة واحدة، ثم تكرارها مع الإزاحة إلى الأمام زمنيًا. فترة التحقق تقع دائمًا بعد فترة التحسين، ونحصل بذلك على عدة فترات OOS.

معيار تحديد طول النافذة

الأسلم أن يُحدَّد طول النافذة بعدد الصفقات لا بعدد السنوات التقويمية. فإذا كانت الصفقات داخل فترة التحقق قليلة جدًا، فإن الربح أو الخسارة يتحدد بالصدفة. وكلما طالت مدة الاحتفاظ بالصفقة وقلّ تكرارها، لزم تمديد فترة التحقق.

خطوات التحقق نافذةً نافذة

1. رتّب النوافذ بحيث لا تتداخل فترات التحقق
2. حسّن المعاملات في كل نافذة، ثم طبّق ما حصلت عليه على فترة التحقق التي تليها مباشرة فقط
3. سجّل لكل فترة تحقق الربح والخسارة وPF وعدد الصفقات وأقصى drawdown
4. تحقق من عدد النوافذ التي بلغ فيها PF قيمة 1.0 أو أكثر، وفي أي فترات وقعت النوافذ الخاسرة
5. تحقق مما إذا كان مجموع الباقي رابحًا حتى بعد استبعاد النافذة الأكثر ربحًا
6. راقب هل تقفز المعاملات المختارة في كل نافذة بشكل كبير

ويمكن تلخيص نقاط الفحص في ثلاث:

• هل تتركز النوافذ الرابحة في جزء محدود؟
• هل خسائر النوافذ الخاسرة كبيرة جدًا قياسًا بأرباح النوافذ الرابحة؟
• هل تتغير المعاملات المثلى بشكل متطرف بين النوافذ المتجاورة؟

نرى أنه ليس من الضروري أن تكون جميع النوافذ رابحة. فالاستراتيجيات التابعة للاتجاه تخسر عادةً في النوافذ التي تفتقر إلى اتجاه واضح. المشكلة الحقيقية هي عدم القدرة على تفسير سبب الخسارة في نافذة ما، أو أن يتجاوز عمق الخسارة ما كان متوقعًا.

الحدود والتنبيهات

عدد الصفقات القليل يُفشل بناء النوافذ

يضم الاختبار الرجعي لـATLAS 1193 صفقة خلال 7.5 سنة من التحقق، فيبقى في كل نافذة عدد معقول من الصفقات حتى بعد التقسيم إلى عدة نوافذ. في المقابل، يضم الاختبار الرجعي لـETHEREUM EA 154 صفقة خلال 7.5 سنة من التحقق. وعند تقطيع مثل هذا المنطق منخفض التكرار إلى نوافذ صغيرة، يصبح عدد الصفقات في النافذة الواحدة ضئيلًا جدًا، ولا يعود لربح النافذة أو خسارتها قيمة تُذكر كمعيار للحكم. لا خيار سوى تكبير النوافذ أو الاكتفاء بالتقييم نافذةً نافذة كمرجع ثانوي.

الأرقام المنشورة هي لكامل الفترة

قيم PF ونسبة الفوز المعروضة في الترتيب المبني على القياس الفعلي هي قيم تغطي فترة التحقق بأكملها. وهي ليست نتائج نوافذ منفصلة، لذلك لا يمكن الحكم بها وحدها على وجود إفراط في التحسين. يُرجى قراءتها مع أخذ هذه النقطة في الحسبان.

تصميم النوافذ نفسه قابل للتحسين أيضًا

إذا غيّرت طول النوافذ أو عددها واخترت التركيبة التي تبدو نتائجها أفضل، فهذا إفراط في التحسين كذلك. الشرط أن يُحدَّد تصميم النوافذ قبل تشغيل التحقق وألّا يُعدَّل بعده. ومن الخارج لا توجد تقريبًا وسيلة للتأكد من الالتزام بهذا الشرط.

ومع ذلك يبقى المستقبل مجهولًا

حتى لو اجتازت الاستراتيجية Walk-Forward، فلن تستطيع التعامل مع أسواق لم تظهر من قبل. وفي اختبار forward الذي نجريه على حساب تجريبي، توجد عدة EA بنتائج سالبة. وهذه نتائج حساب تجريبي لا حساب حقيقي، والمدة منذ البداية قصيرة، فلا يمكن الخروج باستنتاج من النتائج الجيدة ولا من السيئة في هذه المرحلة. أساليب التحقق أدوات لتقليل الأخطاء، وليست وعدًا بالإصابة.

الخلاصة

• نتيجة التقسيم الثابت IS/OOS تتأثر بنقطة التقسيم وبعدد مرات إعادة النظر في OOS
• Walk-Forward طريقة تبني عدة فترات تحقق وتتحقق منها وأنت تتقدم زمنيًا
• المهم هو ربح كل نافذة لا المجموع، مع فحص تركّز الأرباح واستقرار المعاملات
• كلما قلّ عدد صفقات المنطق ازداد عدم استقرار الحكم كلما قسّمناه إلى نوافذ
• يُثبَّت تصميم النوافذ مسبقًا، واجتياز الاختبار لا يكشف الأداء المستقبلي

جمعنا أفكارنا حول التحقق أيضًا في مجموعة الخبرات.