IS/OOS विभाजन काफ़ी नहीं: वॉक-फॉरवर्ड विंडो डिज़ाइन

निष्कर्ष: अगर OOS सिर्फ़ एक खंड है, तो वह अब भी "एक ही परीक्षा" है

डेटा को ऑप्टिमाइज़ेशन (IS) और वैलिडेशन (OOS) में बाँटना ओवरफिटिंग पर शक करने का एक कारगर पहला कदम है। लेकिन अगर विभाजन सिर्फ़ एक बार हुआ है, तो OOS का नतीजा बस इतना बताता है कि "उस एक खंड में क्या हुआ"।

हमारा निष्कर्ष यह है: OOS को कई विंडो में बाँटकर आगे बढ़ाते हुए जाँचें, और कुल योग के बजाय यह देखें कि हर विंडो लाभ में रही या नहीं। कुल योग लाभ में हो, फिर भी अगर मुनाफ़ा किसी एक-दो विंडो में सिमटा है, तो मूल्यांकन रोक दें।

स्थिर विभाजन की कमज़ोरी

विभाजन बिंदु नतीजे को प्रभावित करता है

स्थिर विभाजन में डेवलपर तय करता है कि रेखा कहाँ खींची जाए। अगर OOS संयोग से स्पष्ट ट्रेंड वाले दौर में पड़ गया, तो लॉजिक अपनी असली क्षमता से बेहतर दिखेगा। अगर उलटे दौर में पड़ा, तो एक काम का लॉजिक बेवजह खारिज हो जाएगा। दोनों ही स्थितियों में नतीजा विभाजन बिंदु नाम के एक ही चुनाव पर टिका है।

OOS को बार-बार देखने पर वह OOS नहीं रहता

दूसरी समस्या डेवलपर के व्यवहार की है। OOS का प्रदर्शन खराब आया तो पैरामीटर बदले और OOS फिर देखा। इसे दोहराते रहें तो असल में आप वही चुन रहे होते हैं जो OOS पर फिट बैठता है। ऊपर से डेटा अनदेखा लगता है, पर हकीकत में उसका इस्तेमाल ऑप्टिमाइज़ेशन में हो चुका होता है। यह गलती हमसे भी हो सकती है, और प्रक्रिया के नियमों से बाँधे बिना इसे रोका नहीं जा सकता।

वॉक-फॉरवर्ड की विंडो कैसे बनाएँ

वॉक-फॉरवर्ड में "ऑप्टिमाइज़ेशन की अवधि" और उसके ठीक बाद की "वैलिडेशन की अवधि" को एक जोड़ी (विंडो) माना जाता है, और इसे समय में आगे खिसकाते हुए दोहराया जाता है। वैलिडेशन खंड हमेशा ऑप्टिमाइज़ेशन खंड के बाद आता है, इसलिए कई OOS नतीजे मिलते हैं।

विंडो की लंबाई तय करने का आधार

विंडो की लंबाई कैलेंडर के वर्षों के बजाय ट्रेड की संख्या से तय करना ज़्यादा सुरक्षित है। वैलिडेशन खंड में ट्रेड बहुत कम हों, तो लाभ या हानि संयोग से तय होती है। जिस लॉजिक में पोज़िशन लंबे समय तक रखी जाती है और ट्रेड कम होते हैं, उसके लिए वैलिडेशन खंड और लंबा रखना पड़ता है।

विंडो-दर-विंडो जाँच की प्रक्रिया

1. वैलिडेशन खंड आपस में न टकराएँ, इस तरह विंडो क्रम से रखें
2. हर विंडो में ऑप्टिमाइज़ करें और मिले पैरामीटर सिर्फ़ ठीक बाद के वैलिडेशन खंड पर लागू करें
3. हर वैलिडेशन खंड के लिए लाभ-हानि, PF, ट्रेड की संख्या और अधिकतम ड्रॉडाउन दर्ज करें
4. देखें कि कितनी विंडो में PF 1.0 या उससे ऊपर है, और घाटे वाली विंडो किस दौर की हैं
5. सबसे ज़्यादा मुनाफ़ा देने वाली विंडो हटाने के बाद भी बाकी का योग लाभ में है या नहीं, जाँचें
6. देखें कि हर विंडो में चुने गए पैरामीटर बहुत ज़्यादा उछल-कूद तो नहीं कर रहे

जाँच के तीन मुख्य बिंदु हैं:

• क्या लाभ वाली विंडो कुछ ही जगह केंद्रित हैं
• क्या घाटे वाली विंडो का नुकसान लाभ वाली विंडो के मुनाफ़े के मुकाबले बहुत बड़ा है
• क्या पास-पास की विंडो में इष्टतम पैरामीटर बेहद अलग हो जाते हैं

हमारा मानना है कि सभी विंडो का लाभ में होना ज़रूरी नहीं है। ट्रेंड-फॉलोइंग लॉजिक का बिना दिशा वाले दौर की विंडो में हारना सामान्य बात है। समस्या तब है जब हारने वाली विंडो की वजह समझाई न जा सके, या नुकसान की गहराई अपेक्षा से आगे निकल जाए।

सीमाएँ और सावधानियाँ

ट्रेड कम हों तो विंडो बन ही नहीं पाती

ATLAS के बैकटेस्ट में 7.5 साल की वैलिडेशन अवधि में 1193 ट्रेड हैं, इसलिए कई विंडो में बाँटने पर भी हर विंडो में कुछ हद तक ट्रेड बचे रहते हैं। दूसरी ओर ETHEREUM EA के बैकटेस्ट में 7.5 साल की वैलिडेशन अवधि में सिर्फ़ 154 ट्रेड हैं। ऐसे कम-फ्रीक्वेंसी लॉजिक को छोटी विंडो में काटने पर हर विंडो में बहुत ही कम ट्रेड आते हैं, और विंडो के स्तर पर लाभ या हानि निर्णय का लगभग कोई आधार नहीं रह जाती। या तो विंडो को मोटा रखना पड़ेगा, या विंडो-दर-विंडो मूल्यांकन को सिर्फ़ संदर्भ के तौर पर लेना होगा।

प्रकाशित आँकड़े पूरी अवधि के हैं

वास्तविक रैंकिंग में दिए गए PF और जीत की दर पूरी वैलिडेशन अवधि के मान हैं। ये विंडो-दर-विंडो प्रदर्शन नहीं हैं, इसलिए सिर्फ़ इनसे ओवरफिटिंग है या नहीं, यह तय नहीं किया जा सकता। इस बात को ध्यान में रखकर इन्हें पढ़ें।

विंडो का डिज़ाइन भी ऑप्टिमाइज़ हो सकता है

विंडो की लंबाई या संख्या बदल-बदलकर अगर वह संयोजन चुन लिया जाए जिसमें नतीजे अच्छे दिखते हैं, तो वह भी ओवरफिटिंग है। इसकी पूर्व-शर्त है कि विंडो का डिज़ाइन वैलिडेशन चलाने से पहले तय हो और बाद में बदला न जाए। बाहर से यह जाँचने का लगभग कोई तरीका नहीं है कि यह शर्त निभाई गई या नहीं।

फिर भी भविष्य अज्ञात ही रहता है

वॉक-फॉरवर्ड पास कर लेने के बाद भी, जो बाज़ार स्थिति पहले कभी नहीं आई उसका सामना नहीं किया जा सकता। हम जिन डेमो खातों पर फॉरवर्ड टेस्ट चला रहे हैं, उनमें भी कई EA का लाभ-हानि माइनस में है। ये डेमो खाते हैं, रियल खातों का प्रदर्शन नहीं, और शुरू हुए अभी थोड़ा ही समय हुआ है, इसलिए अच्छे या बुरे किसी भी नतीजे पर निष्कर्ष निकालने की स्थिति नहीं है। वैलिडेशन की विधि गलतियाँ घटाने का औज़ार है, सफलता की गारंटी नहीं।

सारांश

• स्थिर IS/OOS विभाजन का नतीजा विभाजन बिंदु और OOS को दोबारा देखने की गिनती पर निर्भर करता है
• वॉक-फॉरवर्ड में कई वैलिडेशन खंड बनाकर उन्हें आगे बढ़ाते हुए जाँचा जाता है
• कुल योग नहीं, विंडो-दर-विंडो लाभ-हानि देखें। मुनाफ़े का झुकाव और पैरामीटर की स्थिरता जाँचें
• कम ट्रेड वाले लॉजिक को जितना ज़्यादा विंडो में बाँटेंगे, निर्णय उतना अस्थिर होगा
• विंडो का डिज़ाइन पहले से तय करें। पास होने पर भी भविष्य का प्रदर्शन पता नहीं चलता

वैलिडेशन के नज़रिये को हमने नॉलेज संग्रह में भी समेटा है।