تحدّد الفرضية القابلة للاختبار البيانات والإشارة ووقت توفرها والنتيجة والمعيار المرجعي. عبارة «هذا الشكل يعمل» غير كافية.
اختبار مستقل
- التطوير: 2018–2021; اختيار النسخة: 2022; الاختبار: 2023–2024
- القواعد أولاً ثم النتائج.
- لا تغير القواعد بعد الاطلاع على بيانات الاختبار.
فصل المراحل
مثال افتراضي: تطوير في 2018–2021، اختيار في 2022، وتقييم مستقل مرة واحدة في 2023–2024. ليست توصية بالتواريخ. بعد رؤية التقييم وتعديل القواعد لا يبقى ذلك الجزء اختباراً مستقلاً.
استبعد الحالات التي تمتد نتائجها من التدريب إلى فترة التقييم. راقب التداخل ومعلومات المستقبل.
التقييم المتتابع
يستخدم walk-forward الماضي المتاح للتطوير ثم يقيّم الفترة التالية بقواعد ثابتة. حدّد الجدول مسبقاً واعرض جميع النوافذ، لا الجيدة فقط.
اختبار متتابع
- A: التطوير; B: الاختبار
- قواعد ثابتة
- إعادة استخدام الاختبار تجعله جزءاً من التطوير.
ما الذي يُقاس؟
المقارنة البسيطة والتكاليف وعدد الحالات والتشتت والتراجع. اذكر عدد البدائل المجربة؛ اختيار الأفضل من عدد كبير يزيد خطر فرط الملاءمة.
النتيجة خارج العينة لا تلغي الاعتماد أو تغيّر نظام السوق. المرجع: Bailey وزملاؤه. الهدف سؤال يمكن دحضه وإجراء قابل للتكرار، لا وعد بالربح.