Sınanabilir hipotez veri, sinyal, bilginin erişim zamanı, sonuç ve karşılaştırmayı tanımlar. “Bu şekil çalışıyor” yeterli değildir.
Bağımsız test
- Geliştirme: 2018–2021; Varyant seçimi: 2022; Test: 2023–2024
- Önce kurallar, sonra sonuçlar.
- Test verisini gördükten sonra kuralları değiştirmeyin.
Aşamaları ayırmak
Varsayımsal örnek: 2018–2021 geliştirme, 2022 seçim, 2023–2024 tek bağımsız değerlendirme. Tarih önerisi değildir. Sonuçları görüp kuralları değiştirince son dönem bağımsız test olmaktan çıkar.
Geliştirme örneklerinin sonraki sonuç aralıkları değerlendirme dönemine taşmamalıdır. Örtüşmeyi ve gelecek bilgi kullanımını kontrol edin.
Kayan pencereler
Walk-forward geçmişle geliştirir, sonraki dönemi sabit kurallarla değerlendirir. Takvimi önceden belirleyin; yalnız iyi pencereleri değil hepsini raporlayın.
İleri yürüyen test
- A: Geliştirme; B: Test
- Kurallar sabit
- Testi yeniden kullanmak geliştirmeye dahil eder.
Ölçümler
Basit karşılaştırma, maliyetler, örnek sayısı, dağılım ve düşüşler birlikte incelenir. Denenen varyantları açıklayın: çok sayıda denemeden en iyiyi seçmek aşırı uyum riskini artırır.
Örneklem dışı sonuç bağımlılık ve rejim değişimini yok etmez. Kaynak: Bailey ve çalışma arkadaşları. Amaç çürütülebilir soru ve tekrarlanabilir yöntemdir, kâr sözü değil.