Una hipótesis comprobable especifica datos, señal, momento de disponibilidad, resultado y referencia. «Esta figura suele funcionar» no basta sin definición.
Prueba independiente
- Desarrollo: 2018–2021; Selección de variante: 2022; Prueba: 2023–2024
- Primero las reglas, después los resultados.
- No cambie reglas tras ver los datos de prueba.
Separar etapas
Ejemplo ficticio: desarrollar en 2018–2021, seleccionar en 2022 y evaluar una sola vez en 2023–2024. No es una recomendación de fechas. Tras mirar la evaluación y ajustar reglas, ese periodo deja de ser una prueba independiente.
Las continuaciones de casos de entrenamiento no deben invadir el periodo reservado. Controle intervalos superpuestos y anticipación.
Ventanas sucesivas
Walk-forward desarrolla con pasado disponible y evalúa el tramo siguiente con reglas fijadas. Defina calendario y protocolo previamente; publique todas las ventanas, no solo las favorables.
Prueba secuencial
- A: Desarrollo; B: Prueba
- Reglas fijadas
- Reutilizar el test lo convierte en desarrollo.
Qué medir
Compare una referencia simple, costes, número de casos, dispersión y caídas. Enumere las variantes probadas: buscar muchas y elegir la mejor aumenta el riesgo de sobreajuste.
Un resultado fuera de muestra no elimina selección, dependencia ni cambio de régimen. La incertidumbre debe acompañar al promedio.
Véase Bailey y colaboradores sobre sobreajuste. El objetivo es una pregunta refutable y un procedimiento reproducible, no asegurar rentabilidad.