回测做到盈利就停止、亏损就继续收集样本,会让枢轴点策略显得更稳定。这属于可选停止偏差:结束时间由结果驱动,却仍按固定样本解释。原7月22日页面没有研究计划,本页说明如何避免。
测试期限或样本量提前锁定
可规定固定日期范围、最低交易数和评估时间,不在中途因为累计收益漂亮就宣布成功。若出于风险需要提前停止,应如实记录原因,不把它包装成完成验证。
频繁查看也会增加误判机会
每天检查显著性并在第一次超过门槛时停止,相当于进行多次试验。普通置信区间未考虑这种查看频率,结论容易过度乐观。
安全停止与统计停止要区分
回撤、数据错误或系统故障触发暂停,是保护账户的必要控制;但暂停后的样本不能直接当作完整研究。恢复后应继续原计划或建立新版本并说明中断。
探索发现需要新数据确认
中途看到某时段表现更好,可以提出新假设,但不能在同一段数据中筛选后再宣称样本外有效。保存原计划与所有查看节点,下一阶段使用未见数据检验。
若确实需要连续监控,可采用预先设计的序贯方法和明确错误率控制,而不是任意停止。报告应包含计划样本、实际样本、停止规则、偏离原因和所有未通过结果。
同样的问题也会出现在实盘展示:只截取从最近低点到高点的一段,或在回撤开始前结束图表,会选择性隐藏失败期。评价窗口应由规则而非结果决定。
资金和运营限制导致无法完成原样本时,应标记研究未完成。可以发布阶段性结果,但需降低结论强度,并保留后续继续验证的计划。