PBO(Probability of Backtest Overfitting)关注的不是某个枢轴点策略回测赚了多少,而是“样本内冠军”到了样本外有多大概率掉队。它适合审视大量参数组合后的选择偏差,但必须在设计阶段就保留完整候选集。

PBO要回答什么问题

研究者把历史划分为若干时间块,反复用部分区块挑选表现最好的候选,再到未参与选择的区块查看该候选的相对排名。如果样本内冠军在样本外经常落入后半区,说明择优过程可能主要捕捉噪声。

组合对称交叉验证怎样做

常见方法将相同数量的区块分为训练和验证组合,在每种分法中选择训练集最佳策略,并记录它在验证集的排名。最终由这些排名估计过拟合概率。区块必须保持时间结构,不能把单笔交易随机打散,否则会破坏波动聚集和市场状态。

候选策略集合决定结果可信度

枢轴公式、交易日边界、过滤器、止损、目标位和品种只要曾参与筛选,都应进入候选记录。研究结束后才补做PBO,却遗漏大部分失败版本,会低估真实选择偏差;把细微参数变化当成完全独立,又可能夸大试验规模。

PBO高时应怎样处理

先减少自由度和规则复杂度,检查是否有经济解释,再用后来数据做真正的前向验证。不能不断修改策略直到PBO变低,因为这本身又是一次选择。即使PBO较低,也仍需检查交易成本、容量和尾部回撤。

PBO更适合比较研究流程,而不是给单一实盘账户贴“安全”标签。样本区块太少、市场阶段单一或候选差异极小,估计会非常不稳定,报告中应披露这些限制。

先阅读多重检验与参数挑选,再结合Walk-forward滚动验证和参数稳定区域形成完整证据链。