笔趣阁 > 股海弄潮 > 第243章:“过度拟合”的幽灵 美丽的陷阱

第243章:“过度拟合”的幽灵 美丽的陷阱


那个夏夜,崩溃的陆方

2010年7月23日,星期五,晚上九点四十分。

车公庙,三十平米的办公室里,只有一盏灯亮着。

陆方一个人坐在电脑前,屏幕的蓝光映在他脸上,让那张本来就瘦削的脸显得更加苍白。桌上摆着三个已经空了的能量饮料罐,还有一个咬了一半的面包——那是下午赵姐买的,他忘了吃完。

他已经连续坐了十四个小时。

从早上七点到现在,除了上厕所,没有离开过这把椅子。

但此刻,他的脸上没有疲惫。

只有一种奇怪的、近乎亢奋的光。

屏幕上,是一条刚刚跑完的回测曲线。

蓝色的线从2005年1月开始,以几乎45度的斜率,稳步向上。没有大的回撤,没有剧烈的波动,没有让人心惊肉跳的悬崖。只是一条平滑的、优美的、近乎完美的上升直线。

最终,那条线停在了2010年7月的末端。

数字是:2.87

年化收益:32.4%

最大回撤:8.7%

夏普比率:2.3

陆方盯着那条线,盯了很久。

然后他靠在椅背上,长出一口气。

两个多月。

从数据清洗到因子测试,从组合构建到状态识别,从交易成本模型到参数优化——他几乎把所有能试的参数组合都试了一遍。

现在,终于得到了这条线。

完美。

他站起来,走到窗边,看着外面的夜色。

车公庙的夜晚,比白天安静一些。楼下的小餐馆还亮着灯,有人在吃宵夜。远处,深南大道上的车流稀疏了,偶尔有车驶过,留下一道短暂的光痕。

他忽然想抽根烟。虽然他不抽烟。

就在这时候,门开了。

周寻走进来。

他手里拿着一本书,显然是刚从家里过来——穿着一件旧T恤,头发乱糟糟的。他看到陆方站在窗边,愣了一下。

“还没走?”

陆方转过身,脸上带着一种压抑不住的兴奋。

“周老师,你来得正好。给你看个东西。”

他走回电脑前,指着那条蓝色的曲线。

周寻走过来,低头看。

五秒。

十秒。

十五秒。

陆方等着他说话。等着他说“不错”,或者“很好”,或者至少点点头。

但周寻没有说话。

他只是盯着那条线,眉头慢慢皱起来。

又过了十秒。

周寻终于开口,声音很低,像是从牙缝里挤出来的:

“这条线,你跑出来的?”

陆方点头,语气里带着一丝得意:

“参数调了三个星期。把动量因子的回溯期从6个月优化到5个月零3周,把估值因子的阈值从30%分位数调整到27.5%,把状态识别的波动率阈值从90%分位数改成88%……”

他还在继续说着那些优化的细节。

但周寻已经没在听了。

他的脸色,正在以一种肉眼可见的速度,变得难看。

“陆方。”他打断他。

陆方停下,看着他。

周寻指着那条线:

“你知道这是什么吗?”

陆方愣了一下:“什么?”

周寻没有回答。

他走到另一台电脑前,打开一个程序,调出另一条曲线——那是沪深300指数同期走势。指数从2005年的1000点,涨到2007年的6000点,跌到2008年的1700点,再震荡到2010年的2500点。

大起大落,跌宕起伏。

然后他指着陆方那条“完美”的线:

“你看,市场这么大起大落,你的策略却能一路向上,几乎不回撤。这可能吗?”

陆方张了张嘴,没发出声音。

周寻继续说:

“你知道在真实的市场上,要做出不回撤的策略,有多难吗?巴菲特的最大回撤都超过50%。西蒙斯的大奖章基金,也有20%以上的回撤。”

他盯着陆方:

“你现在告诉我,你用几个简单的因子,调了几个参数,就做出了最大回撤8.7%的完美策略?”

陆方的脸色开始变了。

他刚才的兴奋,正在一点点褪去。

“周老师,你是说……”

周寻没有直接回答。

他走到白板前,拿起笔,画了一个简单的图:

```

真实世界:信号  +  噪声  =  价格波动

↓  ↓

可预测  不可预测

```

他指着这张图:

“真实的市场,由两部分组成:信号和噪声。信号是有规律的,可以用模型捕捉。噪声是随机的,无法预测。”

他又画了一个图:

```

过度拟合:信号  +  噪声  =  完美拟合



连噪声一起拟合

```

“过度拟合,就是你的模型太聪明了,聪明到连噪声都学会了。它在历史数据上表现完美,因为那些噪声被它记住了。但未来呢?未来的噪声是全新的,和过去完全不一样。”

他放下笔,看着陆方:

“你的模型,现在就是这样。它在历史上表现完美,是因为它记住了那些不该记住的东西。明天市场一换噪声,它就会崩溃。”

陆方站在原地,一动不动。

他的脸,从苍白变成灰白。

三个星期。

整整三个星期,他每天只睡四五个小时,一遍一遍地调参数,一遍一遍地跑回测。他把所有能试的组合都试了,终于找到一组让曲线完美的参数。

现在周寻告诉他,这条线,是假的。

“周老师,”他的声音有些发涩,“你怎么看出来的?”

周寻走回电脑前,指着那条线:

“你看,这里。”他指着2008年的那段,“市场暴跌,指数跌了70%。你的策略,只回撤了5%。”

他顿了顿:

“你知道这意味着什么吗?意味着你的策略,几乎完美地避开了2008年的所有下跌日。它精准地在下跌前卖出,在上涨前买入。”

他看着陆方:

“这可能吗?如果真有这样的策略,为什么全世界只有你找到了?”

陆方没有说话。

周寻继续说:

“还有这里,2009年的反弹。市场一波三折,上上下下。你的策略,一路向上,没有一次像样的回撤。这意味着它完美地抓住了每一个上涨日,避开了每一个下跌日。”

他叹了口气:

“陆方,这不是策略。这是童话。”

陆方跌坐回椅子上。

他看着那条蓝色的曲线,那条他看了三个星期的、完美的、美丽的曲线。

现在,那条线在他眼里,变得刺眼起来。

像一个谎言。

“那……那我这些参数……”他的声音开始发抖。

周寻走到他身边,手放在他肩上:

“那些参数,没有意义。你调出来的那些数字——5个月零3周,27.5%,88%——它们只对历史有效。换一个样本区间,这些数字就会变成垃圾。”

他看着陆方:

“这叫‘参数过拟合’。参数越多,拟合越精细,泛化能力越差。”

陆方低下头。

他的肩膀在抖。

周寻没有再说话。

他只是在旁边站着。

房间里很安静。只有空调的嗡嗡声,和窗外偶尔传来的汽车声。

过了很久,陆方抬起头。

他的眼眶红了,但没有哭。

“周老师,”他问,“那我这三个星期,白干了?”

周寻看着他。

这个平时沉默寡言、只爱写代码的年轻人,此刻眼里有一种他从未见过的东西——不是愤怒,不是沮丧,是一种更深的、近乎绝望的空洞。

“不是白干。”周寻说,“你学到东西了。”

陆方苦笑了一下:

“学到什么?学到不能相信自己的眼睛?”

“学到过度拟合是什么。”周寻说,“有些人做量化一辈子,都没真正理解过度拟合。他们一直在跑漂亮的回测,然后实盘亏得倾家荡产。”

他看着陆方:

“你今天,用三个星期,交了这笔学费。值。”

陆方没有说话。

他只是看着那条蓝色的线。

看了很久。

然后他伸手,关掉了屏幕。

那条完美的曲线,消失在黑暗中。

---

晚上十点半,陈默赶到办公室。

他接到周寻的电话,说陆方出事了,就立刻从家里赶过来。

推门进来时,陆方还坐在电脑前,低着头。周寻站在窗边,看着外面的夜色。

“怎么了?”陈默问。

周寻把事情简单说了一遍。

陈默听完,走到陆方面前,蹲下来。

“陆方。”

陆方抬起头。

他的眼睛红红的,但没有哭。

“陈总,”他的声音沙哑,“我……我错了。”

陈默摇了摇头:

“你没错。你只是想做出最好的策略。”

他看着陆方:

“三个星期,每天只睡四五个小时,一遍一遍跑回测。这种投入,我见过的人里,没几个。”

陆方愣住了。

“可是……可是我的策略是假的……”

“假的是策略,不是你的努力。”陈默说,“你努力的方向错了,但努力本身没有错。”

他站起来,看着那台已经黑屏的电脑:

“周寻说,你学到了过度拟合。你知道有多少人,一辈子都没学会这个吗?”

他顿了顿:

“他们要么一直在跑漂亮的回测,然后实盘亏得倾家荡产。要么根本不相信任何回测,完全凭感觉做投资。你属于哪一种?”

陆方沉默了几秒。

然后他说:

“我想……我想学会怎么看穿过度拟合。”

陈默点头:

“那就对了。”

他转身看着周寻:

“周寻,你教他。怎么识别过度拟合,怎么防范,怎么建立检验流程。”

周寻点头。

陈默又看向陆方:

“这三个星期,没白干。你让我看到一件事——”

他顿了顿:

“我们这个团队,有愿意拼命的人。”

陆方看着他,眼睛里的空洞,慢慢被另一种东西填满。

不是兴奋。

是一种更沉的东西。

是被理解后的踏实。

---

深夜十一点,三个人站在那间三十平米的办公室里。

窗外的车公庙,已经彻底安静下来。只有远处偶尔传来的汽车声,证明这座城市还在运转。

周寻在白板上写了一行字:

“过度拟合防范指南(草稿)”

下面列了几条:

1.  限制参数数量——每个参数必须有明确的经济含义

2.  样本外测试——永远留一段没用过的数据做最终验证

3.  交叉验证——在不同时间段、不同股票池上重复测试

4.  简化原则——在效果相近时,选参数更少的模型

5.  怀疑完美——任何回撤极小、收益极高的策略,先假设它有问题

陆方看着这几条,默默地记在心里。

陈默站在他旁边,轻声说:

“陆方,你知道周寻为什么一眼就能看出你的线有问题吗?”

陆方摇头。

“因为他见过。”陈默说,“他自己也走过这条路。在华尔街的时候,他一定也跑出过这种‘完美’的线,然后实盘亏过钱。”

他看着周寻:

“对吧?”

周寻沉默了几秒,然后点了点头。

“2007年。”他说,“我做了一个策略,回测夏普比率2.8,最大回撤7%。老板说要投1个亿。我说再等等,再测测。结果还没测完,市场风格就变了。那个策略,再也没跑赢过。”

他看着陆方:

“所以我知道,这种线,是陷阱。”

陆方听着,忽然觉得自己没那么孤单了。

原来周寻也走过这条路。

原来每个人,都要交这笔学费。

“周老师,”他问,“那我们现在怎么办?”

周寻想了想:

“从明天开始,重新跑。但这次,跑的是‘简化版’。”

他走到白板前,在“简化原则”下面画了一条线:

“把所有你优化的参数,都改回最简单的整数。6个月,30%,90%。跑一遍。如果简化版的收益比优化版低不了太多,那说明你优化出来的那些参数,可能是过拟合的。”

他看着陆方:

“这叫‘奥卡姆剃刀’。在效果相近的情况下,简单的比复杂的好。”

陆方点头。

他站起来,走到电脑前。

屏幕还黑着。

他伸手,按下了开机键。

“现在开始。”他说。


  (https://www.95ebook.com/bi/291128/36120948.html)


1秒记住笔趣阁:www.95ebook.com。手机版阅读网址:m.95ebook.com