"为学日益,为道日损。"
——《道德经·第四十八章》
追求学问一天比一天增加;追求大道一天比一天减少。
这句话放在机器学习里是先知级别的警告。
普通人做量化模型只会为学日益——不断加特征、换模型、调参数,模型越来越复杂;
高手在"为道日损"——把没用的特征删掉,把过拟合的部分剪掉,最后留下一个简单但稳健的东西。
因为金融数据里,复杂往往等于噪音。
那个回测年化200%的LSTM
2021年,一个朋友兴冲冲地找我,说他做了个模型。
他用LSTM(长短期记忆网络),输入是过去60天的价量数据加上一堆技术指标,输出是明天涨跌的概率。回测结果:年化200%,最大回撤只有3%。
他说:"这次真的找到了。"
我看了一眼他的代码,问了三个问题:
第一个问题:你是怎么划分训练集和测试集的?
他说:随机打乱,8:2划分。
问题就在这里。金融数据是时间序列,随机打乱意味着"用未来的数据训练模型,去预测过去"——这叫未来函数(look-ahead bias)。 必须按时间顺序划分,训练集在前,测试集在后。
第二个问题:你的特征里,有没有用到当天的收盘价或者最高价?
他愣了一下,说:有,我用了当天的振幅、当天的收益率……
这就是数据泄露(data leakage)。 如果你用"当天的完整信息"去预测"当天的涨跌",那模型当然准——因为答案已经藏在输入里了。实盘时,你在盘中做决策,当天收盘价根本还不知道。
第三个问题:你试了多少组参数?
他说:大概两百多组,挑了最好的。
这就是过拟合。 试200组参数,总会有一组在历史上表现特别好——但那不是模型学到了规律,是它记住了噪音。
后来他把这三处都改了,重跑回测:年化从200%掉到8%,最大回撤从3%涨到28%。
实盘跑了半年,亏了12%,他关掉了。
他跟我说:"我以为我在做机器学习,其实我在做机器学习版的曲线拟合。"
今天这篇,我把机器学习在量化里的应用讲透:从线性到非线性到底进步了什么、三类学习各能用在哪、机器学习真正的优势在哪、以及——那四个能让你血本无归的坑。

Why:为什么量化要用机器学习?
一、市场关系是"非线性"的,线性模型有天花板
先说清楚为什么需要机器学习。
传统量化模型大多是线性的。比如多因子模型:
预期收益 = w1×估值因子 + w2×动量因子 + w3×质量因子 + ...
线性模型的隐含假设是:每个因子的影响是独立的、可加的、方向恒定的。
但真实市场不是这样。举几个例子:
• 低估值不一定涨,低估值+高成长才涨。 这是交互效应,线性模型抓不到。
• 动量在小盘股上有效,在大盘股上无效。 这是条件效应。
• 波动率极低时,动量策略表现好;波动率极高时,动量会崩。 这是非线性关系。
机器学习最大的价值,就是自动捕捉这些非线性关系和特征交互。 你不需要手工构造"低估值×高成长"这种交叉项,模型自己会找。
二、特征工程的人工成本太高
传统量化研究,最耗时的不是建模,是找因子。
一个研究员一年可能挖出3-5个有效因子,每个都要读论文、想逻辑、写代码、做检验。这是纯粹的体力活。
机器学习可以:
• 一次性输入几百个候选特征(价量、财务、另类数据)
• 让模型自己判断哪些有用、怎么组合
• 用正则化自动做"特征选择"
这大幅降低了"发现规律"的人力成本。 但注意——它降低的是"发现"的成本,不是"判断真伪"的成本。后面会讲,判断真伪反而更难了。
三、但金融数据有个致命特点:信噪比极低
这是机器学习在量化里最难的地方,必须说清楚。
图像识别里,猫的图片和狗的图片,信号非常清晰。模型很容易学到"有胡须、尖耳朵=猫"。
金融数据不一样。日频收益率的可预测部分,可能只有1%-3%,剩下97%以上都是噪音。
这带来两个后果:
1. 模型极易过拟合。因为噪音占绝大多数,模型很容易把噪音当规律学走。
2. 样本量永远不够。一天一个数据点,十年才2500个。相比图像识别动辄百万样本,金融数据少得可怜。
所以金融机器学习的第一原则是:控制模型复杂度。 不是模型越复杂越好,恰恰相反——在低信噪比环境里,简单模型往往更稳健。
这就是老子说的"为道日损"。
What:从线性到非线性,到底进步了什么?
一、模型演进:五个阶段
阶段一:线性回归(Linear Regression)
y = β0 + β1x1 + β2x2 + ... + ε
• 优点:可解释性极强、不易过拟合、计算快。
• 缺点:只能捕捉线性关系,无法处理交互。
• 量化地位:仍是多因子模型的基石。不要小看它,很多机构的主力模型就是线性回归+精心构造的因子。
阶段二:决策树(Decision Tree)
逻辑是"一层层问问题":估值低吗?→ 是 → 动量强吗?→ 是 → 买入。
• 优点:自动捕捉非线性和交互、可解释、不需要标准化。
• 缺点:极易过拟合(树可以一直分下去,直到每个样本单独一类)。
• 量化地位:单独用很少,主要作为集成模型的组件。
阶段三:随机森林(Random Forest)
种很多棵树,每棵树用不同的样本子集和特征子集,最后投票。
• 优点:大幅降低过拟合(因为多棵树平均掉了噪音)、稳健、几乎不用调参。
• 缺点:可解释性下降、模型体积大。
• 量化地位:这是量化里最实用的模型之一。 稳健、好调、不容易出大错,非常适合低信噪比场景。
阶段四:梯度提升树(GBDT / XGBoost / LightGBM)
一棵棵树串行训练,每棵新树专门修正前面所有树的残差。
• 优点:在结构化数据上通常效果最好、能处理缺失值、训练快。
• 缺点:调参空间大(容易过拟合)、对异常值敏感。
• 量化地位:目前量化选股/选品种的主力模型。 LightGBM 在业内的普及度极高。
阶段五:神经网络(NN / LSTM / Transformer)
• 优点:理论上能拟合任意复杂函数、能处理序列(LSTM)和长程依赖(Transformer)、能融合文本/图像等非结构化数据。
• 缺点:需要大量数据(金融数据恰恰不够)、黑箱、极易过拟合、训练不稳定。
• 量化地位:在高频(tick级数据量大)和另类数据(文本、图像)场景有优势;在日频选股上,未必打得过GBDT。
一个反直觉的结论:在日频/周频的量化选股上,GBDT 常常打败神经网络。 因为样本量不够,神经网络的参数太多,学不到东西只会记住噪音。模型复杂度必须匹配数据量,这是铁律。
二、三类学习,各能用在哪
监督学习(Supervised Learning)——预测
有明确的标签(label),模型学习"输入→输出"的映射。
量化里的典型任务:
• 分类:明天涨还是跌?(二分类)跑赢/跑平/跑输基准?(三分类)
• 回归:未来20天的收益率是多少?(直接预测数值)
• 排序:这一批股票里,哪10只未来表现最好?(Learning to Rank)
注意:量化里"排序"任务往往比"分类/回归"更实用。因为你不关心绝对收益是多少,只关心"相对谁更好"。很多量化模型最后用的是预测值的排序,而不是绝对值。
无监督学习(Unsupervised Learning)——发现结构
没有标签,让模型自己找规律。
量化里的典型任务:
• 聚类:把几千只股票按价量特征分成若干"风格组",识别哪些组当前在轮动。
• 降维(PCA):把上百个因子压缩成十几个主成分,去掉共线性。
• 异常检测:找出行为异常的标的(可能是操纵、可能是流动性枯竭)。
强化学习(Reinforcement Learning)——优化决策
让一个"智能体"在环境中试错,学习最优策略。
量化里的典型任务:
• 最优执行:怎么分批下单,让冲击成本最小(这是RL在量化里最成功的应用)。
• 动态仓位管理:根据市场状态动态调整仓位。
• 组合优化:在约束下寻找最优权重。
但要泼一盆冷水:强化学习在"选股"上的成功案例很少。 因为金融市场环境非平稳(规则一直在变),RL学到的策略很容易在环境变化后失效。RL最适合的是"执行"这类边界清晰、环境相对稳定的问题。
三、机器学习的真正优势(别用错地方)
很多人以为ML的优势是"预测更准"。其实不是。
真正的优势有三个:
1. 捕捉交互:低估值+高成长+低波动,这种三维组合,线性模型要手工构造交叉项,ML自动找。
2. 特征筛选:几百个候选特征里,自动挑出真正有用的十几个。
3. 处理非结构化数据:新闻文本、财报电话会、卫星图像、招聘数据——这些用传统因子方法几乎无法处理,NLP/CV模型可以。
而ML的劣势也很明确:
• 需要大量数据(金融没有)
• 黑箱(监管和客户都不喜欢)
• 过拟合风险高
• 环境一变就失效
所以正确的定位是:ML是"因子挖掘和特征组合的工具",不是"预测未来的水晶球"。 用它来找人找不到的关系,但最终还是要靠经济逻辑去验证。
四、四个必须知道的坑
坑一:过拟合(Overfitting)
模型在训练集上表现完美,在样本外一塌糊涂。
成因:模型太复杂、样本太少、试了太多参数。
对策:
• 控制模型复杂度(树的数量、树的深度、正则化强度)
• 严格样本外检验
• 记录你试了多少组参数——试100组挑最好的,那个"最好"多半是运气
坑二:数据泄露(Data Leakage)
模型在训练时"偷看"了未来信息。
最常见的三种泄露:
1. 时间泄露:用当天收盘价预测当天涨跌。
2. 标准化泄露:用全样本的均值和标准差做标准化,等于用了未来数据。必须用滚动窗口或只用训练集统计量。
3. 财务数据泄露:用了"报告期"而不是"公告日"。财报是3月31日的数据,但要到4月30日才公布。用报告期做特征,等于提前一个月知道答案。
对策:所有特征都要问一句"这个数据,在决策那一刻,我真的知道吗?"
坑三:幸存者偏差(Survivorship Bias)
回测时只用了"现在还在的股票",退市的、被并购的都没算进去。
后果:你的回测里全是活下来的公司,收益自然虚高。A股每年退市几十家,这个偏差足以让一个平庸策略看起来很棒。
对策:用包含退市股票的全样本数据库(point-in-time data)。
坑四:非平稳性(Non-stationarity)
市场规律本身在变。2015年有效的因子,2020年可能完全失效。
这是金融ML和图像识别最本质的区别:猫的样子几十年不变,但市场的规律每几年就换一套。
对策:
• 滚动训练(rolling window):只用最近N年数据训练,定期重训
• 严格监控因子衰减:模型上线后持续跟踪IC(信息系数)变化
• 不要相信"长期有效"的因子,要相信"当前仍然有效"的因子
How:国内实操,一步步来
一、正确的建模流程
第一步:定义预测目标
不要一上来就"预测涨跌"。先想清楚:
• 预测周期多长?(1天?5天?20天?)
• 预测什么?(绝对收益?相对排名?涨跌方向?)
• 怎么用?(选前10%买入?还是做多空组合?)
预测目标和交易方式必须匹配。 如果你做月度调仓,却预测日频涨跌,那是白费功夫。
第二步:构造特征,严守"当时可得"原则
每个特征都要能回答:"在T日收盘后,我能算出这个数吗?"
第三步:时序交叉验证(不是随机划分!)
这是最关键的一步。必须用时序交叉验证(Time Series Split),而不是随机K折。
第四步:样本外检验 + 小仓实盘验证
回测好不算数。必须:
1. 留出一段完全没碰过的样本外数据(至少2年)
2. 小仓位实盘跑3-6个月
3. 对比实盘和回测的IC、胜率、换手,差异超过30%就要警惕
二、代码示例:一个规范的ML量化流程
下面这段代码演示一个完整流程,重点是时序交叉验证和防止泄露。
// python
import numpy as np
import pandas as pd
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import TimeSeriesSplit
from sklearn.metrics import r2_score
from scipy.stats import spearmanr
np.random.seed(42)
# ---------- 1. 构造模拟数据 ----------
n = 1500 # 1500个交易日
X = pd.DataFrame({
"f_mom": np.random.normal(0, 1, n), # 动量因子
"f_val": np.random.normal(0, 1, n), # 估值因子
"f_vol": np.random.normal(0, 1, n), # 波动因子
})
# 人为构造一个"非线性+交互"的真实关系:低波动时动量有效,高波动时动量反向
y = 0.02 * X["f_mom"] * (1 - X["f_vol"].clip(-1, 1)) \
+ 0.01 * X["f_val"] \
+ np.random.normal(0, 0.03, n) # 大量噪音
逐行讲解:
• np.random.normal(0, 1, n):生成1500个标准正态随机数,作为因子值。
• X["f_mom"] * (1 - X["f_vol"].clip(-1,1)):这是故意构造的交互项——动量的效果被波动率"调节"。波动低时(fvol负)动量效果放大,波动高时(fvol正)动量效果减弱甚至反向。
• .clip(-1, 1):把波动因子限制在[-1,1],防止极端值主导。
• np.random.normal(0, 0.03, n):加噪音。注意噪音标准差0.03,而信号幅度只有0.02和0.01——信噪比很低,这就是真实金融数据的样子。
// python
# ---------- 2. 时序交叉验证(关键!) ----------
tscv = TimeSeriesSplit(n_splits=5) # 5折,按时间顺序切
model = RandomForestRegressor(
n_estimators=200, # 200棵树
max_depth=4, # 深度限制在4层,防止过拟合
min_samples_leaf=50, # 每个叶子至少50个样本
random_state=42
)
ic_scores, r2_scores = [], []
for train_idx, test_idx in tscv.split(X):
X_train, X_test = X.iloc[train_idx], X.iloc[test_idx]
y_train, y_test = y.iloc[train_idx], y.iloc[test_idx]
model.fit(X_train, y_train) # 只用过去的数据训练
pred = model.predict(X_test) # 预测未来
ic = spearmanr(pred, y_test).correlation # 排序相关性
ic_scores.append(ic)
r2_scores.append(r2_score(y_test, pred))
print(f"训练 {len(train_idx):4d} 天 → 测试 {len(test_idx):3d} 天,IC={ic:.3f}")
print(f"\n平均 IC = {np.mean(ic_scores):.3f}")
逐行讲解:
• TimeSeriesSplit(n_splits=5):这是防泄露的核心。它按时间顺序切分:第1折用前20%训练、第2个20%测试;第2折用前40%训练、第3个20%测试……永远只用过去训练、未来测试。
• max_depth=4:深度限制是防过拟合最重要的参数。树越深,越容易记住噪音。金融数据上,深度3-6通常足够。
• min_samples_leaf=50:每个叶子节点至少50个样本。这个参数直接对抗过拟合——不允许模型为个别样本单独建规则。
• model.fit(X_train, y_train):注意只传训练集。如果误传全集,就泄露了。
• spearmanr(pred, y_test).correlation:用斯皮尔曼秩相关算IC,不是用R²。因为量化关心的是"排序对不对",不是"数值准不准"。
• 判读标准:日频模型IC在0.02-0.05就算有效;超过0.10要怀疑泄露。如果跑出IC=0.5,不要高兴,先查代码。
// python
# ---------- 3. 特征重要性:看模型学到了什么 ----------
model.fit(X, y) # 全样本拟合,仅用于看特征重要性
importance = pd.Series(model.feature_importances_, index=X.columns)
print("\n特征重要性:")
print(importance.sort_values(ascending=False))
逐行讲解:
• model.feature_importances_:随机森林自带的特征重要性,基于"这个特征让不纯度下降了多少"。
• 重要提醒:这里用全样本拟合只是为了看重要性,不能用于评估效果。评估必须用上面的时序交叉验证。
• 判读:如果三个因子重要性都差不多(0.3/0.3/0.3),说明模型没找到区分度;如果某个因子占0.8,说明它主导了预测——这时候要问:这个因子是不是泄露了未来信息?
• 更深的检查:把最重要的特征单独拿出来做单因子IC。如果单因子IC就有0.15,那大概率有问题——真实的单因子IC很少超过0.05。
// python
# ---------- 4. 对比:线性模型 vs 非线性模型 ----------
from sklearn.linear_model import LinearRegression
lr = LinearRegression()
ic_linear = []
for train_idx, test_idx in tscv.split(X):
lr.fit(X.iloc[train_idx], y.iloc[train_idx])
pred = lr.predict(X.iloc[test_idx])
ic_linear.append(spearmanr(pred, y.iloc[test_idx]).correlation)
print(f"\n线性模型平均 IC = {np.mean(ic_linear):.3f}")
print(f"随机森林平均 IC = {np.mean(ic_scores):.3f}")
逐行讲解:
• 用完全相同的时序切分,跑一个线性回归做对照。
• 这才是正确的比较方式——控制变量,只换模型。
• 你会看到:因为这个数据里我们故意埋了交互项(动量×波动),随机森林的IC会明显高于线性回归。这就是"非线性捕捉能力"的具体体现。
• 但如果数据里没有交互项(纯线性关系),随机森林未必赢,甚至可能因为过拟合而输。 所以——先想清楚你的假设,再选模型。 不要默认"复杂模型更好"。
三、国内实操的三个提醒
提醒一:A股的"特征"有特殊性
• 涨跌停:涨停的股票第二天往往有溢价,但你也买不进。建模时必须考虑可交易性。
• T+1:今天买明天才能卖,日频策略的最小持仓是1天。
• 停牌:停牌期间的数据怎么处理,会严重影响回测结果。
• ST股:通常要剔除,但剔除本身也是一种选择偏差。
提醒二:数据质量比模型重要十倍
• 用point-in-time(PIT)数据:财报要用公告日,不用报告期。
• 用复权价格:否则除权日会出现假的暴跌信号。
• 检查幸存者偏差:数据库里有没有退市股票?
• 很多人花了80%时间调模型,20%时间处理数据。应该反过来。
提醒三:模型上线只是开始
• 每天监控IC、换手率、行业暴露、风格暴露。
• IC连续20个交易日为负 → 预警。
• IC滚动60日均值跌破历史30%分位 → 考虑降仓或重训。
• 定期重训(比如每季度),但不要频繁重训——过度反应会把噪音当信号。
四、给普通人的现实路径
如果你是从零开始:
1. 先做线性模型。多因子线性回归+严格样本外检验。能跑通这个,你就超过了80%的人。
2. 再加一个GBDT(LightGBM最好上手)。对比线性和非线性的IC差异,理解非线性的价值。
3. 暂时别碰深度学习。除非你有tick级数据或者文本数据,否则神经网络的收益远不如它的复杂度成本。
4. 把80%精力放在数据和特征上。模型换一代,IC可能提升0.005;但找到一个好特征,IC可能提升0.02。
一句话总结路径:线性打底 → GBDT增强 → 严守时序验证 → 实盘小仓验证。
总结
机器学习在量化里,三句话:
第一,它解决的是"非线性"和"特征交互",不是"预测未来"。 用它来找人找不到的关系,但最终要靠经济逻辑验证——没有逻辑支撑的高IC,多半是泄露。
第二,金融数据信噪比极低,所以"简单"往往打败"复杂"。 日频选股上,GBDT常常打赢神经网络;线性模型常常是最稳的底仓。模型复杂度必须匹配数据量。
第三,四个坑:过拟合、数据泄露、幸存者偏差、非平稳性。 每一个都能让漂亮的回测变成实盘的灾难。防住这四个,你就赢了大半。
回到老子那句"为学日益,为道日损"。
做模型的前三年,你一直在"为学日益"——学更多的算法、加更多的特征、试更多的参数。但真正的突破,往往发生在你开始"为道日损"的时候:删掉那些看起来有用但经不起推敲的特征,砍掉那些让回测变好但让逻辑变模糊的复杂度,最后留下一个简单、可解释、能扛住样本外的东西。
那个用LSTM亏了12%的朋友,后来改成了三因子的线性模型。年化11%,回撤15%,跑了两年很稳。
他说:"我现在不追求惊艳了,我追求能重复。"
能重复的东西,才叫策略。只能惊艳一次的,那叫运气。
转载自 CSDN-专业IT技术社区
原文链接:https://blog.csdn.net/weixin_42332217/article/details/170713568




