一、问题现象
项目最初训练虚假评论检测模型时，发现许多真实差评被判断为虚假评论。模型表面上能给出结果，但结果不符合业务常识。
二、根因分析
检查原始数据后发现：真实评论样本大量是好评，而虚假评论样本也大量是好评。模型很容易学到错误规则：
负面表达 ≈ 虚假评论
真正应该学习的是异常短文本、重复模板、批量化表达等可疑特征。
这说明模型错误不一定来自网络结构，也可能来自标签定义和数据分布。
三、数据集迭代
v1：原始版本
真实类和虚假类都偏向好评，模型很难区分真实性和情感极性。
v2：加入真实差评
向真实类加入真实差评，减少“负面就是虚假”的偏差，但模型仍可能把详细好评误判为虚假。
v3：重新定义样本
最终版本中：
- 真实类包含原始真实评论和真实差评；
- 虚假类重点保留异常短评、纯标点、重复模板等样本；
- 真/假样本比例调整到相对平衡。
四、为什么不能只靠调参解决
如果训练标签本身表达了错误目标，那么换 BERT、加层数、调学习率都只能改变学习过程，不能改变错误监督信号。
正确顺序应该是：
观察错误 -> 检查样本 -> 分析标签 -> 重建数据 -> 重新训练 -> 重新评估
五、效果验证
当前资料显示，详细好评误判现象明显下降，典型样本测试达到 11/12 正确。BERT v3 测试 Accuracy 约 89.35%，Macro-F1 约 78.59%。跨品类测试整体约 73.8% Accuracy，说明域外泛化仍然存在挑战。
六、仍然存在的风险
“虚假评论”本身是一个需要业务定义的概念。仅凭文本判断真实性存在局限，真实系统最好结合：
- 用户行为；
- 评论时间；
- 设备和账号关系；
- 商品和订单信息；
- 文本重复度；
- 人工审核结果。
因此文本模型更适合作为风险筛查器，而不是单独作为最终处罚依据。
七、总结
这次问题排查最大的经验是：
当模型学到的规律违反业务常识时，先检查数据和标签，再考虑模型结构。
转载自 CSDN-专业IT技术社区
原文链接：https://blog.csdn.net/m0_68262196/article/details/164115326
