训练和验证都很高怎么办？

这是欠拟合，模型容量或训练不足。可增大网络、延长训练、降低正则强度，或检查特征与标签质量。

验证集必须和训练集同分布吗？

应尽量同分布以反映真实泛化；若验证集分布偏移，验证损失只能衡量对该子集的拟合，不能代表线上表现。

🔍 Overfitting Diagnosis

Compare training and validation loss curves to tell overfitting from underfitting, and get targeted regularization and early-stopping advice.

📐 计算公式 / 原理

损失差距 = 验证损失 − 训练损失；准确率差距 = 训练准确率 − 验证准确率；风险判据：损失差 > 0.3 或准确率差 > 10%

训练指标持续优于验证指标就是过拟合信号，差距越大越强。阈值 0.3 / 10% 是常用经验线，但不同任务量纲差异很大，更可靠的是看验证损失是否开始回升（应触发早停）。

训练损失

验证损失

训练准确率 %

验证准确率 %

损失曲线判读

训练 loss 从 0.9 降到 0.1，验证 loss 从 0.9 降到 0.5 后回升到 0.7 → 第 5 轮附近开始过拟合，应在验证最低点(0.5)早停并回退权重。

Item	Formula / Note	Source / Standard
Generalisation gap	training loss falling while validation rises signals overfitting	Hastie, Elements of Statistical Learning
Diagnosis	compare training and validation curves and inspect learning curves	Machine learning practice
Mitigation	regularisation, early stopping, augmentation and smaller models help	Machine learning practice