为什么推理时要缩放？

训练丢弃使激活期望变为 p·x，若不缩放推理输出会比训练期望大 1/p 倍，分布错位导致性能下降；缩放恢复一致期望。

dropout 现在还常用吗？

在 Transformer 等大模型中常被 LayerNorm/BatchNorm 与权重衰减部分替代，但仍是有效正则；现代多用 dropout 配合注意力 dropout 与随机深度。

Dropout 保留期望 - dropout 后的期望输出

← ToolBox / Dropout 保留期望

🤖 Dropout Expected Output Calculator

Compute the expected output after dropout from the keep probability, plus the inference-time scaling factor that keeps train and test expectations aligned.

📐 计算公式 / 原理

保留概率 p = 1 − rate；训练期望 E[x] = p·x；缩放因子 = 1/p（inverted dropout）

训练时按 rate 随机置零并在保留分支乘 1/p，使期望与推理一致，推理阶段不做任何丢弃也不缩放。这相当于对大量稀疏子网络做隐式集成，抑制神经元共适应；rate 常取 0.1–0.5，过大反而欠拟合。

Dropout 率

输入值

神经元数

📐 计算公式与说明

期望输出与推理缩放（本页代码口径，与上框同源）：期望输出=x×(1−rate)（训练期随机置零后均值保持）；期望活跃神经元=n×(1−rate)（个，取整）；推理缩放因子=1÷(1−rate)（inverted dropout，rate=1 时发散按 — 显示）。校验：无强校验，空值按 0 兜底。判据：无固定分级，期望输出恒等于输入×保留概率，缩放因子与其互为倒数。

Dropout 率通常取 0.2-0.5。

📚 深度解析：Dropout 保留期望

💡 常见使用场景

训练期以概率 p 随机丢弃神经元，期望输出 E[out]=p·x，破坏 co-adaptation 起正则作用。
推理期若不做缩放，需将权重乘 p(或训练期除以 p)使期望一致，即 inverted dropout。
常用 p=0.5 于隐藏层、0.0~0.2 于输入层；过大 p 会欠拟合。

期望与缩放

输入 x=2.0, p=0.5：训练期期望输出=0.5×2=1.0。推理期若保留全部神经元，须把权重×0.5 使输出期望仍为 1.0( inverted dropout 在训练时先除 p)。

❓ 常见问题（FAQ）

为什么推理时要缩放？: 训练丢弃使激活期望变为 p·x，若不缩放推理输出会比训练期望大 1/p 倍，分布错位导致性能下降；缩放恢复一致期望。
dropout 现在还常用吗？: 在 Transformer 等大模型中常被 LayerNorm/BatchNorm 与权重衰减部分替代，但仍是有效正则；现代多用 dropout 配合注意力 dropout 与随机深度。

Formula & Standard References

Item	Formula / Note	Source / Standard
Training behaviour	training drops units and rescales survivors by the keep probability	Dropout paper
Inference behaviour	inference uses all weights without dropping	Dropout paper
Regularisation view	dropout approximates an ensemble of subnetworks	Dropout paper

Dropout 保留期望