為什麼推理時要縮放？

訓練丟棄使啟用期望變為 p·x，若不縮放推理輸出會比訓練期望大 1/p 倍，分佈錯位導致效能下降；縮放恢復一致期望。

dropout 現在還常用嗎？

在 Transformer 等大模型中常被 LayerNorm/BatchNorm 與權重衰減部分替代，但仍是有效正則；現代多用 dropout 配合注意力 dropout 與隨機深度。

Dropout 保留期望 - dropout 後的期望輸出

🤖 Dropout Expected Output Calculator

Compute the expected output after dropout from the keep probability, plus the inference-time scaling factor that keeps train and test expectations aligned.

📐 計算公式 / 原理

保留機率 p = 1 − rate；訓練期望 E[x] = p·x；縮放因子 = 1/p（inverted dropout）

訓練時按 rate 隨機置零並在保留分支乘 1/p，使期望與推理一致，推理階段不做任何丟棄也不縮放。這相當於對大量稀疏子網路做隱式整合，抑制神經元共適應；rate 常取 0.1–0.5，過大反而欠擬合。

Dropout 率

輸入值

神經元數

📚 深度解析：Dropout 保留期望

💡 常見使用場景

訓練期以機率 p 隨機丟棄神經元，期望輸出 E[out]=p·x，破壞 co-adaptation 起正則作用。
推理期若不做縮放，需將權重乘 p(或訓練期除以 p)使期望一致，即 inverted dropout。
常用 p=0.5 於隱藏層、0.0~0.2 於輸入層；過大 p 會欠擬合。

期望與縮放

輸入 x=2.0, p=0.5：訓練期期望輸出=0.5×2=1.0。推理期若保留全部神經元，須把權重×0.5 使輸出期望仍為 1.0( inverted dropout 在訓練時先除 p)。

❓ 常見問題（FAQ）

為什麼推理時要縮放？: 訓練丟棄使啟用期望變為 p·x，若不縮放推理輸出會比訓練期望大 1/p 倍，分佈錯位導致效能下降；縮放恢復一致期望。
dropout 現在還常用嗎？: 在 Transformer 等大模型中常被 LayerNorm/BatchNorm 與權重衰減部分替代，但仍是有效正則；現代多用 dropout 配合注意力 dropout 與隨機深度。

Dropout 保留期望

🤖 Dropout Expected Output Calculator

📐 計算公式與說明

📚 深度解析：Dropout 保留期望

💡 常見使用場景

❓ 常見問題（FAQ）

🔗 相關工具