為什麼要減去最大值？

exp 大數會溢位。softmax 具平移不變性，先減最大值不改變結果卻把所有指數壓到 ≤0，避免 exp 上溢、數值穩定。

softmax 和 sigmoid 在二分類下等價嗎？

等價。二分類 softmax 兩維機率互為補數，與對單 logit 用 sigmoid 一致；多分類才必須用 softmax 歸一化。

🎲 Softmax Probability Converter

Convert a set of logits into a probability distribution that sums to 1, the standard last step of a multi-class model.

📐 計算公式 / 原理

Pᵢ = e^{zᵢ} / Σⱼ e^{zⱼ}

Softmax 把 logits 變成和為 1 的機率分佈，指數放大差距使最大值更突出。實現上通常先減去 max(z) 再取指數以避免上溢；輸出機率並不等於模型置信度，未經校準的模型常過度自信。

Logit 1

Logit 2

Logit 3

Logit 4

機率歸一化

logits=[2,1,0.1]，減最大值 2 得 [0,−1,−1.9]，exp=[1,0.368,0.149]，Σ=1.517 → 機率=[0.659,0.243,0.098]，和為 1。

為什麼要減去最大值？: exp 大數會溢位。softmax 具平移不變性，先減最大值不改變結果卻把所有指數壓到 ≤0，避免 exp 上溢、數值穩定。
softmax 和 sigmoid 在二分類下等價嗎？: 等價。二分類 softmax 兩維機率互為補數，與對單 logit 用 sigmoid 一致；多分類才必須用 softmax 歸一化。