Sigmoid 和 Softmax 區別？

Sigmoid 獨立處理每個 logit、輸出各維獨立機率(可不和為1)，適合多標籤；Softmax 歸一化使各類機率和為1，適合單標籤多分類。

為什麼 Sigmoid 易飽和導致梯度消失？

當 |x| 很大時 σ 接近 0 或 1，導數≈0，反向傳播梯度趨零；深層網路常用 BatchNorm 與 ReLU 緩解，或用 Swish 等替代。

Sigmoid Output Calculator

Map any real number through the sigmoid function and see where it falls relative to the classification threshold.

📐 計算公式 / 原理

σ(z) = 1/(1 + e^(−z))；對數機率 logit = ln[p/(1 − p)] = z

Sigmoid 把任意實數壓到 (0,1)，輸出可直接當機率用；其導數 σ′=σ(1−σ)，在 |z| 較大時趨於 0，是深層網路梯度消失的根源之一，所以隱藏層現多改用 ReLU 系。閾值不必固定 0.5，應按業務代價調整。

輸入 z

分類閾值

機率對映

logit=2 → σ=1/(1+e⁻²)=0.881；logit=−2 → σ=0.119；logit=0 → 0.5。可見 logit 每增加 1，機率向 1 推進一步但減速(飽和)。

Sigmoid 和 Softmax 區別？: Sigmoid 獨立處理每個 logit、輸出各維獨立機率(可不和為1)，適合多標籤；Softmax 歸一化使各類機率和為1，適合單標籤多分類。
為什麼 Sigmoid 易飽和導致梯度消失？: 當 |x| 很大時 σ 接近 0 或 1，導數≈0，反向傳播梯度趨零；深層網路常用 BatchNorm 與 ReLU 緩解，或用 Swish 等替代。