資訊熵（夏農） - 免費線上編碼轉換工具

← ToolBox / 資訊熵（夏農）

📖 檢視「資訊熵（夏農）使用指南」

🌡️ Shannon Entropy

Compute Shannon entropy H (bits/symbol) from discrete source symbol probabilities (probabilities should sum to 1; zero-probability terms count as 0).

事件1 機率

事件2 機率

事件3 機率

事件4 機率

📐 計算公式與說明

H = −Σ pᵢ · log₂(pᵢ)

機率應之和為 1；某事件機率為 0 時該項記 0。

📚 深度解析：資訊熵（夏農）

💡 常見使用場景

壓縮下限：熵即無失真壓縮平均碼長的理論下限。
隨機性評估：高熵提示資料接近均勻分佈、更"隨機"。
密碼學強度：金鑰/ nonce 的熵衡量抗猜測能力。

示例：公平硬幣

p=0.5/0.5 → H=−2×0.5·log2(0.5)=1 bit/符號；偏倚越小熵越低。

❓ 常見問題（FAQ）

機率必須和為 1 嗎？: 是，離散信源機率歸一；若輸入頻率會自動歸一化。
零機率項怎麼處理？: 按極限 0·log(0)=0 計入，不貢獻熵。
熵高一定好？: 壓縮場景高熵意味著難壓縮；安全場景高熵（金鑰）是好事。