信息熵（香农）

← ToolBox / 信息熵（香农）

📖 查看「信息熵（香农）使用指南」

🌡️ Shannon Entropy

Compute Shannon entropy H (bits/symbol) from discrete source symbol probabilities (probabilities should sum to 1; zero-probability terms count as 0).

事件1 概率

事件2 概率

事件3 概率

事件4 概率

📐 计算公式与说明

H = −Σ pᵢ · log₂(pᵢ)

概率应之和为 1；某事件概率为 0 时该项记 0。

📚 深度解析：信息熵（香农）

💡 常见使用场景

压缩下限：熵即无损压缩平均码长的理论下限。
随机性评估：高熵提示数据接近均匀分布、更"随机"。
密码学强度：密钥/ nonce 的熵衡量抗猜测能力。

示例：公平硬币

p=0.5/0.5 → H=−2×0.5·log2(0.5)=1 bit/符号；偏倚越小熵越低。

❓ 常见问题（FAQ）

概率必须和为 1 吗？: 是，离散信源概率归一；若输入频率会自动归一化。
零概率项怎么处理？: 按极限 0·log(0)=0 计入，不贡献熵。
熵高一定好？: 压缩场景高熵意味着难压缩；安全场景高熵（密钥）是好事。