信息熵(香农)

📊 信息熵(香农)

计算离散信源的信息熵(平均信息量)。

📐 计算公式与说明

H = −Σ pᵢ · log₂(pᵢ)

概率应之和为 1;某事件概率为 0 时该项记 0。