資訊增益近似

← ToolBox / 資訊增益近似
📖 檢視「資訊增益近似使用指南」

📡 Information Gain (Gini / Entropy) Calculator

Measure the impurity drop before and after a binary split using the Gini index or entropy, to compare candidate features when building a decision tree.

📐 計算公式 / 原理
基尼 = 2p(1 − p)；加權子基尼 = w_L·2p_L(1 − p_L) + (1 − w_L)·2p_R(1 − p_R)；基尼增益 = 根基尼 − 加權子基尼；熵 = −p·log₂p − (1 − p)·log₂(1 − p)
決策樹分裂準則：基尼與熵都衡量節點純度，取值越小越純。基尼計算更快（無對數）是 CART 預設；熵對純度變化略敏感。二者選出的分裂在絕大多數資料集上差異極小。

📐 計算公式與說明

基尼 = 2p(1−p)
熵 = −p·log₂p − (1−p)·log₂(1−p)
增益 = 父不純度 − 加權子不純度

決策樹分裂選擇增益最大的特徵。

📚 深度解析：資訊增益近似

💡 常見使用場景

二分類節點分裂
父節點正類 6/負類 6，熵=1.0；按某特徵分為左(5正1負)右(1正5負)。左熵≈0.65、右熵≈0.65，加權=0.5×0.65+0.5×0.65=0.65，資訊增益=1.0−0.65=0.35。

❓ 常見問題（FAQ）

資訊增益和基尼該用哪個？
兩者結論常一致。基尼計算免對數更快，對多數類錯誤更敏感；熵對不純度變化更敏感、偏向多值特徵，需用增益率修正偏置。
為什麼資訊增益偏向取值多的特徵？
取值越多越容易把樣本分得更純，增益天然偏大。C4.5 用增益率(增益/分支熵)懲罰多值特徵以糾偏。

🔗 相關工具

🤖 Dropout 保留期望Dropout 期望輸出計算器，輸入保留機率求 dropout 後的期望輸出與推理期縮放因子，輔助… 🔍 L1 L2 正則化懲罰L1/L2 正則化懲罰計算器，輸入權重與正則係數求對損失函式的懲罰項，對比 Lasso 與 Rid… 🤖 RAG 召回率RAG 召回率計算器，輸入相關文件數與檢索命中數求召回率，評估檢索增強生成的檢索覆蓋質量。 🤖 ROC AUC 近似輸入正負樣本預測得分，估算 ROC 曲線下面積 AUC，評估分類器排序能力，適用於模型選型、閾值無… 🤖 ReLU 與 LeakyReLUR ReLU 與 LeakyReLU 🤖 Sigmoid 輸出S Sigmoid 輸出

如何使用資訊增益近似

  1. 按頁面提示逐項填寫或選擇所需引數。
  2. 點選「計算」或「生成」按鈕執行。
  3. 在結果區檢視輸出，可複製結果或匯出使用。

引數說明

適用場景

資訊熵 H=−Σpᵢlog₂pᵢ；基尼不純度 G=1−Σpᵢ²，均衡量節點混雜度。

常見問題

資訊增益和基尼該用哪個？
兩者結論常一致。基尼計算免對數更快，對多數類錯誤更敏感；熵對不純度變化更敏感、偏向多值特徵，需用增益率修正偏置。
為什麼資訊增益偏向取值多的特徵？
取值越多越容易把樣本分得更純，增益天然偏大。C4.5 用增益率(增益/分支熵)懲罰多值特徵以糾偏。