L1 為什麼能稀疏？

L1 在零點不可導、等高線為菱形，最優解易落在座標軸上使部分權重恰為 0，實現特徵選擇；L2 只縮小不置零。

正則係數 λ 怎麼選？

用驗證集網格/貝葉斯搜尋；λ 過小過擬合、過大欠擬合。通常對權重先標準化，再在 10⁻⁴~10 量級掃描。

🔍 L1 / L2 Norm and Penalty Calculator

Compute the L1 and L2 norms of a weight vector together with the matching penalty terms, to build intuition about sparsity and shrinkage.

📐 計算公式 / 原理

L1 範數 = Σ|wᵢ|；L2 範數 = √(Σwᵢ²)

兩個範數量化權重矩陣的整體規模：L1 反映絕對值總量，對少量大權重敏感；L2（Frobenius 範數）反映能量，常被直接寫進損失作為懲罰項。監控範數隨訓練的變化能快速判斷是否出現權重爆炸。

權重1

權重2

權重3

權重4

範數計算

w=[3,−4]：‖w‖₁=|3|+|−4|=7；‖w‖₂=√(9+16)=5，L2 懲罰=(λ/2)·25。L1 對大權重同等懲罰，L2 更壓大權重。