Elastic Net 比單獨 L1/L2 好在哪？

同時獲得稀疏性與分組穩定性，尤其特徵高度相關時比純 L1 更穩健；代價是多一個超參，需用交叉驗證調。

權重衰減和 L2 完全等價嗎？

在標準 SGD 下等價；但用 AdamW 時權重衰減與梯度解耦，實現不同、效果更優，不能簡單當作 L2 代入。

🔍 L1 / L2 Regularization Penalty Calculator

Compute the L1 or L2 penalty added to the loss from your weights and regularization strength, and compare Lasso sparsity with Ridge shrinkage.

📐 計算公式 / 原理

L1 = λ₁·Σ|wᵢ|；L2 = λ₂·Σwᵢ²；總懲罰 = L1 + L2

L1 在 0 處不可導且梯度恆為 ±λ，會把不重要權重精確壓到 0，產生稀疏解可用於特徵選擇；L2 懲罰與權重成正比，越接近 0 推力越弱，只做均勻收縮、保留小權重，泛化通常更穩。二者混用即 Elastic Net。

權重1

權重2

權重3

L1 係數

L2 係數

組合懲罰

Loss=0.2, w=[3,−4], λ₁=0.01, λ₂=0.01：L1 懲罰=0.01×7=0.07，L2 懲罰=0.01×25=0.25，總損失=0.2+0.07+0.25=0.52。

Elastic Net 比單獨 L1/L2 好在哪？: 同時獲得稀疏性與分組穩定性，尤其特徵高度相關時比純 L1 更穩健；代價是多一個超參，需用交叉驗證調。
權重衰減和 L2 完全等價嗎？: 在標準 SGD 下等價；但用 AdamW 時權重衰減與梯度解耦，實現不同、效果更優，不能簡單當作 L2 代入。