L1 L2 正则化惩罚

🔍 L1 / L2 Regularization Penalty Calculator

Compute the L1 or L2 penalty added to the loss from your weights and regularization strength, and compare Lasso sparsity with Ridge shrinkage.

📐 计算公式 / 原理

L1/L2 正则惩罚（本页代码口径，三个权重 w1–w3）：L1 惩罚=λ₁×(|w1|+|w2|+|w3|)；L2 惩罚=λ₂×(w1²+w2²+w3²)；总惩罚=L1+L2，三项均保留 6 位小数。校验：无强校验，空值按 0 兜底。判据：无固定分级，λ₁、λ₂ 越大对应惩罚越重，权重全零时三项同时为 0。

L1 在 0 处不可导且梯度恒为 ±λ，会把不重要权重精确压到 0，产生稀疏解可用于特征选择；L2 惩罚与权重成正比，越接近 0 推力越弱，只做均匀收缩、保留小权重，泛化通常更稳。二者混用即 Elastic Net。

权重1

权重2

权重3

L1 系数

L2 系数

📐 计算公式与说明

判读与理论对照（本页代码口径，与上方公式互补）：总惩罚即正则项 λ₁‖w‖₁+λ₂‖w‖₂²，与上方三项共用同一组权重与系数；L1 项随权重绝对值线性增长，趋向把小权重压到 0 产生稀疏解；L2 项随权重平方增长，趋向整体收缩权重幅值；增大 λ₁ 强化稀疏化、增大 λ₂ 强化平滑收缩，两项叠加时同时生效。校验：与上方共用同一组输入，空值按 0 兜底。判据：无固定分级。

L1 产生稀疏权重，L2 使权重平滑。

📚 深度解析：L1 L2 正则化惩罚

💡 常见使用场景

惩罚项加入损失：L_total=Loss+λ₁‖w‖₁+λ₂‖w‖₂²，统称弹性网络(Elastic Net)。

L1 促稀疏(特征选择)，L2 促平滑(权重衰减)，二者互补。

权重衰减(weight decay)本质是 L2，深度学习常用之稳定训练。

组合惩罚

Loss=0.2, w=[3,−4], λ₁=0.01, λ₂=0.01：L1 惩罚=0.01×7=0.07，L2 惩罚=0.01×25=0.25，总损失=0.2+0.07+0.25=0.52。

❓ 常见问题（FAQ）

Elastic Net 比单独 L1/L2 好在哪？

同时获得稀疏性与分组稳定性，尤其特征高度相关时比纯 L1 更稳健；代价是多一个超参，需用交叉验证调。

权重衰减和 L2 完全等价吗？

在标准 SGD 下等价；但用 AdamW 时权重衰减与梯度解耦，实现不同、效果更优，不能简单当作 L2 代入。

Item	Formula / Note	Source / Standard
Norm definition	the L1 norm sums absolute values while the L2 norm is the square root of squared values	Golub & Van Loan, Matrix Computations
Geometry	L1 level sets are diamonds while L2 level sets are circles	Hastie et al., Elements of Statistical Learning
Use case	L1 suits feature selection whereas L2 suits collinear predictors	Tibshirani 1996, JRSS-B

Item

Formula / Note

Source / Standard

Norm definition

the L1 norm sums absolute values while the L2 norm is the square root of squared values

Golub & Van Loan, Matrix Computations

Geometry

L1 level sets are diamonds while L2 level sets are circles

Hastie et al., Elements of Statistical Learning

Use case

L1 suits feature selection whereas L2 suits collinear predictors

Tibshirani 1996, JRSS-B