L1 为什么能稀疏？

L1 在零点不可导、等高线为菱形，最优解易落在坐标轴上使部分权重恰为 0，实现特征选择；L2 只缩小不置零。

正则系数 λ 怎么选？

用验证集网格/贝叶斯搜索；λ 过小过拟合、过大欠拟合。通常对权重先标准化，再在 10⁻⁴~10 量级扫描。

🔍 L1 / L2 Norm and Penalty Calculator

Compute the L1 and L2 norms of a weight vector together with the matching penalty terms, to build intuition about sparsity and shrinkage.

📐 计算公式 / 原理

L1 范数 = Σ|wᵢ|；L2 范数 = √(Σwᵢ²)

两个范数量化权重矩阵的整体规模：L1 反映绝对值总量，对少量大权重敏感；L2（Frobenius 范数）反映能量，常被直接写进损失作为惩罚项。监控范数随训练的变化能快速判断是否出现权重爆炸。

权重1

权重2

权重3

权重4

范数计算

w=[3,−4]：‖w‖₁=|3|+|−4|=7；‖w‖₂=√(9+16)=5，L2 惩罚=(λ/2)·25。L1 对大权重同等惩罚，L2 更压大权重。