为什么用 LeakyReLU 而不是 ReLU？

ReLU 在负区梯度恒为 0，若神经元输出长期为负则永久不更新(死亡)。LeakyReLU 给负区小斜率保留学习信号，训练更稳。

负值区斜率 α 取多大？

常用 0.01~0.1 固定，或参数化(PReLU)让模型学 α；α 过大负区信号过强、过小则接近 ReLU，0.01 是常见默认。

ReLU and LeakyReLU Activation Visualizer

可视化 ReLU 激活函数输出。

📐 计算公式 / 原理

ReLU = max(0, x)；LeakyReLU = x (x≥0) 否则 αx；ELU = x (x≥0) 否则 α(eˣ − 1)

ReLU 计算极快且正区间梯度恒为 1，但负区间硬置 0 会造成"死神经元"；LeakyReLU 用很小的 α（常 0.01）保留一丝负梯度；ELU 负区间平滑趋近 −α，输出均值更接近 0，收敛更快但含指数运算成本略高。

输入 x

LeakyReLU 斜率 α

激活对比

x=−2, α=0.01：ReLU=0(梯度断流)，LeakyReLU=0.01×(−2)=−0.02(保留微弱信号)。x=3 时二者均输出 3。

为什么用 LeakyReLU 而不是 ReLU？: ReLU 在负区梯度恒为 0，若神经元输出长期为负则永久不更新(死亡)。LeakyReLU 给负区小斜率保留学习信号，训练更稳。
负值区斜率 α 取多大？: 常用 0.01~0.1 固定，或参数化(PReLU)让模型学 α；α 过大负区信号过强、过小则接近 ReLU，0.01 是常见默认。

Item	Formula / Note	Source / Standard
ReLU definition	ReLU returns the maximum of the input and zero so the negative side is flat	Nair & Hinton 2010, ICML
LeakyReLU definition	LeakyReLU keeps a small slope on the negative side to avoid vanishing gradients	Maas et al. 2013, ICML
Gradient behaviour	ReLU is non-differentiable at zero and its zero negative gradient can kill units	Glorot et al. 2011, AISTATS