ReLU 与 LeakyReLU 使用指南

输入特征值，计算 ReLU 与 LeakyReLU 激活输出并可视化对比，适用于激活函数教学、梯度特性演示与网络结构理解。

计算公式与原理

ReLU = max(0, x)；LeakyReLU = x (x≥0) 否则 αx；ELU = x (x≥0) 否则 α(eˣ − 1)

ReLU 计算极快且正区间梯度恒为 1，但负区间硬置 0 会造成"死神经元"；LeakyReLU 用很小的 α（常 0.01）保留一丝负梯度；ELU 负区间平滑趋近 −α，输出均值更接近 0，收敛更快但含指数运算成本略高。

使用步骤

1. 填写「输入 x」。
2. 填写「LeakyReLU 斜率 α」。
3. 结果区会即时更新；可一键复制结果用于记录或汇报。

典型使用场景

• ReLU(x)=max(0,x)，负值输出 0，带来稀疏性与非负性；负值区梯度为 0 易致'神经元死亡'。
• LeakyReLU(x)=max(αx,x)，负值给小斜率 α(如 0.01)保留微弱梯度，缓解死亡。
• 二者均为非线性激活，使网络能拟合复杂函数。

算例参考

• 激活对比：x=−2, α=0.01：ReLU=0(梯度断流)，LeakyReLU=0.01×(−2)=−0.02(保留微弱信号)。x=3 时二者均输出 3。

注意事项

结果为按上述公式得到的理论估算值，实际表现受数据分布、实现细节与运行环境影响，落地决策请以实测为准；本工具纯前端运行，输入不上传服务器。

为什么用 LeakyReLU 而不是 ReLU？

ReLU 在负区梯度恒为 0，若神经元输出长期为负则永久不更新(死亡)。LeakyReLU 给负区小斜率保留学习信号，训练更稳。

负值区斜率 α 取多大？

常用 0.01~0.1 固定，或参数化(PReLU)让模型学 α；α 过大负区信号过强、过小则接近 ReLU，0.01 是常见默认。