為什麼用 LeakyReLU 而不是 ReLU？

ReLU 在負區梯度恆為 0，若神經元輸出長期為負則永久不更新(死亡)。LeakyReLU 給負區小斜率保留學習訊號，訓練更穩。

負值區斜率 α 取多大？

常用 0.01~0.1 固定，或引數化(PReLU)讓模型學 α；α 過大負區訊號過強、過小則接近 ReLU，0.01 是常見預設。

ReLU and LeakyReLU Activation Visualizer

視覺化 ReLU 啟用函式輸出。

📐 計算公式 / 原理

ReLU = max(0, x)；LeakyReLU = x (x≥0) 否則 αx；ELU = x (x≥0) 否則 α(eˣ − 1)

ReLU 計算極快且正區間梯度恆為 1，但負區間硬置 0 會造成"死神經元"；LeakyReLU 用很小的 α（常 0.01）保留一絲負梯度；ELU 負區間平滑趨近 −α，輸出均值更接近 0，收斂更快但含指數運算成本略高。

輸入 x

LeakyReLU 斜率 α

啟用對比

x=−2, α=0.01：ReLU=0(梯度斷流)，LeakyReLU=0.01×(−2)=−0.02(保留微弱訊號)。x=3 時二者均輸出 3。

為什麼用 LeakyReLU 而不是 ReLU？: ReLU 在負區梯度恆為 0，若神經元輸出長期為負則永久不更新(死亡)。LeakyReLU 給負區小斜率保留學習訊號，訓練更穩。
負值區斜率 α 取多大？: 常用 0.01~0.1 固定，或引數化(PReLU)讓模型學 α；α 過大負區訊號過強、過小則接近 ReLU，0.01 是常見預設。