ReLU 與 LeakyReLU 使用指南

輸入特徵值，計算 ReLU 與 LeakyReLU 啟用輸出並可視化對比，適用於啟用函式教學、梯度特性演示與網路結構理解。

計算公式與原理

ReLU = max(0, x)；LeakyReLU = x (x≥0) 否則 αx；ELU = x (x≥0) 否則 α(eˣ − 1)

ReLU 計算極快且正區間梯度恆為 1，但負區間硬置 0 會造成"死神經元"；LeakyReLU 用很小的 α（常 0.01）保留一絲負梯度；ELU 負區間平滑趨近 −α，輸出均值更接近 0，收斂更快但含指數運算成本略高。

使用步驟

1. 填寫「輸入 x」。
2. 填寫「LeakyReLU 斜率 α」。
3. 結果區會即時更新；可一鍵複製結果用於記錄或彙報。

典型使用場景

• ReLU(x)=max(0,x)，負值輸出 0，帶來稀疏性與非負性；負值區梯度為 0 易致'神經元死亡'。
• LeakyReLU(x)=max(αx,x)，負值給小斜率 α(如 0.01)保留微弱梯度，緩解死亡。
• 二者均為非線性啟用，使網路能擬合複雜函式。

算例參考

• 啟用對比：x=−2, α=0.01：ReLU=0(梯度斷流)，LeakyReLU=0.01×(−2)=−0.02(保留微弱訊號)。x=3 時二者均輸出 3。

注意事項

結果為按上述公式得到的理論估算值，實際表現受資料分佈、實現細節與執行環境影響，落地決策請以實測為準；本工具純前端執行，輸入不上傳伺服器。

為什麼用 LeakyReLU 而不是 ReLU？

ReLU 在負區梯度恆為 0，若神經元輸出長期為負則永久不更新(死亡)。LeakyReLU 給負區小斜率保留學習訊號，訓練更穩。

負值區斜率 α 取多大？

常用 0.01~0.1 固定，或引數化(PReLU)讓模型學 α；α 過大負區訊號過強、過小則接近 ReLU，0.01 是常見預設。