ReLU 與 LeakyReLU - ToolBox

← ToolBox / ReLU 與 LeakyReLU

ReLU and LeakyReLU

視覺化 ReLU 啟用函式輸出。

輸入 x

LeakyReLU 斜率 α

📐 計算公式與說明

ReLU(x) = max(0, x)
LeakyReLU(x) = max(αx, x)
ELU(x) = x if x≥0 else α(eˣ−1)

啟用函式是神經網路非線性的來源。

📚 深度解析：ReLU 與 LeakyReLU

💡 常見使用場景

將「ReLU 與 LeakyReLU」納入現場複核清單，先固定其它輸入，單獨變化一個引數，確保輸出變化趨勢與工程/金融直覺一致。
建議保留引數口徑說明（單位、頻率基準、時間窗）以便團隊復現。
常見場景：ReLU and LeakyReLU

複核示例：ReLU 與 LeakyReLU

先用一組可復現輸入做一次基準運算，再對關鍵輸入乘以 10%、50% 兩檔復算，確認結果是否沿預期方向變化。

❓ 常見問題（FAQ）

ReLU 與 LeakyReLU 的誤差是否可快速定位？: 可。先檢查輸入邊界、單位、以及分母定義後，通常可在1-2次復算內定位偏差來源。
結果為負值或零值時該怎麼辦？: 先確認輸入是否突破有效域（如對數/開方前提、分母是否接近零），再回到定義式檢查口徑。