ReLU 与 LeakyReLU

← ToolBox / ReLU 与 LeakyReLU

R ReLU 与 LeakyReLU

可视化 ReLU 激活函数输出。

📐 计算公式与说明

ReLU(x) = max(0, x)
LeakyReLU(x) = max(αx, x)
ELU(x) = x if x≥0 else α(eˣ−1)

激活函数是神经网络非线性的来源。

🔗 相关工具

🎲 Dropout 保留期望Dropout 保留期望 🔧 L1 L2 正则化惩罚L1 L2 正则化惩罚 📥 RAG 召回率RAG 召回率 📈 ROC AUC 近似ROC AUC 近似 S Sigmoid 输出S Sigmoid 输出 🎲 Softmax 概率Softmax 概率