$rm{sigmoid}$ 函数性质

$x$范围为$[-50, 50]$的图像 $x$范围为$[-5, 5]$的图像

\[\rm{sigmoid}(x) = \frac{1}{1 + e^{-x}}\]

一般记为 $\sigma(x)$.

性质：

  • 定义域 $\mathbb{R}$, 值域范围 $(0, 1)$
  • 单调连续、处处可微
  • 值总是大于 0， 且 $\sigma(x) = 1 - \sigma(-x)$, 不严谨的说，中值是 0.5
  • 容易饱和，肉眼观察 x 大于 5 之后就趋于最大值 1 了

$\rm{sigmoid}$ 导数如下：

\[\sigma(x)^{'} = \sigma(x)(1 - \sigma(x))\]

性质：

  • 关于 $\sigma(x)$ 是一个凹函数（二次函数，开口向下），最大值为 0.25，当 $\sigma(x) == 0.5$, 即 $x == 0$;
  • 导数总是大于 0
  • 在饱和区域导数基本是 0

交叉熵损失函数为：

参考文档： https://zhuanlan.zhihu.com/p/299612493