当 β \beta β取不同的值时，函数图像如下： 当 β \beta β = 0时，Swish激活函数变为线性函数 f(x) = x 2 \frac{x}{2} 2x， 当 β \beta β = ∞ \infty ∞ 时，Swish激活函数变为0或x，相当于Relu， 所以，Swish函数可以看作是介于线性函数与ReLU函数之间的平滑函数。 —————————————————————————————————— Swish函数的求导过程为： 导数图像如下：
1.Swish函数和其一阶导数都具有平滑特性； 2.有下界，无上界，非单调。
mish激活函数参考：mish激活函数 函数图像对比如下：
