逻辑回归相关公式
我们以单个训练样本为例，逻辑回归预测公式：
z
= w(T
) x
+ b
sigmoid激活函数：
y'
= a
= 𝝈
(z
)
𝝈
(z
) = 1/(1-e
^(-z
))
损失函数：
L(a
,y
) = -( ylog(a
) + (1-y
) * log(1-a
) )
对最终函数（损失函数L）求偏导结果
损失函数L 对 激活函数a 求偏导：
da
= dL
/da
= -(y
/a
) + (1-y
)/(1-a
)
① sigmoid 对 预测结果z 求偏导：
da
/dz
= a(1-a
)
② 损失函数 对 预测结果z 求偏导：
dz
= dL
/dz
= da
* a(1-a
) = a
-y
损失函数L 对 权重w、阈值b求偏导（其中i表示第i个样本）
dw(i
) = dL
/dw(i
) = dz
* x(i
)
db
= dL
/db
= dz
具体求导过程如下：
求导公式：
