机器学习日志2

2.正态方程

通过对损耗函数求导并令其结果为零解出参数𝛉。

2.1.矩阵求导

定义：函数为f:R^n*d->R代表n*d的矩阵到实数的映射关系，则函数关于矩阵的导数为：

例如：矩阵

则函数关于A的导数为：

2.2.最小二乘法：

例如我们有一组样本的输入：

同样，我们拥有真实的目标值如下：

因为在前面学习过知道： 所以我们可以轻松证明：

已知向量的性质为 所以可以得到：

最后我们来求损耗函数J(𝛉)关于𝛉的导数：

最后令导数为零便可得到

从而可以解出：

这里需要注意，如果变量之间存在较强的共线性，则x^Tx近似奇异矩阵（不满秩的矩阵），使得对参数的估计不准确，造成过度拟合现象。可以通过正则化、主成分回归和偏最小二乘回归的方法解决这种变量之间存在较强共线性的问题。