线性回归

线性回归用于回归问题，在回归模型中，线性回归绝对是最简单的，但是并不妨碍他成为帮助研究回归问题上的强力工具。对于绝大部分的数据回归问题，线性回归都是我们的首选。他主要有以下优点：

模型简单、易于建模解释性强、易于调试

---

一般形式

给定由d个属性描述的示例$x=(x_1;x_2;...;x_d)$，其中$x_i$是$x$在第$i$个属性上的取值，让我们来预测$x$所对应的$y$值。线性回归所做的就是假定特征x与目标变量y之间具有线性关系，试图学习到一个可以表示x和y之间的映射关系的函数，函数如下： $$f(x)=w_1{x}_1+w_2{x}_2+...+w_d{x}_d$$ 一般用向量形式写成 $$f(x)=w^{T}x+b$$ 其中$w=(w_1;w_2;...;w_d)$。模型的目标就是学习w和b两个参数，两个参数确定了，模型也就确定了。

---

一元线性回归

我们先以一元线性回归来举例，也就是d=1的情况，这个时候x和w都是单个的数，y=wx+b也可以用二维平面的一条直线来表示。 假设我们当前数据集如下：

xy1121.233.143.755.165.8

我们希望能够通过上面的数据来预测x=7时y所对应的值。于是线性回归模型就会尝试构造一个函数来描述x和y之间的关系，$y=wx+b$。 这个关系在二维空间可以表示为模型尝试用一条直线来拟合数据点，如下图中的黑线。 我们还可以看到上图中有一条蓝色的线，这也可能是我们通过学习得到的线性模型。那么我们将黑线和蓝线用于预测数据，哪条线得到的效果会更好呢？换个说法，哪条模型拟合的更好呢？ 通过肉眼判断我们可以很快的得出黑线效果更好，那么有什么依据呢？ 这个时候我们就需要设定一个评估标准，用来评价模型的好坏程度。比较简单的一种方法就是测量真实值和预测值之间的误差。

---

损失函数

只要误差越小，模型就学习的更好，模型的可信度越高。 假设y’为模型的预测值，y为样本的真实值，那么单个样本误差就可以表示为$(y^{\prime }-y{)}^2$（平方保证误差为正）。 假设我们的数据集为$D=(x_1,y_1),(x_2,y_2),...,(x_n,y_n)$,共有n个样本。则模型的总误差，我们称之为损失函数$l$可表示为： $$l=\sum _{i=1}^n(w{x}_i+b-y_i{)}^2$$ 其中$y_i^{\prime }=w{x}_i+b$，$x_i$和$y_i$是已知的，w和b是未知的参数，也是模型需要学习的参数。 我们希望模型预测的越精确越好，换个思路，也就是说只要让我们的模型的损失函数取最小值就可以达到我们的目的，于是我们就把这个模型优化问题变成了一个求最小值的问题。

---

求解过程

求函数$l$的最小值，我们只要分别对w和b求导，再把导数设置为0即可。 先对b求导: $$\begin{array}{rl}\frac{\partial l}{\partial b}& =\sum _{i=1}^{n}2(w{x}_i+b-y_i)\\ & =2(\sum _{i=1}^{n}w{x}_i+\sum _{i=1}^{n}b+\sum _{i=1}^n{y}_i)\end{array}$$ 令上式等于0: $$\begin{gathered} 2(\sum _{i=1}^{n}w{x}_i+\sum _{i=1}^{n}b-\sum _{i=1}^n{y}_i)=0 \\ w\sum _{i=1}^n{x}_i+nb-\sum _{i=1}^n{y}_i=0 \\ wn\bar{x}+nb-n\bar{y}=0 \\ b=\bar{y}-w\bar{x} \end{gathered}$$ 其中，$$\begin{gathered} n\bar{y}=\sum _{i=1}^n{y}_i, \\ n\bar{x}=\sum _{i=1}^n{x}_i \end{gathered}$$

再对w求导： $$\frac{\partial l}{\partial w}=\sum _{i=1}^{n}2x_i(w{x}_i+b-y_i)$$ 令上式等于0: $$\begin{gathered} \sum _{i=1}^{n}w{x}_i^2+\sum _{i=1}^n{x}_{i}b-\sum _{i=1}^n{y}_i{x}_i=0 \\ nw\overline{x^2}+n\bar{x}b-n\overline{xy}=0 \\ \overline{x^2}w=\overline{xy}-\bar{x}b \end{gathered}$$ 将$b=\bar{y}-w\bar{x}$代入: $$\begin{gathered} \overline{x^2}w=\overline{xy}-\bar{x}\bar{y}+w{\bar{x}}^2 \\ w=\frac{\overline{xy}-\bar{x}\bar{y}}{\overline{x^2}-{\bar{x}}^2} \end{gathered}$$ 再将w代入b即可求得b。 确定了w和b，我们就确定了我们的线性回归模型，y=wx+b。 以上就是一元线性回归，那么多元呢？

---

多元线性回归

上面我们讲述了一元线性回归，现在来讲一下多元，也就是当x有多种特征时的情况。 假设我们的数据集为$D=\{(x_1,y_1),(x_2,y_2),...,(x_n,y_n)\}$，共有n个样本，其中$x_i\in R^d$，也就是说$x_i$是一个d维的向量。 例如有个数据集如下表，用身高和体重来预测体脂率

身高体重体脂172641606017.508018%

每个x有两种属性，那么其中的$x_1$就可以用（172,64）的二维向量来表示，$y_1$则为16%。

此时线性回归模型表示为$f(x)=w^{T}x+b$。

则可推出模型的损失函数: $$l=\sum _{i=1}^n(\sum _{j=1}^d{w}_i{x}_{ij}+b-y_i{)}^2$$ 为了简化式子，我们可以在这里做一个小小的改动来消除b：把b看做x的一个特征，只不过这个特征的值永远为1，这个特征对应的权重即为b。

那么模型可以表示为$y=x\cdot w$。

简化后w、x、y分别可以表示为： $$w=(w_0,w_1,w_2,...,w_d{)}^T$$ $$x=\left[\begin{array}{ccccc}1,& x_{11},& x_{12},& ...& x_{1d}\\ 1,& x_{21},& x_{22},& ...& x_{2d}\\ ...,& ...,& ...,& ...& ...\\ 1,& x_{n1},& x_{n2},& ...& x_{nd}\end{array}\right]$$ $$y=(y_1,y_2,...,y_n{)}^T$$ 其中， w_0为b对应的权重。

---

L2范数

在求解模型之前，我们需要先了解一下L2范数的概念，L2范数也叫欧几里得范数 假设$x=(x_0,x_1,x_2,...,x_d{)}^T$。$||x|{|}_2$称为x的L2范数: $$||x|{|}_2=\sqrt{x_1^2+x_2^2+...+x_d^2}$$ 因此有 $$||x|{|}_2^2=x_1^2+x_2^2+...+x_d^2$$ 并且 $$||x|{|}_2^2=x^T\cdot x$$

---

求解过程

根据上面所说的范数，模型的损失函数$l$可以用非常简单的形式表示： $$l=||x\cdot w-y|{|}_2^2$$ 接下来进行展开： $$\begin{array}{rl}l& =(xw-y{)}^T(xw-y)\\ & =(xw{)}^{T}xw-(xw{)}^{T}y-y^{T}xw+y^{T}y\\ & =w^T{x}^{T}xw-w^T{x}^{T}y-y^{T}xw+y^{T}y\\ & =w^T{x}^{T}xw-2w^T{x}^{T}y+y^{T}y\end{array}$$ 最后我们对w进行求导，将导数设为0就可以了，关于矩阵求导公式可以查阅书籍： $$\begin{array}{rl}\frac{\partial l}{\partial w}& =2x^{T}xw-2x^{T}y=0\\ & \Rightarrow x^{T}xw=x^{T}y\\ & \Rightarrow (x^{T}x{)}^{-1}{x}^{T}xw=(x^{T}x{)}^{-1}{x}^{T}y\\ & \Rightarrow w=(x^{T}x{)}^{-1}{x}^{T}y\end{array}$$ 注意： 上述公式中包含$(x^{T}x{)}^{-1}$,也就是要对矩阵求逆，因此这个方程只在逆矩阵存在的时候适用，在使用之前要判断其是否可逆。

像上面这样基于均方误差最小化来进行模型求解的方法，我们称之为 最小二乘法 ，在线性回归中最小二乘法就是试图找到一条直线，使得样本到直线上的欧氏距离之和最小。

---

逻辑回归

逻辑回归虽然也叫回归，但是它其实是一个分类模型。虽然它比较简单，但它绝对可以算的上是分类模型中靠谱的基准线（比它表现要差的模型不靠谱）。 逻辑回归通常用来解决二分类问题，那么我可以假设y的值只能取1或者0。有了这个假设，我们就可以用一个条件概率来表示x和y之间的映射关系： $$p(Y|x)$$ 那么如何来表示$p(Y|x)$呢？我们是否可以用线性回归中用到的$w^{T}x+b$来表示它？答案是不行：

概率需要满足值域在(0,1)之间，使用$w^{T}x+b$作为概率明显不满足此条件。

所以我们需要做的就是把$w^{T}x+b$进行一些改造，使其值域映射到(0,1)区间。

---

激活函数

说到连续的值域在[0,1]区间的函数，我们就会想到sigmoid函数，它的函数曲线如下图： 函数式为:$$y=\frac{1}{1+e^{-x}}$$ 它拥有许多优点：

连续，平滑，单调递增值域为(0,1)易于求导，其导数为$S^{\prime }(x)=S(x)(1-S(x))$，记住这个式子，下面要用！

因为这些优点，Sigmoid函数常被用作神经网络的激活函数

---

表现形式

利用sigmoid函数，我们就可以表示$p(Y|x)$了： $$p(Y|x)=\frac{1}{1+e^{-(w^{T}x+b)}}$$ 于是，我们可以定义如下概率： $$\begin{gathered} p(y=1|x)=\frac{1}{1+e^{-(w^{T}x+b)}} \\ p(y=0|x)=1-p(y=1|x)=\frac{e^{-(w^{T}x+b)}}{1+e^{-(w^{T}x+b)}} \end{gathered}$$ 将两个式子合并，我们可以得到 $$p(y|x)=p(y=1|x,w,b{)}^{y}p(y=0|x,w,b{)}^{1-y}$$

---

目标函数

接下来，我们要利用到最大似然估计，通过最大化目标函数来求参数 首先，我们假设我们的数据集为：$$D=\{(x_1,y_1),(x_2,y_2),...,(x_n,y_n)\}$$ 其中$x_i\in R^d,y\in \{0,1\}$。

所以，我们需要最大化的目标函数如下： $$\begin{array}{rl}{\hat{w}}_{MLE},{\hat{w}}_{MLE}& =argma{x}_{w,b}\prod _{i=1}^{n}p(y_i|x_i,w,b)\\ & =argmi{n}_{w,b}-\sum _{i=1}^n\log p(y_i|x_i,w,b)\\ & =argmi{n}_{w,b}-\sum _{i=1}^n\log [p(y_i=1|x_i,w,b{)}^{y_i}\cdot [1-p(y_i=1|x_i,w,b{)}^{1-y_i}]]\\ & =argmi{n}_{w,b}-\sum _{i=1}^n[y_i\log p(y_i=1|x_i,w,b)+(1-y_i)\log [1-p(y_i=1|x_i,w,b)]]\\ & =argmi{n}_{w,b}-\sum _{i=1}^n[y_i\log \sigma (w^{T}x+b)+(1-y_i)\log [1-\sigma (w^{T}x+b)]]\end{array}$$ 其中$\sigma (x)=\frac{1}{1+e^{-x}}$。

接着我们就可以分别对w，b求导： $$\begin{array}{rl}\frac{\partial L}{\partial w}& =-\sum _{i=1}^n{y}_i\frac{\sigma (w^{T}x+b)[1-\sigma (w^{T}x+b)]x_i}{\sigma (w^{T}x+b)}+(1-y_i)\frac{-\sigma (w^{T}x+b)[1-\sigma (w^{T}x+b)]x_i}{1-\sigma (w^{T}x+b)}\\ & =-\sum _{i=1}^n[y_i[1-\sigma (w^{T}x+b)]+(y_i-1)\sigma (w^{T}x+b)]x_i\\ & =-\sum _{i=1}^n[y_i-y_i\sigma (w^{T}x+b)+y_i\sigma (w^{T}x+b)-\sigma (w^{T}x+b)]x_i\\ & =-\sum _{i=1}^n{x}_i[y_i-\sigma (w^{T}x+b)]\end{array}$$ 同理也可以求出$$\frac{\partial L}{\partial b}=-\sum _{i=1}^n[y_i-\sigma (w^{T}x+b)]$$

根据上面两个式子，我们可以发现把导数设为零的方法已经行不通了，这个时候，我们可以选择梯度下降法来更新参数： $$w^{t+1}=w^t-\eta \sum _{i=1}^n{x}_i[y_i-\sigma (w^{T}x+b)]$$ $$b^{t+1}=b^t-\eta \sum _{i=1}^n[y_i-\sigma (w^{T}x+b)]$$ 每跑完一次数据集，我们就会利用上式对w，b进行更新。 其中$\eta$为每一时刻学习率，是一个超参数，数值大小由我们设定，它控制着每一次迭代的程度。学习率越大，学习速度会越快； 学习率越小，学习速度越慢。通常使用的标准是随着时间的推移，学习率不断变小。

这就是逻辑回归模型进行学习的整个过程。

---

以上就是我对线性回归和逻辑回归的理解和推导，如有问题，谢谢指出！