Python3入门机器学习之4.4实现线性回归中的梯度下降法

Python3入门机器学习

4.4 实现线性回归中的梯度下降法

1.在线性回归模型中使用梯度下降法： (1).首先准备我们的模拟数据： (2).使用梯度下降法训练： 损失函数： 求解梯度的函数： 梯度下降法求解参数θ的过程： 2.封装用梯度下降解决线性回归问题的算法：

def fit_gd(self, X_train, y_train, eta=0.01, n_iters=1e4): """根据训练数据集X_train，y_train，使用梯度下降法训练Linear Regression模型""" assert X_train.shape[0] == y_train.shape[0], \ "the size of X_train must be equal to the size of y_train" def J(theta, X_b, y): try: return np.sum((y - X_b.dot(theta)) ** 2) / len(y) except: return float('inf') def dJ(theta, X_b, y): res = np.empty(len(theta)) res[0] = np.sum(X_b.dot(theta) - y) for i in range(1, len(theta)): res[i] = (X_b.dot(theta) - y).dot(X_b[:,i]) return res * 2 / len(X_b) def gradient_descent(X_b, y, initial_theta, eta, n_iters=1e4, epsilon=1e-8): theta = initial_theta cur_iter = 0 while cur_iter < n_iters: gradient = dJ(theta, X_b, y) last_theta = theta theta = theta - eta * gradient if (abs(J(theta, X_b, y) - J(last_theta, X_b, y)) < epsilon): break cur_iter += 1 return theta X_b = np.hstack([np.ones((len(X_train), 1)), X_train]) initial_theta = np.zeros(X_b.shape[1]) self._theta = gradient_descent(X_b, y_train, initial_theta, eta, n_iters) self.interception_ = self._theta[0] self.coef_ = self._theta[1:] return self

3.使用我们封装的算法：