一、神经网络 1、线性方程：f=wx 2、非线性方程：f=w2max(0,w1x) --------拟合更复杂的数据 3、神经网络的本质： 神经网络函数多了一个MAX（）计算，这种非线性的函数使得神经网络相比于传统的线性分类更强大，因为非线性可以使得咱们的函数去拟合更复杂的数据 二、神经网络结构 输入层—>隐层：对输入数据进行非线性转换+激活函数：多个激活函数—>输出层 ①单层神经网络：f=w2max(0,w1x) ②双层神经网络：f=w3max(0,w2max(0,w1x)) 对于深层网络来说，它具有更好的非线性也就是说网络的层数越深就更能够去拟合更复杂的数据。但容易出现过拟合情况。 三、神经元 越多的神经元，就越能够表达越复杂的模型 https://cs.stanford.edu/people/karpathy/convnetjs/demo/classify2d.html 四、激活函数—sigmoid、relu max等等 1、sigmoid 0-1之间 2、relumax 五、防止过拟合的方法 1、drop out ：随机选择几类数据进行计算，而不是选择全部 2、权重初始化：w=0.01*np.random.randn(D,H) 3、数据预处理：归一化、正则化（与机器学相同）
