神经网络绪论

神经网络的定义

生物学神经元

人的大脑中有$10^{11}$ - $10^{12}$ 个神经元

每个神经元与$10^3-10^4$个神经元相连

神经元的结构是具有可塑性的（可以变化）

人工神经元

生物神经元是人工神经元的物理基础

人工神经元的结构：

$x_1,x_2,...,x_n$为输入，即与其他神经元接触得到的输入

$w_1,w_2,...,w_n$为权值，可以理解为不同神经元到本神经元的距离

到达本神经元之后有一个阈值$\theta$，从输入到本神经元内部可以表达为$S={\sum }_{i=1}^n{w}_i{x}_i-\theta$（线性加权求和）

神经元的反应（对外）由非线性激活函数来表达$y=\phi (S)=\phi ({\sum }_{i=1}^n{w}_i{x}_i-\theta )$

模型：

w1 w2 ... wn x1 theta x2 ... xn y

当$S$大于一定的阈值，输出状态为兴奋状态$y=1$，小于阈值为抑制状态$y=0$

人工神经网络

许多神经元连接在一起构成神经网络，每一层神经元收到输入的信号产生响应，作为传给下一层，前向型神经网络不一定谁跟谁连，互联型神经网络

人工神经网络的特点

它是一个非线性动态系统 每个神经元都是非线性的，且会互相影响 维数高 神经元数量大，多输入，多输出 并行、分布式 分布式结构，且可以并行处理 有自适应、自组织、自学习能力 一个神经元很简单，但大量神经元连接起来会产生非常复杂丰富的结果

神经网络信息处理的特征–与冯·诺伊曼计算机比较

存储方式不同 计算机：集中存储 $vs$ 神经网络：分布式，信息存储在连接中（权值，结构） 信息处理方法（机理）不同 计算机：CPU进行逻辑运算 $vs$ 神经网络：每个神经元都是一个简单的独立的处理器，神经网络是分布式并行的 操作规则 计算机：逻辑运算 $vs$ 物理学，生物学等的运算

主要研究领域

模式分类，识别：语音识别，图像识别

信号处理，特征提取：自适应滤波，信号/图像特征提取

控制，决策：系统识别，自动错误诊断

组合优化问题：TSP，最短路径

系统建模，函数逼近

人工智能，知识工程

神经网络的发展历程

初始发展阶段（1969年之前）

并不深入，理论研究，1943年，M-P模型，实现逻辑运算

1958年感知机，有学习能力（通过实例来学习，确定权值），基于M-P模型

1962年，Adaline（adaptive linear element）

低潮期（1969-1982年）

起因：MIT的一位教授Minsky在1969年发布了专著《Perception》，现有的模型只能解决它能够计算的问题，有些简单的问题通过一层感知机并不能解决（例如 XOR）。直接导致美国科学基金不再往这个方向投入。

复兴期（1982-1987年）

1982年，有少数在该领域研究的科学家发表了一些成果：用大规模集成电路做出了Hopfield网络，解决了NP问题TSP。

1986年，并行分布式处理，提出了BP算法，能解决n层神经网络中Minsky提出的问题。

高峰期（1987-1992年）

1987年第一届国际神经网络大会，成立了国际神经网络协会，1988成立Neural Networks期刊。

平稳发展期（1992年之后）

有研究，大家认识到有些问题还是很难解决，但是不是不能解决

深度学习（2006年）

2006: Deep Auto-encoder in Science

2012: AlexNet, a 8-layer CNN, At ILSVRC 2012 获得了第一名，他得到的图像分类错误率为15.3%，比第二名26.2%低了10%。

神经网络的进一步研究领域

神经网络理论，模型，学习算法等

非线性动态神经网络

硬件应用，神经网络处理器，神经网络计算机

课程主要内容

前向神经网络

M-P模型，感知机，Adaline，多层BP网络，深度学习模型

Recurrent网络

Hopfield网络

自组织特征映射网络（SOM）

RBF神经网络

遗传算法和进化计算神经网络

学习算法

有监督学习无监督学习强化学习（有监督和无监督之间）

神经网络的应用案例