文章目录

一、卷积存在的意义1、局部感受野：2、共享参数：区别于全连接 二、CNN构架设计原则三、基础网络架构的总结1、Alexnet2、Inception3、VGG4、resnet5、xception。 ​​四、轻量化网络结构1、squeezenet（2016.2）2、mobilenet（2016.4）3、shufflenet（2016.6）4、xception

一、卷积存在的意义

1、局部感受野：

卷积核对应的区域

2、共享参数：区别于全连接

全连接每个神经元都对应n个参数，这n个参数都是不一样的 但是卷积中假设每次卷积时一个卷积核对应的参数是一样的

二、CNN构架设计原则

一般特征图越来越小，通道数会越来越多

三、基础网络架构的总结

1、Alexnet

引入dropout 使用时随机失活，完了之后对参数再做还原 引入relu

2、Inception

v1: 多尺度卷积核、引入不同感受野、1X1卷积、辅助损失函数 v2/v3: BN引入、2个3X3替代5X5 BN解决网络因内部协方差而难训练。内部协方差就是训练过程中，每层的输入分布因前面层的参数变化而不断变化 nxn分解为1xn和nx1（不常用)

3、VGG

小卷积核的拼接

4、resnet

有个skip connection

5、xception。

前提，假设空间信息和通道信息可以分离

先卷积区域，一个特征图层一个卷积核。 再融合通道，1X1卷积 计算： ​

​​四、轻量化网络结构

1、squeezenet（2016.2）

降低了feature map通道数。具体是：先用1X1对通道进行减小，在用inception思想将通道变大，然后进行通道维度拼接

2、mobilenet（2016.4）

深度卷积结合点卷积

3、shufflenet（2016.6）

1X1卷积核替换3X3卷积核，减少3X3卷积核的通道数，降采样操作滞后，就可以最大化得到空间信息，提高精度 具体为： 扩展层：分为1X1和3X3卷积两部分，扩展从压缩层得到的特征通道 压缩层：全部由1X1组成，旨在压缩特征通道数

4、xception

使用1X1卷积和3X3深度可分离卷积 残差结构的使用 构造xception结构（36个卷积，14个块（1+3+8+1+1））