理解卷积神经网络中的权值共享

首先介绍单层网络实行的权重共享袁力介绍

简单从共享的角度来说：权重共享即filter的值共享

卷积神经网络两大核心思想：

1.网络局部连接（Local Connectivity）

2.卷积核参数共享（Parameter Sharing）

两者的一个关键作用就是减少参数数量，使运算变得简洁、高效，能够在超大规模数据集上运算。

下面来用最直观的图示，来阐明两者的作用。

CNN的正确打开方式，如下所示 概括为：一个 的卷积核在图像上扫描，进行特征提取。通常， ， 的卷积核较为常用，如果channels为 [公式] 的话（32,64是较为常用的通道数），那么参数总量为 。

不进行parameter sharing

如果不用parameter sharing实现上图的运算，卷积核结构就会变成下图所示

这个是不难发现：卷积核的参数数量与图像像素矩阵的大小保持一致，即 例如：Inception V3的输入图像尺寸是192192的，**如果把第一层3332的卷积核去掉参数共享，那么参数数目就会变成192192*32，约为120万个参数，是原来288个参数的50万倍。**

不进行local connectivity 如果不用局部连接，那当然就是全连接网络了（fully connect），即每个元素单元与隐层的神经原进行全连接，网络结构如下所示。

此时参数量变为 ,因为像素矩阵很大，所以也会选择较多的隐含层节点，这时一个单隐层的参数数目通常就超过了1千万个，导致网络很难进行训练。

---

以下是pytorch对多层网络实行的权重共享代码

import torch import torch.nn as nn import random import matplotlib.pyplot as plt # 绘制loss曲线 def plot_curve(data): fig = plt.figure() plt.plot(range(len(data)), data, color='blue') plt.legend(['value'], loc='upper right') plt.xlabel('step') plt.ylabel('value') plt.show() class DynamicNet(nn.Module): def __init__(self, D_in, H, D_out): super(DynamicNet, self).__init__() self.input_linear = nn.Linear(D_in, H) self.middle_linear = nn.Linear(H, H) self.output_linear = nn.Linear(H, D_out) def forward(self, x): h_relu = self.input_linear(x).clamp(min=0) # 重复利用Middle linear模块 for _ in range(random.randint(0, 3)): h_relu = self.middle_linear(h_relu).clamp(min=0) y_pred = self.output_linear(h_relu) return y_pred # N是批大小；D是输入维度 # H是隐藏层维度；D_out是输出维度 N, D_in, H, D_out = 64, 1000, 100, 10 # 模拟训练数据 x = torch.randn(N, D_in) y = torch.randn(N, D_out) model = DynamicNet(D_in, H, D_out) criterion = nn.MSELoss(reduction='sum') # 用平凡的随机梯度下降训练这个奇怪的模型是困难的，所以我们使用了momentum方法。 optimizer = torch.optim.SGD(model.parameters(), lr=1e-4, momentum=0.9) loss_list = [] for t in range(500): # 前向传播 y_pred = model(x) # 计算损失 loss = criterion(y_pred, y) loss_list.append(loss.item()) # 清零梯度，反向传播，更新权重 optimizer.zero_grad() loss.backward() optimizer.step() plot_curve(loss_list)