图像分类:ALEX net(2012)

    技术2022-08-16  111

    ImageNet Classification with Deep Convolutional Neural Network

    top 5 error 就是预测出来的标签概率最大的前五个中有和真实标签一样的,就返回0。(5个标签分别于真实标签比较,相同则返回0,不同返回1,再对这五个数取最小值),所以这个错误率是越小越好。

    AlexNet由5个卷积层和池化层和3个全连接层构成,采用了RELU这个非饱和函数。

    网络架构: 神经元参数的计算: Fi是输入的通道数 内存的占用就是神经元的数量,参数的计算就是连接这些神经元所需要线的数量。 LRN(Local Response Normalization)局部相应标准化 抑制信号:当细胞分化为不同时,它会对周围细胞产生抑制信号,阻止它们向相同方向分化,最终表现为细胞命运的不同。 分子是原神经元参数,分母是由三个超参数(常数),和对在i-n/2和i-n/2之间求它们对应坐标之间像素和的平方之和。 如果它的像素值分别是1,2,3,100,5这样的话,1,2,3,5这四个神经元就会被抑制,因为111作为分母太大了。 训练技巧 针对位置: 统一将图片缩放到256 * 256,随机位置裁剪224 * 224区域,进行水平翻转 针对颜色: 通过PCA方法修改RGB通道的像素值,实现颜色扰动

    相似图片的第二个全连接层输出特征向量的欧式距离相近,它把具有高维度的图像降低到只有4096的维度还保持了同类别欧式距离相近这个特点,所以可以基于高级特征进行图像的检索,聚类或者编码。

    Processed: 0.015, SQL: 9