论文介绍ImageNet Classification with Deep Convolutional Neural Networks- Alex Krizhevsky, Ilya Sutskever, and Geoffrey E. Hinton该论文是 ImageNet Large-Scale Visual Recognition Challenge (ILSVRC)-2012 competitions的 参赛模型，top 5测试错误率达到15.3%，远低于第二好的26.2%的错误率 。模型使用两块GPU进行训练，有6000万参数和65万个神经元，包含5个卷积层，其中几个卷积层后连接着max-pooling层，以及三个全连接层，输出为1000路softmax 。模型使用了ReLU非饱和神经元，以及dropout等方法来避免过拟合 。Alex Krizhevsky的SuperVison网络在ImageNet数据集上的改进，证明了大规模数据是神经网络成功应用的基础之一，也证明了卷积神经网络模型的深度与模型的表现具有一定的相关性 。
序言受到Yann LeCun发布的关于神经网络的启发，Alex等发现卷积神经网络能够很好二维图像的特征 。尽管多层神经网络和反向传播算法早在1980s就已经被发现能够很好地从训练数据中进行特征检测，但是直到海量标注数据和计算力到来他们才开始展现作用 。
介绍小型数据集（NORB、Caltech-101/256、CIFAR-10/100等）的出现，使得机器学习方法在简单的对象识别任务方面有成效 。但是新的超大型图像数据集，如LabelMe（包含数十万分割图像）和李飞飞博士发起的ImageNet（包含1500万张已标注高清图片，这些图片超过22000个类别）才使得基于卷积神经网络的复杂图像识别有可能成功 。并且，基于先验知识和模型设计，卷积神经网络可以弥补机器学习方法在图像复杂度方面的缺陷 。卷积神经网络与前馈神经网络相比（feedback neural networks)在模型网络结构和层数类似的情况下，网络中的连接数和参数都要少得多，更加容易训练，并且在最终的模型效果来说相差无几 。尽管卷积神经网络非常优秀和高效，但是应用在大规模高分辨率图像上成本仍然很高 。GPU训练与优化的2D卷积结合，在有足够多标注的图像数据集的训练下，可以避免严重的过拟合 。该论文的主要工作为训练了一个大型卷积神经网络，并在ILSVRC-2012取得了非常好的成绩 。并贡献了一种在GPU上实现的优化算法，提升卷积神经网络中的2D卷积操作和其他卷积神经网络训练中的原子操作 。该GPU优化算法，即cuda-convnet算法已开源 。模型中也包含了其他用以改进算法表现和减少训练时间的操作，整个模型在2个3GB内存的GPU上并行进行训练 。为了避免过拟合，模型也提出了ReLu激活函数和Dropout等方法 。最终的网络包含5个卷积层和三个全连接层，经过实验这种网络结构表现最优，去掉任何一层后模型性能都会下降 。
数据集ILSVRC的数据集包含了120万训练图像、5万验证图像和15万测试图像 。该比赛主要由两个错误率指标，top-1 error rate 和 top-5 error rate，在比赛中指的是：对于一张测试图像，模型给出五个可能性递减的分类，第一个分类标签错误率和前五个标签错误率 。通常来说top-5错误率会远低于top-1错误率 。
网络结构网络模型包含5个卷积层，3个全连接层 。分别在2个GPU上进行训练，并且只在必要的步骤才进行GPU间的数据交换，例如第2个卷积层的输出连接到两个GPU上的网络上，所有的全连接层也是在2个GPU之间进行数据交换 。这种双GPU的训练模式，允许训练更大的模型和参数，经过卷积和池化后，参数和连接的大小可以在一台计算机上进行计算，并且能够降低些许错误率 。
ReLu模型使用了ReLu（Rectified Linear Unit）非线性单元，最先由Nari和Hinto提出该方法 。在卷积神经网络模型中效果要比tanh 或 $（1+e{-x}){-1}$等线性激活函数要好，可以降低梯度下降所用的训练时间 。
Response normalization该模型使用了局部响应归一化来帮助泛化 。$bi_{x,y}=ai_{x,y}/\left(k+\alpha \sum_{j=max(0,i-n/2)}{min(N-1,i+N/2}(aj_{x,y})2\right)\beta,$其中，参数k,n,α,β是模型超参，在训练前就已经设置好 。所有的ReLu非线性之后都会应用局部归一化 。这种归一化可以帮助减少top1和top5错误率至少1.4%和1.2% 。
经验总结扩展阅读
- 图书馆的超星阅览室怎么免费下载电子书 超星校园阅读系统
- CVPR2022 Oral OGM-GE阅读笔记
- Java核心技术阅读笔记 java中的自动拆装箱与缓存
- 参考文献如何自动生成
- pdf阅读器如何进行页面裁剪
- 从SpringBoot启动，阅读源码设计
- 我不知道怎样加快阅读速度?
- 审阅的意思是什么
- 冬至的风俗
- 海信阅读手机A9评测 海信阅读手机哪款最好