Gradient-Based Learning Applied to Document Recognition

| 研究学术  | 文献阅读  计算机视觉  机器学习应用  LeNet-5 

目录

摘要

反向传播(back-propagation)算法训练的多层神经网络是基于梯度法学习的最好范例。给定恰当的网络结构,基于梯度的学习算法能获得复杂的判别面,只需少量预处也能对高维模式分类,比如手写字符。卷积神经网络针对处理二维形状变化而特别设计,展了优于其它所有算法的性能。

现实中的文本识别系统由区域提取(field extraction)、分割(segmentation)、识别(recognition)和语言建模(language modeling)等多个模块组成。 利用称为GTN(graph transformer network)的学习范式,多模块系统能通过梯度法进行全局训练,从而达到全局最优。

序言

构建性能良好的识别系统,可更多的依靠自动学习机制,而少依赖手工设计的启发式方法。字符识别的案例表明:直接作用于像素的学习模型,经过精心设计,能方便地替代手动的特征抽取技术。

早期的模式识别技术,过度依赖于特征提取。手工构建构建精确识别系统十分困难,多数识别系统由自动学习技术(分类器)和手工算法(特征提取)构成。特征提取通常将输入模式转换为低维向量,其优势在于:(1)便于比较;(2)对变换和形变具有不变性。特征提取算法与特定任务相关,识别的精度极大依赖于特征,不同任务需要设计不同的特征提取算法。从历史角度看,需要特征提取的原因在于:当时用于分类器的学习算法,通常用于易分类的低维空间。这一状况有所改变,基于三个因素:(1)低价快速的计算单元的出现,可以更多的依赖“暴力”计算,而非算法改进;(2)解决问题的市场需求和兴趣大增,有了大量可用的数据集;(3)针对大数据集,强大的机器学习算法能够处理高维输入,并得到复杂的判别函数。


打赏作者


上一篇:CS231n(3):损失函数与最优化     下一篇:鲁棒及自适应控制(1):概论