目录
摘要
反向传播（back-propagation）算法训练的多层神经网络是基于梯度法学习的最好范例。给定恰当的网络结构，基于梯度的学习算法能获得复杂的判别面，只需少量预处也能对高维模式分类，比如手写字符。卷积神经网络针对处理二维形状变化而特别设计，展了优于其它所有算法的性能。
现实中的文本识别系统由区域提取（field extraction）、分割（segmentation）、识别（recognition）和语言建模（language modeling）等多个模块组成。 利用称为GTN（graph transformer network）的学习范式，多模块系统能通过梯度法进行全局训练，从而达到全局最优。
序言
构建性能良好的识别系统，可更多的依靠自动学习机制，而少依赖手工设计的启发式方法。字符识别的案例表明：直接作用于像素的学习模型，经过精心设计，能方便地替代手动的特征抽取技术。
早期的模式识别技术，过度依赖于特征提取。手工构建构建精确识别系统十分困难，多数识别系统由自动学习技术（分类器）和手工算法（特征提取）构成。特征提取通常将输入模式转换为低维向量，其优势在于：（1）便于比较；（2）对变换和形变具有不变性。特征提取算法与特定任务相关，识别的精度极大依赖于特征，不同任务需要设计不同的特征提取算法。从历史角度看，需要特征提取的原因在于：当时用于分类器的学习算法，通常用于易分类的低维空间。这一状况有所改变，基于三个因素：（1）低价快速的计算单元的出现，可以更多的依赖“暴力”计算，而非算法改进；（2）解决问题的市场需求和兴趣大增，有了大量可用的数据集；（3）针对大数据集，强大的机器学习算法能够处理高维输入，并得到复杂的判别函数。
