来源：电子技术应用 作者：朱莉 孙广玲

    摘要：在svm算法和sigmoid函数的基础上，提出了一种字符识别自适应学习算法，该算法通过自适应修正sigmoid函数的参数，使sigmoid函数能够较好地拟合自适应数据输出距离的类别后验概率分布，从而提高对自适应数据的识别率。

    关键词：svm sigmoid函数自适应学习梯度下降法

    手写字符的一个突出特点就是模式具有较大的变化性，表现为模式空间的类内分布过于分散，类间交叠严重，这使得识别模型无法“恰当”地拟合每类模式的数据分布或类别之间的判别面。在识别模型过程中，通过自适应学习就能较好地拟合特定书写者笔迹特征向量的空间分布，从而有利于识别率的提高。当然，自适应学习的结果只是提高了对特定书写者的识别率，但通过为不同人的笔迹特征向量提供不同的识别模型，就能够从总体上提高系统的识别率。

    任何一种自适应学习算法都基于一定的识别方法。从目前已有的文献来看，大致有以下几种自适应学习所依据的识别方法：hmms(hidden markov models)，anns(artificial neural networks)，pdnns(probabilistic decision—based neural networks)，子空间法(local subspace)以及模板匹配法(template matching)等。这些识别方法可以分为分布拟合法(hmms，pdnns，ls，tm)和判别决策法(ann)；前者仅学习每一类的正例，而不学习反例，而后者是同时学习正例和反倒。显然，在模型的一致性上，判别决策法要好于分布拟合法。

    根据这种思想，本文提出了一种基于svm分类算法和sigmoid函数的自适应学习算法。svm分类算法是一种判别决策方法，在很多识别问题中都获得了很好的实验结果，svm分类算法的输出为距离，参数化的sigmoid函数拟合svm输出距离的类别后验概率分布，使svm的距离输出变换为概率输出。本文提出的算法基于这种概率化方法，通过自适应学习，修改sigmoid参数，使sigmoid函数能够较好地拟合自适应数据输出距离的类别后验概率分布。由于输出距离是基于两类别的判别面的．因此输出距离的类别后验概率分布就同时学习了正例和反例。

    本文以手写数字为实验对象，对上文提出的自适应学习算法进行了有效性验证。

    1 svm算法及sigmoid函数

    1．1 svm分类学习算法

    1．2 sigmoid函数

    本文采用的方法，即利用参数化的sigmoid函数拟合svm分类决策函数的输出距离的类别后验概率分布，使其距离输出变为概率输出。参数化的sigmoid函数为：

    1．3 求解a，b

    为了避免求出的参数a，b值的偏移性，应利用不同于训练集d1的数据集d2求解a，b的值。d2=将d2中的所有数据代入到(6)、(7)式中，求解a，b以求出(7)式的极小值问题。

    2 基于svm和sigmoid函数的自适应学习算法

    2.1 多类别分类器设计方法

    本文依据所述svm算法和one-verse-one原则设计多类别的分类器。设类别数是n，则共有n*(n-1)/2个分类器，每个分类器的参数依次是权值wi,j,bi,j,ai,j和bi,j,i,j=1,2,……n,i<j。

    2．2 概率输出下的多类别决策

    概率输出下的多类别决策规则是：设有未知类别数据x，将其代入(6)式中有：

    依据投票法原则，若p(x)>o.5，第i类得到1票；若p(x)<0.5，第j类得到1票；若p(x)=0.5，不投票。当依次计算完n*(n-1)／2个概率值p之后，得到票数最多的类别被判别为数据x所属的类别。

    2.3 自适应学习算法

    本文的自适应学习算法的核心在于通过自适应数据中的误识样本，对参数ai,j,bi,j进行自适应修正。

    milil的上脚标i1表示x被误识为i1类，mi1表示被误识为i1类的样本个数。若第i1类的自适应数据集合的误识样本集合ei1中有被误识为i类的样本，则ei中被误识为i1类的样本和ei1中被误识