摘要：在分析传统方法的基础上，将GA与神经网络相结合，提出了一种特征变换的新方法，二者优势互补，通过与传统的特征选择方法比较，用实例验证了该方法的正确性和可信性。

关键词：GA 神经网络 特征选择 特征变换

在机器学习和KDD领域，事物的属性和属性取值反映了事物的本质和度量，为了描述一致，统称为模式特征。在传统文献中，模式特征一般分为物理特征、结构特征和数学特征[1-2]。

物理特征和结构特征容易被人类感官所接受，便于直接识别对象。在人工智能领域，物理特征和结构特征以数学特征的形式表现出来，特征提取主要指特征数据的处理方法和过程。广义上的特征提取按属性数据的处理方式分为特征直接提 取和间接提取，又称为特征选择和特征变换。

（1）直接提取（特征选择）：设原始特征集合为Un={A1,A2…，An}，直接提取即从Un中挑选出有利于分类的特征子集：Tc:Un→Ud

其中,d<n,Ud→Un，特征空间的维数得到了压缩。

（2）间接提取（特征变换）：通过映射或变换的方法，把高维空间Un的高维特征转化为低维空间Ud的低维特征：Tc:Un→Ud

其中，d≤n，在特征空间变换过程中，特征维数得到了压缩，但是压缩的前提是保证样本的分类性质保持不变。Te可以采用线性或者非线性变换模型。

特征选择的主要算法包括枚举法、分支定界搜索法、逐个特征比较法等启发式方法[3]。在实际运算时，启发式算法无论采用深度优先或者广度优先，过程控制都非常复杂，且对噪音的处理非常不方便。从本质上讲，任何启发式算法都是一种局部寻优方法，所获得的解通常不是最优解，同时难于发现多个最优解或满意解[4-5]。另外，启发式算法的求解结果对噪音比较敏感，影响了特征子集的鲁棒性和适应性。

在概念学习或者更为广泛的模式识别领域，特征提取是一个非常复杂的问题，所表示的模型求解基本上是NP类问题[6-7]，一般需要综合考虑分类错误、特征简单性和计算时间资源等因素。

传统的特征提取方法通常采用线性变换，使得判别准则函数最大或者最小（熵函数和类内类间距离函数是经常采用的两个准则函数，[1]），即

Y=A*X

其中，A*为d×n维的变换矩阵，将n维特征的原始样本空间X变换为d维特征的样本空间。这就是传统特征提取的统计与代数方法。在这两种方法中存在着强烈的统计假设和矩阵非奇异假设，而在实际环境中，这些要求很难得到满足。对于大规模的实际问题，通常采用专家干预的方法进行调整，使得计算过程变得非常繁琐，导致这两类方法的实用性受到很大的限制。尤其是面对非线性可分的样本空间时，传统的统计与代数方法显得更加无能为力，难以实现分类模式的获取。因此许多专家提出了各种各样的非线性特征提取方法，例如基于K-L展开式的KLT方法[1]、神经网络方法[8]、小波分析[9]等。KLT是最小均方误差准则下的最佳K-L变换方法，不受样本分布性质的限制，但是不存在快速算法，计算是是维数的指数函数，当维数比较高时，计算量难以承受。在实际中经常采用傅立叶变换（DFT）或者离散沃尔什变换（DWT）等代替。这些变换均存在相应的快速算法，但仅能得到次优的结果。小波分析与KLT方法具有相同的特点，也存在类似的问题。

模式分类是神经网络的一个重要应用领域，在输入存在或数据不完整的情况下，神经网络也具有良好的分类能力[10-12]，特别是三层以上结构的多层感知器系统的神经网络模型可以灵活地处理非线性可分问题。但是神经网络模型的求解算法不仅效率低，而且容易陷入局部极值点。基于此，本文将神经网络的表示能力与GA的全局求解能力结合，用于非线性特征提取问题。

1 基于GA和神经网络的非线性特征变换算法

1.1神经网络结构设置

根据神经网络理论，三层感知器可以形成任意复杂的决策区域[8,11]，对于特征提取来讲，将第三层作为特征输出层，并要求输出二进制类型数据作为特征数据。网络模型为：隐层节点的激励函数选择连续型Sigmoid函作为新的特征向量。

1.2 GA方案安排

把GA应用于实际问题时，首先需要解决编码和适应度函数的设计，然后是三个进化算子（选择、交叉和变异算子）的设计，当然还有初始条件和收敛条件的设置，运行GA以求得