数据融合技术在车牌字符识别中的应用研究

摘要： 在车牌字符识别中，针对单一识别方法识别率不高的问题，提出了应用数据融合技术，将不同的识别方法有机地结合起来构成融合型识别系统，有效地、综合地提高整个系统的识别性能。数据层选择了加权平均算法，特征层选择了人工神经网络算法，决策层采用了模糊推理算法实现对车牌字符的最终识别。应用MATLAB 进行了仿真，并与单独使用BP 神经网络算法的识别率进行了比较，结果证明采用数据融合技术系统的识别率得到了较大提高，达到90%以上。

车牌识别系统是图像模式识别领域的一个经典研究课题。对车牌识别技术的研究不但会极大促进数字图像处理、计算机视觉、模式识别与人工智能等相关领域理论与实践的发展，而且其在公共安全、交通管理、军事部门等的实际应用价值也不可估量。一个典型的车牌识别系统由图像采集、图像预处理、车牌定位、字符分割以及字符识别几部分组成。其中字符识别是车牌识别系统中的关键环节，识别方法的好坏直接影响到整个车牌最终的识别效果。在字符识别模块，针对单一识别技术识别率较低的问题提出了从数据融合理论的角度出发，有效地、综合地应用多种识别技术来提高系统的识别率。

1 数据融合的基本原理

数据融合技术实际上是对人脑综合处理复杂问题的一种功能模拟。在多传感器系统中由于各种传感器提供的信息具有不同的特征：时变的或者非时变的;实时的或者非实时的;快变的或者缓变的;模糊的或者确定的;精确的或者不完整的;可靠的或者非可靠的;相互支持的或者互补的;也可能是相互矛盾或冲突的。而数据融合系统能充分利用多个传感器资源、对各种传感器及其观测信息合理支配与使用，将各种传感器在空间或时间上的互补或冗余信息依据某种优化准则组合起来，产生对观测环境的一致性解释和描述。因此，数据融合的目标是基于各种传感器分离观测信息，再通过对信息的优化组合导出更多的有效信息，它的最终目的是利用多个传感器共同或联合操作的优势， 提高整个系统的有效性，消除单个或少量传感器的局限性。

数据融合技术与经典信号处理方法有本质的区别，数据融合所处理的多传感器信息不但具有更为复杂的形式，而且还可以在不同的信息层次上出现， 这些信息表征层次包括：数据层、特征层和决策层。直接在采集到的原始数据层上进行的融合称为数据层融合， 数据层融合是最低层次的融合，它的优点在于能保持尽可能多的现场数据，提供其他融合层次所不能提供的细微信息， 但其局限性也是比较明显的，主要原因在于数据层融合是在信息的最底层进行的，由于传感器原始信息的不确定性、不完全性和不稳定性，对融合结果影响较大，稳定性较差。因此，数据层上的融合具有很大的盲目性，原则上不赞成直接在数据层上进行数据融合，而且数据层融合通常要求选用的传感器必须是同类型传感器或相同量级的传感器。数据层上通常采用的融合方法有加权平均法、像素灰度值选择融合方法、基于区域特征的融合方法、小波变换法、金字塔分解方法等。特征层融合是先对来自传感器的原始信息进行特征提取，然后再对特征信息进行综合分析和处理，特征层融合属于中间层次的融合，也是最成熟、发展最完善的融合理论，它的优点是通过特征提取既实现了信息压缩，又保留了最重要的信息。特征层融合通常采用的算法有参量模板法、聚类分析法、人工神经网络等。决策层融合是一种高层次融合， 它能充分利用特征层融合的最终结果，采用适当的融合技术给出最终的检测、控制、指挥、决策的依据，决策层融合的最大优点是具有容错性，当一个或几个传感器出现错误时，通过适当的融合，系统最终还能获得正确的结果。决策层融合通常所采用的方法有贝叶斯推断、D-S证据理论、模糊集理论、专家系统等。总地说来，数据融合本质上是一个由底层至顶层，对多元信息进行融合，逐层抽象的信息处理过程。

2 基于数据融合理论的车牌字符识别

数据融合是一种对数据的综合和处理技术，是许多传统学科和新技术的继承和应用，而对数据的综合和处理能力反应在所选用的融合算法上。因此，在一个融合系统中，核心的问题是选择合适的融合算法。经过对各种融合算法原理及优缺点的研究比较之后，最终确定了各层上所采用的融合算法： 数据层选择了加权平均算法; 特征层选择了人工神经网络算法;决策层采用了模糊推理算法以实现对车牌字符的最终识别。图1 为应用数据融合技术识别车牌字符的流程框图。

2.1 数据层融合

加权平均融合算法，是通过融合各源图像的冗余信息提高检测的可靠性和融合后图像的信噪比。而且它对来自不同传感器的多幅源图像进行数据层融合时，无需考虑各源图像像素之间的相关性及配准技术，因此也是最简单、最方便的数据层融合算法。

以3 幅图像为例对加权平均算法进行叙述：设融合结果为FUS(i，j)，输入图像为A(i，j)、B(i，j)和C(i，j)，(i，j)是图像中某点像素的坐标位置，该算法的表达式如式1 所示：

设计中对同一车辆采集了3 帧图像，通过定位、字符分割、归一化后，针对同一个车牌字符得到了3 个样本，对这3个样本的像素值进行平均融合， 得到融合以后的字符样本，再将融合结果送往特征层进行下一步处理。与以往只用单帧图像作为识别对象的识别算法比较，数据融合技术弥补了因单帧图像拍摄效果不佳而造成无法识别的不足，这也是本设计的创新处之一。

2.2 特征层融合

神经网络具有很强的容错性和自学习、自组织及自适应能力， 能够模拟复杂的非线性映射， 恰好满足多传感器信息融合技术处理的要求，在数据融合理论研究中受到高度重视，具有广阔的应用前景。另外，在数据融合系统中要将来自不同类型传感器的数据进行非线性关联并形成一个融合矢量是非常困难的， 而神经网络则能实现这一特殊功能。因此， 神经网络分类器是本设计特征层融合首先考虑采用的算法。在诸多的神经网络分类器中BP神经网络算法数学意义明确、学习步骤分明， 而且网络经训练收敛之后进行识别时还具有计算量小、速度快等优势。所以， 最终确定采用BP 神经网络分类器作为特征层的融合算法。

具有单隐层的3 层BP 网络能够逼近任何有限函数，也能使处理的问题简单化，而且车牌识别系统属于一个小类别分类问题， 故采用3 层BP 神经网络结构符合实际应用的要求。首先对经过数据层融合后的字符像素进行特征提取，设计*提取了3 类互补性强的字符特征： 字符原始特征，粗网格特征及水平、垂直投影特征和字符外围轮廓特征，作为输入信号分别送给3 个BP 神经网络分类器， 根据识别系统的需求设置好各个网络的初始参数后， 开始对3 个BP 网络进行训练，训练过程中不断调整网络参数，最终使各个BP 网络达到良好的收敛效果， 然后用训练好的3 个BP 神经网络分别对同1 个车牌字符进行识别。

2.3 决策层融合

决策层采用了模糊推理技术[6-7]作为最终判决的依据。模糊系统中，知识的抽取和表达比较方便，但学习能力较差，神经网络可从样本中进行有效的学习，但从网络中提取知识的过程比较困难;模糊系统适合于处理结构化的知识，而神经网络对处理非结构化信息更为有效。设计中选择特征层神经网络分类器的输出作为决策层模糊推理系统的输入还可实现数据整理、*和抑制噪声，使获取模糊规则的过程变得容易。所以，融合系统中模糊推理技术和神经网络技术能克服自身不足、各取所长、优势互补，从而使融合系统的性能得到改善。[!--empirenews.page--]

运用模糊理论进行模式识别时通常采用3 种方法：隶属原则识别法、择近原则识别法以及模糊聚类分析法。设计中选用了隶属原则识别算法对3 个BP 网络的识别结果进行最终决策。隶属原则识别法的难点在于隶属度函数的选择。

由于每个BP 网络提取的是字符的不同特征， 各网络参数的设置也各不相同，导致3 个神经网络对同一个测试字符的输出向量和识别率各不相同，所以设计中是从这两个方面出发确定隶属度函数。3 个BP 网络对同一个字符进行识别时的输出向量构成一个3 行50 列(设计中所需识别的字符共计50 类)的矩阵M，统计出3 个BP 网络的识别率后将其归一化为一个1 行3 列的矩阵N，确定隶属度函数可通过两矩阵相乘Q=N[1×3]·M[3×50]得到，相乘结果Q[1×50]为一个行向量，取该向量中最大值所对应的字符作为模糊决策的最终结果，如式3 所示：

3 仿真结果及其分析

应用MATLAB 软件对上述各个模块所采用的算法进行了仿真，效果如图2 所示。仿真结果表明，针对同一幅车牌图像，3 个BP 网络给出了不同的识别结果，但是通过决策层的模糊推理融合算法仍然能够正确地识别。

设计*采集到实际的车辆图像84 套， 其中因无法准确定位或字符分割的图像共12 套， 在剩余的72 套图像中，用其中的50 套作为神经网络的训练样本，其余22 套作为测试样本，对车牌识别，经实验统计，其结果如表1 所示。

由以上统计结果可明确的看出，应用数据融合技术系统的识别率较单一识别方法有了较大的提高， 达到了90.9%。

4 结束语

基于数据融合理论， 将不同的识别方法有效地结合起来构成融合型车牌字符识别系统， 数据层应用了加权平均算法， 特征层选用了BP 神经网络， 决策层采用了模糊推理算法。实验证明， 该系统能有效的实现车牌字符识别， 字符识别率达到了90%以上， 较采用单一识别方法有了较大的提高。通过融合使信息资源得到了充分利用，各种方法互补，系统性能得到了很大提高。对于特征层融合应用的BP 神经网络算法， 直接使用了前人的研究成果，可对网络的参数设置及收敛速度进一步的研究，加以改善提高。