朱沛,李慧泽,叶欣晨,赵庆华,张恬亚
北京理工大学交通工程系
【摘要】:为提高大型停车场车辆查询的效率和鲁棒性,本文提出了基于视频的大型停车场寻车系统。通过设置在关键路口的摄像机,提取车辆车牌和车辆颜色等视觉信息;考虑到车牌识别不能实现100%的正确率,本系统融合了车牌识别结合和颜色信息,按照车牌和颜色相似度对查询结果排序,提高车辆查询的鲁棒性,保证了车辆的查全率。为提高车辆查询的效率,对数据库中的冗余数据进行自动删除更新。本文提出的系统已经某大型室外停车场进行了测试。初步试验结果表明,提出的系统能够达到100%的前10为查全率。
【关键字】:智能寻车系统;车牌识别;颜色分类;数据库管理
1. 引言
智能停车场技术是智能交通系统中的重要组成部分[1]。最初的停车场管理系统仅仅是停车收费系统的代名词。随着智能交通系统的发展,智能停车场系统还应该能够利用各种信息技术,增加更多的功能,如空位信息提示,车位引导和车位查询等[1-5],以提高管理停车场的效率。目前,大多数研究集中于提高车位利用率以及停车的效率,例如停泊车辆计数、超时车辆管理等。开发的系统更多的是集中在车位信息的获取和车位引导这两个功能中。
然而,随着经济的发展,机动车保有量快速增长,停车场地不足成为严重的城市问题。作为汽车的“后市场”, 停车场逐渐向大型的、多层的综合性停车场发展。但是由于大型公共停车场规划设计各异、车位数目众多,车主在停车场内经常发生迷路、找不到自己停泊的车位等问题。
一些研究者提出了自己的方案来解决这一问题。北京紫光百会科技有限公司[6]提出了智能反向寻车系统,利用摄像机实时回传视频图像,识别车牌号码信息,进行车辆定位。或者利用停车场各个区域的刷卡定位终端,进行刷卡定位。厦门科拓通讯技术有限公司[7]开发了智能寻车系统,通过摄像头对每段车道进行监控并采集数据,将车辆的车牌和该车进行捆绑,跟踪并记录其行驶轨迹,当车主忘记自己的车辆停靠位置时,可以通过查询“客户机”查询车辆的停放位置。如果车牌识别能够正确,或者车主在离开停车场前刷卡记录了其位置,这些方法可以获得很好的效果。然而,车主经常会忘记刷卡。而对于一个车牌识别系统来说,没有一个系统能宣称他们的系统可以100%地识别出所有车牌。在很多情况下,车牌识别系统不能正确识别车牌并记录车位信息,从而不能保证得到正确的查询结果。
本文提出了一个新的基于视觉信息的车辆查询方法。本方法在三个方面做出了改进。首先,考虑到没有车牌识别系统能够100%地识别出车牌,本文提出了综合利用车牌和颜色信息的结果,提高车辆查询的鲁棒性。其次,将查询结果按照车牌识别以及颜色识别的相似度降序排列,保证系统的查全率。第三,考虑到车牌识别无法达到100%的正确率,识别错误的数据则会在数据库中形成冗余数据,从而影响系统查询的效率,因此本系统实现了数据库的自动更新,消除冗余数据堆积给系统带来的影响。
本文后续部分安排如下,第二节介绍系统的框架,第三节对提出的查询方法进行了讨论。实验结果在第四节给出,并在最后一节总结全文。
2. 车辆查询系统框架
本文提出的系统框架如图1所示。其流程与文献[7]中提出的方法类似。通过摄像头对每段车道进行监控并采集数据,把采集到的数据传输给服务器进行处理及分析,如果该摄像头检测到车辆,则对该车的车牌和颜色进行识别,继续跟踪并记录其行驶轨迹。当车主忘记自己的车辆停放位置时,可以通过“客户机”查询到该车的位置。下面对中间的关键步骤进行简单地说明。
图1 车辆查询系统框架
2.1 图像获取
设置在关键路口的摄像机对运动车辆进行检测,当车辆经过时,摄像机自动检测车辆,并且获取其图像。
2.2 车辆检测
在这个步骤中,通过视频运动信息检测,并采用基于Adaboost的方法检测车辆。由于摄像机安装在固定的位置,因此,本文采用了背景提取的方法检测出运动目标,然后,利用Adaboost算法对运动目标校验检测该帧图像中是否存在车辆[8],如果存在,则给出其位置信息,供后续处理用。同时,送入到车牌识别模块和颜色分类模块中,进行下一步的处理。
2.3 车牌识别
基于车辆检测的信息,本文采用了文献[9]提出的方法对车牌进行分割,并对分割后的单个字符采用模板匹配的方法进行处理,但是对于车牌首字符的汉字,则是利用BP神经网络分类器。由于没有一个车牌识别系统能够达到100%的识别率,因此,我们将该车牌所有字符的相似度都进行存储,以便后续查询计算用。
2.4 车辆颜色识别
基于车辆检测的信息,可以方便地提取出车辆尺寸信息以及车辆所在的区域。考虑到一辆车可能有两种或两种以上的颜色,或图像中背景,车窗等的干扰,以及光照的影响,在车辆颜色识别的过程中,首先采用K-MEANS算法对颜色进行聚类。再将面积最大区域所表示的颜色分类到预先定义的6类贝叶斯分类器中。这些预先确定的颜色和先验概率则列于表1 。由于颜色识别也不能保证100%的正确率,因此,颜色识别的相似度也需要存储在数据库中,以便后续查询计算用。
表 1各种颜色车辆统计
| 颜色名称 | 统计车辆数(230) | 所占比率 |
| 黑色 | 76 | 0.330 |
| 白色 | 37 | 0.161 |
| 银、灰色 | 86 | 0.374 |
| 红色 | 12 | 0.052 |
| 蓝色 | 14 | 0.061 |
| 黄色 | 5 | 0.022 |
当车主忘记车辆停放位置时候,可以通过输入其车牌号码和/或车辆颜色,在查询终端中查询其所在的位置。系统将根据输入信息与数据库中识别信息的相似度显示检索结果,给出前10个最相似地结果,供车主判断选择。
在车辆数据存储的过程中,如果车牌识别错误,在车辆离开之后,数据库不能自动删除错误记录,则堆积的冗余数据将影响系统的搜索速度。为了提高数据库管理的效率,系统提出根据车辆的停车时间来处理这些冗余数据。
3. 车辆查询排序
新型寻车系统分为处理捕获的图像,车牌识别以及颜色分类三部分。主要基于以下三个原因:
(1)提出以相似度为度量的车牌识别。由于会受照明、闭塞条件等影响,车牌识别的正确率不能达到100%。因此,单纯的利用车牌识别进行寻车很有可能查询到的是错误的结果。
(2)颜色是车辆的一个重要特性。虽然在寻车过程中,颜色识别不是一个独特的功能,但是它有助于提高系统的鲁棒性。
(3)通常来说,车牌是车辆身份鉴定的依据。但是如果车牌在停车场内识别错误,而在出口处正确识别,则系统会认为这是两辆车的信息,从而无法将剩余的信息删除。日积月累,这些“死”记录产生堆积,影响系统的查询效率。
我们根据上述信息改善寻车系统的性能。因此,在这个新的系统中,同时利用了车牌识别和颜色识别。当用户输入搜索条件(包括车牌号和车辆颜色)时,该系统不仅提供最相似的结果,还根据方程( 1 )计算出输入条件和数据库中所有数据的相似度。在这个方程中是输入条件和数据库中第i条记录的相似度,是数据库中第i条记录第j个字符与输入条件中第 j个字符之间的相似度。是第 i条记录的颜色与输入条件中颜色的相似度。
(1)
例如,字符识别完成后,我们可以发现,车牌的最后一个字符是'1 '的概率为80 % , '2 '的概率为10 % ,等等,其颜色是'黄牌'的概率为30 % ,'白'的为50 % ,等等当用户搜索最后一个字符为'1 '的'黄色'车,系统将读取记录,并且为30 % ,是80 % 。分析完所有的输入条件后,系统进行输入条件和数据库信息的相似度的计算。最终,用户将获得10个与输入条件相似的结果,这些结果按照相似度的顺序排列。
4. 实验结果
为了测试本文提出方法的性能,我们以北京理工大学为例,将校园的停车位置划分为:“0-7”8个区域(图2所示),模拟大型停车场的车位,同时模拟关键路口的摄像机,对车辆进行图像的摄取,摄像机数量为16个,拍摄距离为0.3m,在车头左侧大概30°位置,高度约为1m。总共处理了280张图像,其中汽车主体占据正中位置,所占像素超过整体的50%。
图2 北京理工大学停车区位图
4.1 字符识别实验结果
在车牌检测和车牌字符分割的基础上,采用模板匹配的方法对车牌字符进行了识别。车牌字符包括数字、汉字以及英文字母。所有图片均归一化为18×32像素。表2给出了数字字符识别的统计结果。从表2可以看出,每个字符的识别率一般都大于97%,并不是很高。当然,采用更为高效的算法能够提高字符的识别率,但也无法保证100%的识别率。在本系统中,正是考虑到无法得到100%的字符识别率,提出了融合字符和颜色信息的方法,记录每个字符被识别的为某字符的概率,根据相似度对查询结果排序,提高了系统的查全率
表1 数字字符识别统计结果
| 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | |
| 0 | 97.7354 | 0 | 0.2384 | 0 | 0 | 0 | 1.0727 | 0.1192 | 0.3576 | 0.4768 |
| 1 | 0 | 99.7474 | 0 | 0 | 0.1262 | 0 | 0 | 0.1262 | 0 | 0 |
| 2 | 0 | 0.1324 | 98.1456 | 0 | 0 | 0 | 0 | 1.4569 | 0.1324 | 0.1324 |
| 3 | 0 | 0.4092 | 0.13 | 97.8171 | 0.2728 | 0 | 0.13 | 0.9549 | 0.2728 | 0 |
| 4 | 0 | 0.1503 | 0 | 0 | 99.6992 | 0 | 0 | 0 | 0 | 0.1503 |
| 5 | 0.1461 | 0 | 0.1461 | 0.7309 | 0 | 95.1754 | 1.7543 | 0.5847 | 0.7309 | 0.7309 |
| 6 | 0 | 0 | 0 | 0.6925 | 0.4155 | 0.1385 | 98.3379 | 0.1385 | 0.1385 | 0.1385 |
| 7 | 0 | 1.6181 | 0 | 0 | 0.1618 | 0 | 0 | 98.0582 | 0 | 0.1618 |
| 8 | 0.4081 | 0 | 0.2721 | 0 | 0.1361 | 0 | 0.6802 | 0.1361 | 98.0952 | 0.2721 |
| 9 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.4249 | 0.2832 | 99.2917 |
图3给出了一些车辆的颜色聚类结果。从结果中可以看到,白色、黑色以及红色的聚类效果比较明显,而蓝色的效果较差。背景仍然对车辆的主体颜色有干扰。同时,由于日照,光强等不同因素,也会对照片有影响,进而影响聚类结果。在聚类的基础上,我们共对230辆车辆进行了检测,颜色识别率达到了100%。
图3 颜色聚类结果示例,第一排为原始图像,第二排为颜色聚类结果
4.3 查询界面和结果
在Visual C++上实现了本文提出的寻车系统。图4给出了一个系统操作示例。其中图4(a)为车辆查询条件输入界面。当用户输入车牌号和车辆颜色等搜索条件后,系统将提供的前10个查询结果,如图4(b)所示。在我们的初步实验中,所有被检测的车辆均能出现在前10个查询结果。
(a) (b)
图4 系统操作界面 (a)车辆查询界面 (b)车辆查询结果显示
5. 结论
在大型公共停车场中,车主可能需要花费很多时间来寻找车辆。本文提出了一种基于视觉信息的智能寻车系统。融合了车牌和车辆颜色的信息,缓解了车牌不能正确识别时带来的问题,提高了车辆查询的鲁棒性;对车牌识别以及颜色识别的相似度进行排序,方便车主查询,提高车辆查询的查全率;采用冗余数据自动删除的方法,避免了冗余数据的积累,提高系统运行效率。实验结果表明,本文提出的方法能够提供鲁棒、友好的大型停车场车辆查询功能。
参考文献
[1]Lee. Jung-Wook ,Yoo.Yoon-Bong , Rho. Jae- Jeung ,Choi. Sae-Sol, “An enhanced parking lot service model using wireless sensor network”, Proceedings - IEEE INDIN 2008: 6th IEEE International Conference on Industrial Informatics, pp. 349-354, July. 2008.
[2]Sheng-Fuu Lin , Yung-Yao Chen , “A vision-based parking lot management system”., 2006 IEEE Conference on Systems, Man, and Cybernetics.Peter. C, pp. 27-902, Oct. 2006.
[3]Caliskan. Murat , Barthels. Andreas , Scheuermann. Björn , Mauve. Martin, “Predicting parking lot occupancy in vehicular ad hoc networks”, 2007 IEEE 65th Vehicular Technology Conference, pp. 277-81, April 2007.
[4]D.B.L. Bong, K.C. Ting, K.C. Lai, “Integrated approach in the design of car park occupancy information system (COINS)”. IAENG International Journal of Computer Science, Vol. 37, No. 1, pp. 7-14, March. 2008.
[5]Fabián, Tomáš. “An algorithm for parking lot occupation detection”. Proceedings - 7th Computer Information Systems and Industrial Management Applications, CISIM 2008, pp. 165-70, June 2008.
[6]Beijing UnisPark Technology Co.,Ltd .Available: http://www.unisapex.com/Solution/MesRead.aspx?Uid=22
[7]Xiamen Baoneng Technology Co.,Ltd .Available: http://www.goepe.com/apollo/prodetail-xmbnkj-241619.html
[8]Huaifeng Zhang, Wenjing Jia, Xiangjian He, and Qiang Wu, “Learning-Based License Plate Detection Using Global and Local Features”, ICPR, 2006, 2, pp.1102-1105
[9]V. Shapiro, G. Gluhchev, D. Dimov, “Towards a multinational car license plate recognition system”, Machine Vision Application, Vol 17, Issue 3, July 2006. pp. 173- 183.下载本文