数据挖掘技术在交通事故分析中的应用
扫描二维码
随时随地手机看文章
随着国民经济的快速发展和人民生活水平的不断提高,在交通运输业持续发展的同时,轿车大量进入普通百姓家庭.汽车的社会保有量快速增长,使得驾驶员培训学校门庭若市,职业驾驶员、非职业驾驶员大量增加,汽车保险业快速发展,同时交通事故的绝对数量也不断增加。对于诱发交通事故的原因,以及各种原因的概率分布就成为交通管理部门、商业保险企业、驾驶员培训学校等机构普遍关心的问题。
借助计算机技术和信息处理技术的发展成果,各地交通管理部门不断投入大量的人力物力,建设各种各样的信息化管理系统,如机动车辆信息管理系统、机动车驾驶员信息管理系统、交通事故信息管理系统等。伴随着交通管理信息系统的不断建设、完善与发展,积累了大量宝贵的数据资源,这些信息化系统和所积累的数据资源,对提高交通管理水平起了巨大作用。目前的交通信息管理系统主要任务是进行数据查询或对特定的数据进行简单独立的数字处理,没有对这些大量的数据所包含的内在有价值的信息有效提取。在如何利用这些海量数据资源进行交通事故发生原因及概率分布分析方面,做的工作还很少,使得这些宝贵的数据资源没有发挥应有的作用。对这些进行分析归类和有效处理,从中挖掘出表征交通事故发生的原因及分布概率的内在有用信息,为相关单位或机构提供某种程度或某种方面的决策依据,如交通事故防范、商业保险评估,机动车辆驾驶员培训模式等等。从事物发展具有一定的内在联系的观点出发,结合数据挖掘技术的研究成果,答案是肯定的。
2 数据挖掘技术的基本概念和方法
数据挖掘是指从大量的、不完全的、有噪声的、模糊的、随机的数据中识别出存在于数据库中有效的、新颖的、具有潜在价值的、最终可理解的模式的非平凡知识的过程。它利用各种分析方法和分析工具在大规模的海量数据中建立模型和发现数据间的关系。数据挖掘的技术很多,相应的实现方法也很多。一般包括下述几种方法:决策树方法,神经网络方法,概念树方法,粗糙方法,遗传算法,公式发现,模糊论方法,统计学方法.可视化技术,贝叶斯网络等。在不同的领域,针对需要解决的具体问题,需要完成的挖掘主题,采用不同的数据挖掘技术或方法。
3 交通管理信息数据挖掘方法
3.1 需求理解
涉及到交通管理信息积累的原始数据很多,存在于不同的数据库中,甚至有些与交通安全相关的某些数据跨行业保存在其他行业的数据库中,如气象部门记录的天气气象数据。这些数据库大多是事务性的数据库,其中的数据各自独立、互不相关。数据挖掘的主题是从这些互不相关的数据中寻找出与交通事故相关的信息,导致交通事故发生的各种因素以及交通事故对各种因素的概率分布。
3.2 数据准备
由于机动车辆.机动车驾驶员、交通事故信息管理系统的建设都是针对特定需求建立起来的事务性数据库,其中存放的数据往往不能直接用于挖掘主题的数据挖掘,必须进行必要的数据预处理或数据准备,包括数据选择、净化、转换、数据缩减等工作,获取与挖掘主题直接相关的有效数据。数据准备是非常重要的一个步骤,将影响数据挖掘的效率和准确度以及最终模式的有效性。
机动车驾驶员信息管理系统主要记录与驾驶员相关的信息,如驾驶员姓名、性别、年龄、学历、驾龄、准驾车辆类别、驾驶证编号、发证机关等;机动车辆信息管理系统记录车主姓名、车辆牌号、型号、类别、颜色、发动机号、车架号、出厂时间、购买时间、车辆用途等;交通事故信息管理系统记录肇事驾驶员信息,如肇事驾驶员姓名、性别、年龄、驾龄、驾驶证编号以及肇事车辆的牌照号、型号、类别等。这些信息有些与交通事故相关,有些信息无关。车辆事故发生的概率与驾驶人员本身有着密切的关系,影响驾驶人员安全驾驶的主要因素包括年龄、性别、驾龄等。数据处理后可得表l所示的与交通事故密切相关的数据记录。
3.3 数据挖掘方法设计
数据挖掘算法或数据挖掘技术的选择,依赖于已有的原始数据资源和选定的挖掘主题,本课题所涉及的数据资源储存于不同的事务性数据库中,而确定的挖掘主题是利用数据挖掘技术,对这些大量的数据进行宏观的基础研究,寻求导致各种交通事故发生诸多因素的概率分布,为交通管理部门、商业保险部门、安全教育部门、机动车驾驶员培训部门等行业提供决策的宏观支持。挖掘的方法选用分类模式中的决策树方法,这是分类模式中常用的一种分类器,通过对大量数据进行有目的的分类,从中找到一些有价值的、潜在的信息。决策树方法的主要优点是可以生成可理解的规则,计算量小,可以处理连续和集合属性,决策树的输出包括属性重要性排序。决策树是一个类似于流程图的结构,它包括决策节点、分枝和叶子节点。根据本课题的目标,决策树法采用ID3方法,选择互信息最大的属性作为根节点。表l中有3个决策属性和一个分类属性,决策属性是驾驶员年龄、驾龄和性别,分类属性是事故的有无。ID3算法包括信息熵的计算、属性A条件熵的计算和互信息的计算。
(1)信息熵的计算
信息熵的计算公式为:
式中,i取值1、2,U分别表示有交通事故和无交通事故样本,P(Ui)表示类别为Ui的样本占样本总数中的比例。
根据式(1),信息熵H(U的计算算法为:
式中P(Vj)表示属性A中取值为Vj的样本占样本总数的比例,P(Ui|Vj)表示属性A取值Vj时,类别为Ui的概率。
例如,对于驾驶员年龄属性,j的取值范围是驾驶员的年龄范围,约20~70;i的取值范围仍是1、2,表示事故的有无。则驾驶员年龄属性条件熵计算的具体算法为:
分别计算出决策属性的互信息Gain(年龄)、Gain(驾龄)、Gain(性别)的数值,选择互信息最大的属性作为决策树的根节点。依该属性的取值作为分枝,每个分枝对应一个子集。对于每一个子集,重新计算其所含样本的信息熵、条件熵和互信息,确定该子集的当前节点及其分枝,直到遍历了所有的决策属性,获得全部的叶子节点。叶子节点的数值就是从决策树根节点开始,沿相关路径(分枝)到达叶子节点所包含的样本集可能发生交通事故的概率。
这样建立的决策树及概率分布就把交通事故与驾驶员的关系清晰地表露出来,同样,也可选择其他挖掘主题如交通事故与机动车辆的关系、与天气的关系等进行挖掘。
4 结语
经过多年的发展与积累,与交通管理相关的部门积累了大量的与交通安全相关的数据资源,充分利用这些数据资源,使其为促进经济发展、创建和谐社会服务。数据挖掘技术是开发这些数据资源的有效手段,可以找出这些海量数据之间的内在的规律性的联系,从而为相关部门或机构的宏观决策提供技术支持。与其他相关研究不同.这里的工作基于对机动车驾驶员总体样本的研究,结果会更真实可信,指导意义更强。