当前位置:首页 > 工业控制 > 《机电信息》
[导读]摘要:个人收入关系着居民幸福指数和国家经济发展水平,个人收入的分析与研究一直是人们关注的热点之一。现主要研究机器学习在个人收入预测方面的应用,涉及的机器学习模型主要包括KNN、SVM和随机森林。实验结果表明,在这三种模型中,随机森林模型的预测准确率最高。

1研究背景

随着我国的经济发展越来越快,居民收入水平逐渐成为社会关注的焦点。个人收入预测主要是对居民的基本信息进行数据挖掘,预测居民的收入状况。个人收入预测在实际应用中有巨大的现实意义和参考价值,有利于社会研究和分析,可对经济发展进行有针对性的规划指导。

日常生活中大量的常见问题,都可以使用数据挖掘的方法来解决。数据分类被广泛应用于经济、生活、医学等领域,例如客户分析、生理指标的处理等,数据分类对各项工作都提供了有力的参考及有效的帮助。

笔者在互联网上下载了关于个人收入的数据集,涉及的特征包括性别、年龄、国籍、婚姻状况、工作状况、受教育程度等。本文选取了数据集中的一部分数据,通过多个机器学习模型进行实验,具体采用KNN、SVM、随机森林模型:随后通过实验结果分析了各种因素对收入预测准确性的影响,寻找、调整各个模型的最优参数,并比较了基于最优参数的不同模型的实验结果,最终得到了一个最优预测模型。

2KNN、SVM、随机森林模型介绍

支持向量机模型(SVM)最初是一种处理数据二分类的方法,它是基于结构风险最小化和VC理论建立的。SVM模型在训练过程中把低维不可分的数据转化成高维可分的数据,在转化后的高维平面中,SVM旨在找到一个超平面,让训练集样本中的数据恰好分布在超平面两侧,并使得超平面两侧的数据到超平面的距离达到最大。这些特点使得SVM算法能够在有限数据集中得到最优解,同时对未知样本也具有较好的泛化能力。在图像、文本、时序预测等领域,SVM都有着广泛的应用。但SVM算法也有着速度慢、算法复杂、测试阶段运算量大等一系列缺点,这是应用SVM模型时需要重点考虑的因素。

K近邻模型(KNN)是一种无需训练的简单预测方法[7]。KNN具有良好的移植性,可用于小范围的数据统计,当参数合适时,实验精度较高。但KNN模型的限制较多,泛化能力弱,对参数有严格要求,对于大范围的数据表现较差,且参数的选取一般较为主观。KNN模型的核心是距离度量的方式,它首先获得距离目标点最近的K个点,之后根据分类决策规则,进一步决定目标点的类别。KNN模型有三个关键点:K值的选择、距离度量和分类规则。K值的选择很关键,如果K值过小,预测误差会偏大:相反,如果K值过大,那么近似误差会偏大。对于距离度量来说,常用的距离是余弦距离和欧氏距离。KNN模型的分类决策规则可以是常见的简单多数规则,也就是在距离目标点最近的K个点中,哪种类别的数据量最大,就把目标点的类别归于哪一类。

随机森林算法是LeoBreiman于2001年提出的一种算法,Breiman把随机子空间算法和集成学习算法相结合,得到了最终的随机森林算法。该算法解决了决策树过拟合的问题,对噪声和异常值有较强的容忍度,并且不需要分类的先验知识,是一种数据驱动的非参数分类方法。随机森林算法把决策树作为基本的分类器,训练时使用Bagging算法训练得到多个决策树模型。分类时由包含的多个决策树分别进行类别预测,再通过投票法判断输入数据的类别。哪种类别所获得的投票数最多,就把输入数据归于哪一类。随机森林模型的应用效果在理论和实践中得到了大量证明,它有着出色的泛化能力,不易造成过拟合,预测误差较小。随机森林在实际应用中的良好表现使得它被广泛应用于各大领域,例如文本分类、经济问题建模、医学研究、生物信息分析等,并且都取得了不错的成果。

3实验分析

3.1实验数据和工具

笔者在UC+数据仓库网站上下载了关于个人收入预测的数据集,该数据集包含了l4个代表个人基本信息的特征,这些特征包括年龄、工作单位、性别、受教育程度、婚姻状态、国籍等。每条数据包括一个类别标签,标签有两种取值:l或者0,表明该公民的年收入是大于5万美元还是小于5万美元。本文下载的数据集包含训练集和测试集,训练集含有l0000+条数据,测试集含有5000+条数据。考虑到实验机器的配置较低,为了提高效率,本文从10000+条训练集中抽取了5000条数据用于实验。

本文使用Weka软件进行数据挖掘的实验。Weka基于Java语言开发,是一个数据挖掘的第三方工具平台,该平台集成了大量的机器学习模型和数据挖掘的相关算法,在机器学习领域被广泛使用。本文在进行实验时,采用了五交叉验证的方法。

3.2实验结果

3.2.1KNN模型的实验结果

本文首先使用KNN模型进行实验。实验过程中首先调整KNN模型中K值的大小,设置K值分别为l、3、5、7、l0,实验结果表1所示。

由表l可知,当K值从1~7逐渐变大时,模型的准确率逐步上升:7~l0时,模型的准确率开始下降:KNN模型在K值为7时有着最高的准确率。因此,本文的KNN模型中参数K的最优值是7。另外,需要说明的是,KNN是一个较为特殊的模型,不需要训练过程,因此表1中模型的训练时间均为0s。

表2是K取值为7时KNN模型在正类和负类上的表现,由表2可知模型在负类数据上的表现要优于正类数据的表现,无论是召回率、精确率还是F值,负类数据的预测值都要更高一些。经过分析得知,这是由于数据分布不均衡导致的。在数据集中,负类数据共有3779条,大约占了整个数据集的76%,而相比之下,正类数据只有1221条,占整个数据集的24%左右。在这种正负类数据分布不均衡的情况下,模型对于数量大的数据集更加敏感,在预测时对数据较多的类别有更大的倾向性,容易将输入数据判别为数据量更大的数据类别,正是这一原因造成了表2中正负类表现的差异。

3.2.2随机森林模型的实验结果

本文在实验中使用随机森林模型,为了找到随机森林包含决策树的最佳个数,本文依次设置决策树的个数为5、10、15、20、30,实验结果如表3所示。由表3可知,随着决策树个数变多,随机森林模型的预测准确率逐渐变高,训练时间也逐渐变长。当随机森林含有30个决策树时,模型的预测准确率最高,预测效果最好。因此,本文中的随机森林模型,含有30个决策树时表现最优。另外,由于随机森林模型的训练时间较少,决策树个数不同时,随机森林模型的训练时间差别较小,因此本文忽略了训练时间这一因素。

表4是含有30个决策树的随机森林模型的实验结果,由表4不难看出,和KNN类似,不论是精确率、召回率还是F值,随机森林模型在负类数据的表现都优于正类数据的表现。这同样是由于数据集中数据分布不均衡的原因导致的,前文已有分析,这里不再赘述。

3.2.3SVM模型的实验结果

本文在实验中使用SVM模型,为了找到SVM模型的最佳核函数,本文依次对不同核函数的SVM模型进行实验,实验结果如表5所示,表5中的a、b、c、d依次代表线性核函数、多项式核函数、RBF核函数和sigmoid核函数。

由表5可知,基于核函数b的SVM模型预测精确率最低,并且消耗的训练时间最长,在4个核函数中表现最差。对于核函数a、c、d来说,三个核函数的预测准确率相差不大,但是a消耗的训练时间最多,出于效率的考虑,核函数a的表现也比较差。核函数d的准确率较高,且训练时间远小于其他三个核函数,但基于d核函数的SVM模型,在正类数据的精确率、召回率、F值都为0,因此d核函数表现并不正常,因此本文中SVM模型的最佳核函数是c,也就是RBF核函数。

表6是基于RBF核函数的SVM模型的详细实验结果,由表6可知,SVM模型和上述KNN模型、随机森林模型的情况类似,即负类数据的预测表现优于正类数据的预测表现。这同样是由于数据集数据分布不均衡导致的,由此也可以知道,不论何种模型,数据分布不均衡都会对实验结果造成相似的影响。

3.2.4三种模型的比较

表7所示为三种分类模型的对比,其中KNN模型的K值为7,随机森林含有30个决策树,SVM的核函数是RBF核函数。由表7可知,三种模型中,随机森林模型有着最高的预测准确率,消耗的训练时间也较短,因此本文中的最佳模型是随机森林模型。

4结语

本文主要研究机器学习在个人收入预测方面的应用,使用了KNN、SVM、随机森林模型进行实验。实验结果表明,三种模型中,随机森林模型有着最好的预测效果,预测准确率高于SVM、KNN模型的预测准确率。另外,数据集数据分布不均衡会造成实验结果出现一定的偏差,实际实验中要尽量保持数据分布的平衡。

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

9月2日消息,不造车的华为或将催生出更大的独角兽公司,随着阿维塔和赛力斯的入局,华为引望愈发显得引人瞩目。

关键字: 阿维塔 塞力斯 华为

加利福尼亚州圣克拉拉县2024年8月30日 /美通社/ -- 数字化转型技术解决方案公司Trianz今天宣布,该公司与Amazon Web Services (AWS)签订了...

关键字: AWS AN BSP 数字化

伦敦2024年8月29日 /美通社/ -- 英国汽车技术公司SODA.Auto推出其旗舰产品SODA V,这是全球首款涵盖汽车工程师从创意到认证的所有需求的工具,可用于创建软件定义汽车。 SODA V工具的开发耗时1.5...

关键字: 汽车 人工智能 智能驱动 BSP

北京2024年8月28日 /美通社/ -- 越来越多用户希望企业业务能7×24不间断运行,同时企业却面临越来越多业务中断的风险,如企业系统复杂性的增加,频繁的功能更新和发布等。如何确保业务连续性,提升韧性,成...

关键字: 亚马逊 解密 控制平面 BSP

8月30日消息,据媒体报道,腾讯和网易近期正在缩减他们对日本游戏市场的投资。

关键字: 腾讯 编码器 CPU

8月28日消息,今天上午,2024中国国际大数据产业博览会开幕式在贵阳举行,华为董事、质量流程IT总裁陶景文发表了演讲。

关键字: 华为 12nm EDA 半导体

8月28日消息,在2024中国国际大数据产业博览会上,华为常务董事、华为云CEO张平安发表演讲称,数字世界的话语权最终是由生态的繁荣决定的。

关键字: 华为 12nm 手机 卫星通信

要点: 有效应对环境变化,经营业绩稳中有升 落实提质增效举措,毛利润率延续升势 战略布局成效显著,战新业务引领增长 以科技创新为引领,提升企业核心竞争力 坚持高质量发展策略,塑强核心竞争优势...

关键字: 通信 BSP 电信运营商 数字经济

北京2024年8月27日 /美通社/ -- 8月21日,由中央广播电视总台与中国电影电视技术学会联合牵头组建的NVI技术创新联盟在BIRTV2024超高清全产业链发展研讨会上宣布正式成立。 活动现场 NVI技术创新联...

关键字: VI 传输协议 音频 BSP

北京2024年8月27日 /美通社/ -- 在8月23日举办的2024年长三角生态绿色一体化发展示范区联合招商会上,软通动力信息技术(集团)股份有限公司(以下简称"软通动力")与长三角投资(上海)有限...

关键字: BSP 信息技术
关闭