检测到女性就打低分?亚马逊AI招聘工具被曝性歧视
扫描二维码
随时随地手机看文章
北京时间10月10日下午消息,亚马逊公司的机器学习专家发现了一个大问题:他们的新招聘引擎不太喜欢女性。
据路透社援引五位知情人士的消息称,从2014年开始,这支团队一直在开发审核求职者简历的计算机程序,希望实现人才搜索的机械化。
一直以来,亚马逊在电商市场称霸的关键便是仓库或定价决策的自动化。公司的试验性招聘工具会利用人工智能技术为求职者打分(一星到五星不等)—;—;一些人表示,这就像是购物者在亚马逊上给产品评分。
一位知情人士说道,“他们真的希望有这样一种引擎,那就是我扔给你100份简历,你能区分出排名前五的求职者,然后我们就雇佣这部分人。”
但到2015年,公司意识到它的新系统并不能基于“性别中立”的原则来为软件开发者岗位或是其他技术岗位的求职者进行评级。
这也许是因为亚马逊的计算机模型在接受训练时,观察的是十年来投递给公司的简历并要从中发现固有模式。大多数简历都是男性投递的,这也反映了科技行业男性主导的现象。
事实上,亚马逊的系统是自己学会优选男性求职者的。据知情人士透露,该系统会给予包含“女性”这个词的简历以低星评级。它还会给两所女子大学的毕业生进行降分评级。知情人士并未透露两所学校的名字。
亚马逊修改了这些程序,使其对于特定的术语可以秉持中立的原则。但是,这依然无法保证机器不会想出其他的方式、以歧视性的态度对一些求职者进行分类。
最终,这家西雅图公司因为高层管理人员对该项目失去了信心,在去年初解散了该团队。知情人士表示,在之前招聘新员工时,亚马逊的招聘人员会查看该工具提供的建议,但绝对不会单单依赖这些排名作出决策。
亚马逊拒绝对于该招聘引擎或面临的挑战作出评论,但是公司表示自己一直致力于保证公司的员工多样性和平等。
公司的此次实验也为机器学习的限制提供了一项案例研究。对于越来越多想要实现招聘流程部分自动化的企业来说,例如希尔顿全球控股公司和高盛集团公司,
这也是一次经验和教训。
根据人才软件公司CareerBuilder 2017年进行的一项调查,55%的美国人力资源经理表示人工智能将在未来五年时间内成为他们日常工作中采用的工具。
雇主一直以来想要利用科技扩大招聘网、减少对于招聘人员主观看法的依赖。但是一些计算机科学家,包括在卡内基梅隆大学教授机器学习的Nihar Shah,他们均表示这件事依然路漫漫其修远兮。
“如何确保算法的公平、如何确保算法的可理解性以及可解释性—;—;这还需要很长一段时间来实现。”他这样说道。
男性话语
亚马逊开始实验之时,正是这家全球最大在线零售商发展的关键时机。由于低成本计算力的激增,机器学习在科技行业内吸引了大家越来越多的关注。而亚马逊的人力资源部门也开始疯狂招聘员工:根据提交给监管机构的文件显示,从2015年6月开始,公司的全球员工总数已经增加了两倍多,人数为57.57万人。
因此,公司在亚马逊爱丁堡的工程中心建立了一个团队,团队人数大约在十几人左右。据知情人士透露,他们的目标就是开发人工智能技术,使其快速抓取网页信息、发现值得招聘的求职者。
团队开发了500个专注于特定工作职能及位置的计算机模型。他们会训练每个模型去识别过去求职者简历中出现的5万个术语。算法会学习给IT求职者中常见的技能进行重要级排序,比如说编写不同程序的能力等。
事实上,这项技术会偏向于那些在简历中使用动词来描述自己的求职者,使用动词这一点在男性工程师的简历中常常会看到,例如“执行”、“抓取”等。
性别歧视不是唯一出现的问题。支撑该模型作出判断的数据问题还在于,不合格的候选人会被推荐到不同的岗位。知情人士表示,鉴于这项技术会随机反馈结果,亚马逊最终终止了该项目。
问题还是解决方法?
其他公司也在前赴后继进行尝试,这也表明雇主们都迫切想要将人工智能技术用于人才招聘。
盐湖城附近的一家创业公司HireVue的首席执行官凯文·帕克(Kevin Parker)表示,自动化可以帮助企业跳出他们以往长期依赖的一成不变的招聘网络。他的公司会在视频面试中分析求职者的言语和面部表情,进而减少对简历的依赖。
“你不会再去采用老一套的招聘方式。你不会只顾着看求职者是不是常青藤盟校毕业的。”帕克说道。他公司的客户包括联合利华和希尔顿。
该公司表示高盛已经开发了自己的简历分析工具,会将求职者与“最适合”他们的部门进行匹配。
微软旗下的LinkedIn是全球最大的职业社交网络,在这一方面,它取得的进展较为明显。它会根据网站上发布的岗位消息,利用算法为雇主提供求职者的排名。
LinkedIn Talent Solutions的副总裁约翰·杰辛(John Jersin)表示,这项服务并不能替代传统的招聘人员。
“我当然不会放心由任何一种人工智能系统自行作出招聘决策。”他说道,“现在的技术还没有发展到那个地步。”
一些活跃人士表示很担心人工智能的透明度问题。美国公民自由联盟(ACLU)正在争取立法,允许经研究人员和记者测试过后、对采用歧视性算法的招聘网站提起刑事检控。
“我们已经越来越关注算法的公平性问题。”ACLU种族司法项目的律师瑞秋·古德曼(Rachel Goodman)说道。
但是古德曼以及其他批判人工智能技术的人士也承认,要想就自动化招聘问题起诉雇主,这是一件极度困难的事情:岗位求职者也许永远都不会知道企业是否采用了这种技术。
对于亚马逊来说,公司已经成功从失败的人工智能项目中吸取到了经验和教训。据知情人士称,公司目前使用的是一种“淡化”版的招聘引擎,这将帮助公司处理一些基本工作,包括从数据库中剔除重复的求职者资料。
公司在爱丁堡还成立了一个新的团队,将再次尝试自动化招聘筛选,这一次实验关注的是多样性问题。