基于情感识别的汽车驾驶技术

0 引 言

人类具有社会属性，总是会夸张地表现感情，人的认知会受自己的情绪影响。而情绪又会影响人类的认知过程，包括感觉和记忆的组成、分类和喜好、目标生成、评估、战略规划和决策等。先前的研究表明，人们在与计算机的交互中也会夸张地表现感情。考虑到人机交互所涉及的情绪和情感与识别之间牢固的界定，我们希望机器的感知能够捕获相应的现象， 并采取相应措施，以加强我们日常对机器的使用。

开车是人们日常生活中的一项重要活动，在一次研究中表明，司机在驾驶汽车时会夸张地表现感情，且其情绪会影响驾驶。众所周知，愤怒会极大地影响一个人的驾驶。当司机的愤怒情绪影响他们正常的思维和判断时，他们对事件看法的改变会导致对结果的误判，其他拥有类似效果的情绪是沮丧、焦虑、恐惧、压力。为了在公路上成为一个更安全的司机，他们需要更好的注意自己的情绪，并需有能力有效管理它们。

一旦司机意识到了自己的情绪状态，那他们选择一个安全的应对方式就变得相对容易，但司机往往缺乏这种认识。例如一些司机往往缺乏让自己平静下来的能力，尤其是当他们感到愤怒或沮丧时。而困倦是最危险的状态之一。在开车时， 当人们发现他们昏昏欲睡时他们却经常强迫自己继续开车，而非停下来休息。

美国学者詹姆斯和拉森[1] 讨论了如何利用司机的技术能力来管理自己的情绪。包括通过放松技巧来减少物理唤醒和对精神状况的重新评价。而我们的目标是创建一个情感智能汽车界面，通过促进自然地人机交互帮助司机提高驾驶安全， 从而帮助其更好地意识到其在开车时的情绪状态。例如，当智能系统识别到司机的愤怒情绪时，可以建议司机进行呼吸练习。同样，当系统识别到司机的困倦情绪时，它可以自动改变电台频道，切换不同的曲调或摇下窗户使新鲜空气进入车内。该系统在尊重司机个人喜好的同时会提高驾驶的防范措施，使司机感觉好像车上存在一个真实的人在帮助他们安全驾驶。

驾驶员的情感状态可以通过两方面解释，即在心理和生理评估后，还经历了由驱动程序控制的特定情绪组件。生理组件可以通过接收传感器以不同的方式来识别和观察，包括视觉（面部表情），动觉（自主神经系统的觉醒和机能活动），听觉（说话的语调，即 V，K，A）。

目前，我们正专注于通过收集和分析他们的生理信号来识别驾驶者情感状态的研究。

1 相关研究和初步实验

1.1 情感识别的生理信号

有些研究建立在对情感和生理觉醒之间的关系理解的基础上。皮卡德 [2] 等人用个性化的意象和加载情感的图片引出快乐，悲伤，愤怒，恐惧，厌恶，惊讶，中立等情绪。测量到的生理信号是皮肤电反应、心跳、呼吸和心电图。用于分析数据的算法是连续正向浮动选区（SFFS）和费歇尔投影这两种方法的混合，此法拥有 81% 的整体精度。而希利[3] 专注于对司机的压力测量并分析其生理信号（皮肤电导、心脏活动、呼吸和肌肉活动）。本研究的实验参与者分别在停车场、城市、高速公路上开车。结果表明，司机的压力信号可能会分别被识别为停止（在停车场休息）、城市（行驶在波士顿的街道）和高速公路（在高速公路上两个车道合并），此准确率高达 96%。

1.2 初步情感启发和识别实验

在我们的情感诱导实验中，我们用电影片段和困难的数学问题来引出 6种情绪：悲伤，愤怒，惊讶，恐惧，沮丧和高兴。我们使用一个非植入性的无线可穿戴电脑 BodyMediaSense Wear臂带来收集参与者的生理信号，包括皮肤电反应，心脏速率和体温。

数学问题被用来引起挫折情绪，电影片段被用来引起其他情绪。在关于导致引发目标情绪的研究中，发现电影场景能够更高程度引起特定的情绪。此外，我们选择多通道刺激情感启发，在电影片段和数学问题之后还提出了让参与者观看幻灯片的建议。在他们观看幻灯片和进行自我报告的过程中，继续对参加者的生理信号进行收集。对收集的生理信号进行标准化，以减少参与者之间的个体差异并进行最小值、最大值、平均值、方差等处理。从生理数据中提取每个生理数据类型（共 12 个特征）。有三个监督学习算法可以对这 12 个特点的分析进行实现，即 k- 最近邻（KNN），判别函数分析（DFA），马夸特 - 反向传播（MBP）算法。KNN，DFA，和 MBP 这三种算法识别情绪的准确率分别为 72.3％，75.0％和 84.1％。

2 虚拟现实驾驶模拟器实验

上述讨论的情感启发实验的结果表明，通过分析驾驶员的生理信号可以了解人们所经历的情感。虚拟现实驾驶模拟器实验的目的是要引起驾驶员有关的情绪和状态，包括惊恐 / 恐惧，沮丧/ 愤怒和无聊/ 困倦。驾驶模拟器被用作虚拟现实的驾驶环境，这种驾驶模拟器使用虚拟现实技术创建并通过中心先进的交通系统仿真设施来运行。

实验会设计一系列事件并使其在模拟器上实现并运行， 从而引起本实验参与者的恐慌 / 恐惧，沮丧/ 愤怒和无聊/ 困倦情绪。参与者的生理信号（皮肤电反应，温度和心脏速率） 通过非植入性的穿戴式计算机 Body Media Sense Wear 臂带被收集。与此同时，对参与者进行视频记录，为方便以后对每个司机加以注释和未来对面部表情的识别。分析这些记录， 以找到与独特的生理信号相关的情绪模式。

2.1 驾驶模拟器实验场景

为了引出参与者驾驶时的有关情绪，我们创建了包含一系列事件的交通场景。该事件通过命令的方式使他们先引起恐慌 / 恐惧，然后无奈/ 愤怒，最后无聊/ 困倦。基线插入之前和之后都会有情绪被诱发。

(1) 恐慌和恐惧 ：事故现场是在开车下坡，一个孩子突然走到路中间并停住，司机不可避免地击中他。即使司机试图避免触及孩子，但由于实验设置为禁用汽车的制动，所以参与者无法选择刹车，且在道路两旁设置了路障，使司机不能变换车道。

(2) 失望/愤怒：撞过孩子后下山，挫败感和愤怒刺激了司机直接开到城市。因为只有一个事件不足以引起目标创建无奈/愤怒情绪，因此引起无奈/愤怒情绪要通过一系列事件。

第一个司机在路中间停止，等两个一起拿着大玻璃的男人过马路，但二人与另一个人在聊天，挡住了路。当拿玻璃的男人们通过后，司机被要求在下一个十字路口向右转，然而司 机此时又被一辆汽车阻碍，所以需要花费更多的时间到红绿灯 处右转。当司机终于右转，行驶约 20 英尺后，道路再次受阻，有一个大垃圾车正试图做一个直角转弯且暂时停靠。此外，在参与者的车后还有出租车在不断按喇叭激怒司机。

经过垃圾车的停放后，司机被指示在红绿灯处左转。而此时有一个白色的车等候在参与者的车前面。当对司机的灯变成绿色时，几个行人开始横穿马路到对面，并且在司机左转前灯光再次变为红色。

行人路过后，车开始在狭窄的道路上驾驶，一辆公交车一直在参与者的车辆右边，且他们即将碰撞，但公交车司机在最后一刻刹住了公交车，但他在经过参与者时辱骂了他。

(3) 无聊/困倦 ：离开城市，在令人沮丧的事件发生后， 参与者一直在一条直线上驾驶，漫长的道路再没有事件发生。

基线：基线包含一个平凡的和愉快的情绪诱发事件，驾驶者在此之间驾驶。

希利的研究和我们研究的最大区别在于在哪里进行实验。在希利的实验中，真实的交通被用在一个虚拟现实模拟器驾驶环境的对立面。虚拟现实环境完全受控，在该控制环境中对比不可预知的真实交通环境，优点如下：

(1) 每一位参与者经历完全相同，因此可以在参与者之间进行比较，并得出平均结果。

(2) 错误选项如噪声和运动影响的生理信号在每个场景中保持平等，包括基线，这使得它可以捕获由于参与者的情绪状态变化而响应的变化。

2.2 驾驶模拟器实验设置

样品：样本包括 41名学生（5名女性和 36名男性），他们的年龄从18 岁到 25 岁不等，由于对年龄没有特定的要求， 因此不用计算平均年龄。

过程 ：参与了这项研究的每个会话期间都有一个主题。签署则同意表格，填写预研问卷后，非植入性的Body Media Sense Wear 臂章被放置在参与者的左臂（收集皮肤电反应和温度值）。臂章被激活后，极地胸带，连接臂章被放置在参与者的胸部（收集心率值）。一旦胸带暗示，它开始与臂章通信， 参与者被告知如下信息：

1)他们在虚拟现实环境中驾驶自动变速器，即模拟汽车。

2)预计他们会遵守常规交通规则，如遇到红灯和停止标志时停车，开车速度不超过限制。

3)该模拟器画面上的红色和黄色箭头将分别向哪个方向转动。

4)汽车会运动，因此驾驶者可能会出现晕车现象。为防止出现这种情况，他们应该停车，而非继续实验。

当参与者坐到模拟器上的驾驶座位时，他们被告知扣好安全带；打开点火钥匙启动汽车；把档位放在 ' D（'开始驾驶。驱动），处右转。当司机终于右转，行驶约 20 英尺后，道路再次受阻，

一旦打开点火钥匙，驾驶模拟器的场景便被激活。参与者驾驶汽车时，将对其脸部进行记录的数码摄像机安装在模拟器的仪表板上。保存这些视频是为了未来对面部表情识别的研究。该场景持续了 12 ～16 min，而时间长短则取决于每个参与者的驾驶速度。模拟器会在场景结束时用声音警告参与者。停车后，被测试者的胸背带和臂章被移除，并将臂章收集的数据下载到电脑。

2.3 情感识别和机器学习

生理信号在驾驶模拟器实验中测量，用 k 近邻（KNN）、马夸特 - 反向传播（MBP）和弹性反向传播（RBP）算法找到生理信号，通过模式匹配得到与驾驶相关的情绪。

2.3.1 特征提取

在确定对应时间点的驾驶场景发现某预期情绪是最有可能被激发的，上述实验导致的生理记录 ：29 恐慌 / 恐惧，30 沮丧/ 愤怒，27 无聊/ 嗜睡。每个情感数据集的数量不同于总样本量，因为没有完整收集这些参与者的数据，他们并未完成每一个情感。对数据进行存储和标准化，从数据中得到最小值， 最大值，平均和标准偏差，及每个生理信号类型（皮肤电反应、温度和心率）的平均值。这些特性将作为模式识别算法的输入。

2.3.2 KNN、MBP 和弹性的反向传播算法的情感识别精度

第一次我们只采用KNN 和MBP 算法分析数据。MBP 神经网络结构使用反向传播算法，它有 12 个节点的输入层，17 个隐藏节点和 3 个节点的输出层。在对由情感引出实验电影片段引起的 6 个情绪的识别方面，MBP 算法效果不理想。故在第二次识别中采用神经网络算法与弹性反向传播（RBP）算法。

评估在实际生活中应用算法性能的一个重要问题是假阴性结果（即系统不能识别用户的消极情绪状态）和假阳性结果（即系统可以识别的一种消极的情绪状态，虽然用户没有产生这种状态），得到用户的生理信号。

鉴于情感识别问题的本质，无法防止一切假阴性和假阳性出现，但假阴性和假阳性率可以借助各种技术来降低。而结合不同的模式识别算法便可以达到更高的识别准确率。

3 结 语

为了使生理信号映射到相关情绪，驾驶实验在严格设计和控制的虚拟现实环境中进行。驾驶场景创建包括各种交通事件引起的恐慌 / 恐惧、沮丧和愤怒等情感。Body Media Sense Wear 臂章和极地胸带被用来测量皮肤电反应、心率、皮肤温度。KNN 和弹性反向传播（RBP）算法被用于分类相应生理信号的情绪。总而言之，KNN 能够以 66.3％的成功率划分这三种情感，MBP 可以用 76.7％的成功率进行分类，而 RBP 的分类准确率高达 91.9％。

所有本文讨论的实验是在完全受控的环境中进行的，并在所有这些实验中，分析生理数据的实验已经完成。下一步， 我们将收集、分析生理数据，以实时进行情感识别。另一项改进是我们的研究将采用不同的特征提取技术，并结合不同的模式识别算法来提高情感识别的精度。