虚拟显示最高境界？有人研发仿大脑芯片，让你在VR里感觉身临其境

据连线杂志报道，瑞士神经科学公司MindMaze创始人兼首席执行官特吉·塔迪(Tej Tadi)，已经找到利用虚拟现实(VR)技术修复中风患者受损大脑的方法。现在，他正研发一种微芯片，可以复制大脑并行处理大量数据的方式。

图1：MindMaze创始人兼首席执行官特吉·塔迪(Tej Tadi)表示:“通过研究受伤的大脑，以及它是如何运作的，这真的有助于我们更好地了解健康大脑。”

2011年3月的一个寒冷的早晨。通常情况下，在每年的这个时候，美国加州超级摩托车学校(California Superbike School)英国分部的46岁主任安迪·艾博特(Andy Ibbot)会出现在停机坪上，驾驶着学校的亮蓝色雅马哈R6s在银石赛道上迂回前进。不过那天，他躺在北安普顿总医院超急性中风病房的病床上。

艾博特的脸本来被晒成棕色，现在却和周围的墙壁一样呈现灰白色。自从接受常规颈部手术引发严重的中风以来，已经过去72小时了，这使得艾博特的左侧颈动脉向大脑供血不足。医生预测，艾博特可能活不过三天。由于细胞缺氧，中风对他大脑左半球的神经元造成了广泛的损害，导致他身体右侧的神经瘫痪。

大脑的连接方式并不是与生俱来的。当神经元经常聚集在一起时，它们之间的联系就会增强。这种机制被称为神经可塑性，激活一个神经元更有可能触发另一个神经元被激活，从而促进了相关想法的快速回忆，或者是在共同运动中平稳执行肌肉的收缩模式。简而言之，神经可塑性是我们学习的基础机制。当我们年轻的时候，这些联系是非常灵活的，但随着年龄的增长，它们会变得更加牢固。20岁以后，学习新的语言或新的身体技能就变得困难得多。

中风已经撕裂了艾博特的神经元网络，使他失去了说话和走路的能力。然而，中风也会带来一种常见的、但尚未完全被理解的现象，它使这些神经元变得更加灵活，使艾博特有短暂的机会修复部分损伤。在他受损的大脑再次恢复到完全成熟状态之前，他有六个星期的青春柔韧性周期来尝试和改造这些神经连接，重新学习如何移动身体。

通过物理治疗，鼓励中风患者尝试使用受损的大脑区域来控制相应的肌肉群，这有助于触发这些神经元，从而为受损的神经重新建立连接。换句话说，利用神经可塑性可以教会大脑如何让身体运动。为了使脑卒中后可塑性的短暂窗口发挥最大潜力，英国皇家医学院建议患者每天至少进行45分钟的物理治疗。在英国，刚刚有半数医院达到了这个目标。

图2：MindMotion Go是一款供患者玩的游戏，可以在非临床环境下继续进行身体和精神方面的康复

2011年9月，当艾博特出院时，一切看起来已经太迟了。六个月过去了，他的可塑性增强窗口早已消失，他的大脑也进入了中风后状态。医生建议艾博特适应新的生活，他的说话或吞咽能力有限，右侧身体几乎无法移动，需要拐杖支撑才能移动。不过，艾博特有其他想法。就在中风前两个月，他开始参加撒哈拉沙漠马拉松 (Marathon des Sables) 训练，即穿越撒哈拉沙漠的6天超级马拉松比赛。

艾博特知道，中风后参加马拉松跑赛的想法是个不切实际的目标。不过，他想，为什么不能步行完成呢?艾博特的家在安普顿郡的Long Buckby，那里距离名为Physiofunction的神经物理治疗公司只有十分钟的路程。而Physiofunction碰巧是欧洲最早试验名为MindMotion Go的新技术的公司之一。

由瑞士神经科技初创公司MindMaze开发的MindMotion Go，采用微软(Microsoft)的Kinect动作捕捉摄像头，为用户提供了全套专为鼓励正确身体动作而定制的游戏。有些游戏需要你移动手臂去赛车，倾斜身体去驾驶飞机，或者握紧拳头去操作起重机。这吸引了艾博特的竞争天性。6年后，艾博特的手臂恢复了运动能力，随后语言能力也大大增强。

随着练习的持续，他先是可以在拐杖支撑下走路，最后甚至抛掉了拐杖。2017年4月7日，艾博特发现自己站在了他最初计划于2012年回归的地方：摩洛哥沙丘中，即撒哈拉沙漠马拉松赛的起点。艾博特说：“我的目标只是为了到达起跑线，在那之后的任何事情都是额外的奖励。”

9小时11分钟后，艾博特跑过了前30.3公里阶段的终点线，在10小时有效截止时间之内。接下来的39公里需要在11个半小时以内完成。第二天上午9点30分，伴随着《Highway to Hell》的曲调，艾博特和其他参赛者一起从营地大步走出来。

图3：生物医学工程师索朗奇·塞皮(Solange Seppy)正在测试运动捕捉传感器

2017年8月，MindMaze创始人兼首席执行官特吉·塔迪(Tej Tadi)在公司的瑞士洛桑总部接受记者采访。该公司总部占据了一栋办公楼的七、八层。从他办公桌后的窗户，可以看到令人震撼的景观——瑞士阿尔卑斯山的白色冰川，它与洛桑本身的炎热和潮湿形成了鲜明的对比。36岁的塔迪是瑞士最成功的企业家之一。2016年，他的神经科学公司MindMaze成为该国第一家达到10亿美元估值的初创公司，这要归功于印度企业Hinduja Group的1亿美元投资。

这笔投资被用于开发MindMotion Pro，也就是艾博特使用的最初医学级系统。它使用专有的动作捕捉摄像头和虚拟化身，自动完成那种通常需要训练有素的理疗师持续指导的物理治疗。塔迪在印度海得拉巴长大，对在医疗保健领域工作从来不感兴趣，即使他的父母都是医生。在取得电气工程本科学位后，塔迪决定学习特效技能。他说：“这是一种创造性的冲动，我想找到让模拟爆炸或火焰爆发在屏幕上看起来更真实的方法。”

2004年，塔迪加入瑞士洛桑联邦理工学院(EFPL)，开始攻读VR计算机图形学硕士学位。他的第一个项目是在虚拟化身中开发更真实的行走动作。该项目需要了解人脑是如何控制运动的，因此他经常到附近的医院去研究患有运动障碍的人，比如帕金森症患者。塔迪解释说:“通过研究受伤的大脑，以及它是如何运作的，这真的有助于你更好地了解健康大脑。”

塔迪记得一个19岁的男孩，他在一次事故中失去了双臂。和80%以上的截肢者一样，这名男孩也患有幻肢疼痛，即截肢者手臂所在部位疼痛难忍。虽然人们对幻肢疼痛背后的机制知之甚少，但有一种理论认为，这是大脑在看到失去手臂时做出的反应。它与从肢体的其余部分发出的持续信号相矛盾，后者显示整个手臂仍然存在。

塔迪的想法是引入虚拟肢体来解决这种冲突。他给病人设置了脑电图(EEG)帽，它可以通过头骨检测脑电波，并以此来对他面前屏幕上显示的一对手臂进行粗略的控制。这些不过是人类四肢的漫画罢了，它们的动作和男孩的想法之间的同步足以解决他的大脑内部冲突，从而减轻慢性疼痛。事实上，塔迪遇到了一种新的错觉。它不依赖于图形的逼真度，而是更基本的、与身体联系更密切的东西，即被称为“具体化错觉”的神经科学技巧，它不仅改变了一个人看待周围世界的方式，还改变了他们在其中感受自己身体的方式。

图4：2017年4月，安迪·艾博特参加“撒哈拉沙漠马拉松”

2012年，塔迪开始在瑞士洛桑联邦理工学院(EFPL)神经科学家奥拉夫·布兰科(Olaf Blanke)的实验室攻读博士学位，研究这些错觉背后的机制，以及如何利用它们来帮助患者康复。布兰科的实验室专门研究多感官整合机制，研究某个人的神经系统是如何将他从身体触觉、听觉、视觉、嗅觉和其他感官接收到的所有输入信息结合起来，并形成统一体验的。例如，我们的大脑是如何利用喵喵的声音、皮毛的触觉感觉和猫形的视觉，并将所有这些感官输入结合在一起，让它们意识到一只活的、有呼吸的猫。

当时，布兰科刚刚开始调查鬼魂，这是一系列精神疾病的症状，比如精神分裂症，它让病人感到房间里还有其他看不见的存在。布兰科已经意识到，他研究的每个病人都有一个共同点，那就是大脑中负责整合多感官信号的区域受到了损害。布兰科表示：“想想我们的四肢在大脑中的表现，它们不止是虚像，你会有本体感觉，你的手臂在空间的位置感觉。你可以看到它;当它撞到什么东西时，你可以听到它的声音;你可以移动它，你的大脑会预测当你这样做时，其他的输入会发生什么变化。在仅仅涉及理解左臂时，大脑就需要动用四个不同的部分。”

正是大脑将这些输入成功地结合在一起，才让你觉得手臂是自己身体的一部分。当这种机制失败时，当你的大脑处理手臂视觉的时机与本体感受系统对其位置感觉不相匹配时，你就会发现自己患上布兰科病人的症状。他们会有“身体不属于自己而是属于别人的”感觉。改变不同感官输入之间的同步可以扰乱人们对自己身体的识别。塔迪和布兰科开始想，这种机制是否也能被积极利用。

在某种意义上，这是以前就做过的。1998年，匹兹堡大学的研究人员发现了一种叫做“橡胶手错觉”的效应。首先，实验者把志愿者的手藏在桌子下面。然后，他们把橡胶手放在桌子上面，同时用画笔在看不见的真手和看不见的假手之间划来划去。仅仅是这种触觉和视觉输入之间的同步就足以让参与者觉得，就像可观察到的橡胶手是他们自己的手一样。当实验者突然试图用锤子砸橡胶手时，他们惊慌失措的反应可以戏剧性地说明这种影响。

塔迪想知道，用今天的虚拟现实技术是否能做得更多?所以2006年，在布兰科的指导下，塔迪做了个头戴式显示器，并试图将橡胶手的效果延伸到整个身体。志愿者在观看虚拟化身的视频流时被拍了一下，这个化身似乎在他们面前几米远的地方，但他们却有背部同时受到碰触的感觉。

有几个志愿者表示有不舒服的感觉，但是对于所有的参与者来说，他们的位置感有了漂移，感觉在远离他们自己的身体，并进入化身中。这是第一次证明同步刺激可以用来欺骗大脑，使它不仅接受一个新的身体部位，而且能接受全新的身体。塔迪想知道，这对神经恢复和虚拟现实意味着什么。因此，2012年，塔迪创立了MindMaze公司。他希望将其了解的有关欺骗大脑对自身身体感知的知识，再结合神经可塑性原理，鼓励受损的大脑重新连接自己，就像艾博特的大脑那样。

MindMaze的首款产品MindMotion Pro于2015年推出。与艾博特使用的MindMotion Go系统中的Kinect摄像头不同，MindMotion Pro的摄像头在2017年5月获得了美国食品和药物管理局(FDA)的许可，可在病人躺在病床上一动不动时检测到他们的手臂。然后在放在病人床边的便携式屏幕上呈现一个简单的卡通人物。通过移动真正的手臂，病人可以控制这些虚拟化身，以便执行一系列的任务，比如把虚拟盘子放到虚拟托盘上。随着他们的康复取得更大进展，还可以执行更复杂的挑战。

这一原理与传统的康复理疗相似，即重复做些正常的动作，比如抬起手臂，以加强所涉及的受损神经连接，就像反复运动可以增强肌肉一样。但与传统的脑卒中后治疗不同的是，MindMotion Pro可以调整虚拟手臂的运动，让患者看起来比以前取得更大成功。这意味着它可以通过利用大脑区域控制特定运动的方式来加速康复，不仅是当患者本人执行这个动作的时候，在他们观看同样动作的时候也会产生效果。

图5：安德里亚·塞里诺(Andrea Serino)是MindMaze神经科学部门的负责人，也是洛桑大学医院的SNSF教授

MindMaze神经科学部门的负责人安德里亚·塞里诺(Andrea Serino)解释道：“对于中风后无法移动手臂进行任何训练的患者，我们只需要他们移动另一只手，并向虚拟化身展示动作，就好像是正在运动仿形手臂一样。即使只是看到这个动作，就可以激活那只手臂受损的马达回路。”

除了欺骗无意识的大脑机制之外，适应具有挑战性任务的能力会产生更明显的影响，即它使康复经历变得更愉快。塔迪称：“利用神经可塑性需要很多的重复动作。不过随着康复取得进展，这使患者更有动力去练习，即使理疗师不在场监督。”塔迪的下个目标，以及开发更便宜、与Kinect兼容的MindMotion Go的动机，是支持患者长期坚持这种疗法，而不需要定期去医院。

在中风后的神经可塑性阶段，虽然早期的物理治疗对康复的成功有着最大影响，但研究越来越多显示，完全成熟的成人大脑毕竟不是那么僵化。除了维持功能，出院后的持续练习甚至在中风后的几年里都可以继续提高病人的能力，就像艾博特所做的那样。塔迪表示：“当你现在出院的时候，问题是你接下来要做什么?随着MindMotion Go的出现，像艾博特这样的病人不需要经常去诊所，他们可以在家里经常练习，且不需要专家的监督。”

然而，塔迪已经意识到，无论显示器的逼真程度如何，仅仅欺骗眼睛是不够的，这不足以让一个人相信他们看到的是真实的。没有任何一种被动的虚拟现实电影能让艾博特相信，他是在穿越撒哈拉沙漠而不是躺在医院的病床上。毕竟，不只是视觉刺激可以让他感觉到皮肤的干热，柔软的沙子就踩在他的脚下。

身体是我们经历现实的关键。当你戴上VR头盔时，尽管你的眼睛在看另一个世界，但你身体其他部分仍然牢牢地停留在这个世界上。添加双耳音频来复制虚拟世界的空间音景，它会让人感觉虚拟世界更加有形。但是，驾驶虚拟赛车在虚拟的弯道上行驶，引导前庭系统运动体验的内耳液体形成的微小湖泊，将会依然保持平静。你可以转动头部四处看看，但除非你使用的是高端的全房间跟踪系统，尝试着蹲下，跳起来甚至走路，否则什么都不会发生。

图6：在神经系统事故发生后，MindMotion Pro套装最快4天内就可以使用

MindMaze公司的神经康复工作只是塔迪为该公司计划的第一步。多年来，塔迪一直致力于让混乱的大脑重新与身体连接，他从未失去对VR和特效的热情，以便让普通人的大脑脱离他们的身体现实。最终，MindMaze的目的是将这些关于如何欺骗大脑体感的知识与开发用于神经康复的动作捕捉系统经验结合起来，开始解决创建真正交互的、多感官的、虚拟现实面临的问题。他说：“这将在仅仅把电视贴到你的脸上和建立实际通往另一个世界门户之间产生差别。”

2015年3月，塔迪在旧金山游戏开发者大会上展示了未来蓝图——MindLeap头盔。其面向前方的运动跟踪摄像头监控使用者的手部位置，而脑电图(EEG)帽通过头骨接收神经活动，以评估使用者的情绪。虚拟的火焰围绕着他们的虚拟手指，根据它们察觉到的情绪(从平静到焦虑)改变颜色。后一项功能听起来就像昂贵的情绪戒指。但它建立在研究的基础上，研究表明，将生理信号(比如心跳频率)转换到虚拟肢体上，就会加强观看者对虚拟肢体的识别能力，就像把原始的橡胶手错觉同步到全身那样。

今年6月份，为了帮助更精确地跟踪运动捕捉摄像头视野之外的身体部位，MindMaze公司收购了另一家EFPL剥离的运动分析公司Gait Up。Gait Up是世界上最小运动传感器的发明者，这种传感器名为Droplet，只是2×3毫米的小结节。塔迪解释称：“Gait Up已经在超过6000个对象上微调了它的算法，所以它们可以探测到非常具体的动作。”

为了捕捉面部动作，MindMaze公司开发了一种泡沫带，它位于带着电极的面罩外面，这个面罩被称为Mask。它可以检测到发送到面部8个部位(如前额和脸颊)激活肌肉的电信号到来。然后，这些信号可以被提前用来识别特定的表情，从而消除虚拟化身的反应延迟。塔迪说：“很明显，我们需要探索VR的社会层面。但如果没有表情或情感，你就不能指望真正的社交，Mask能以一种非常直观的方式让人产生这种感觉。”

图7：虚拟化身与戴Mask用户的面部表情相匹配

Mask不会直接面向消费者发售，但MindMaze目前正在研究与主要VR头盔生产商进行合作。塔迪说，目前Mask可以识别10种表情，包括眨眼、微笑和做鬼脸，准确率达96%。MindMaze公司正致力于将这个数字增加到30个，添加更微妙的表达形式，比如咆哮或退缩。这是MindMaze第一个非保健产品，塔迪非常渴望展示它。不过该团队承认，它仍然有些问题，比如在某些脸型上工作得更好。

尽管如此，不管MindMaze能够通过运动捕捉摄像头、肌肉激活检测电极和Gait Up的运动传感器多么精确地跟踪人体的位置，但塔迪在攻读博士学位期间发现的虚拟化身错觉的关键并不仅仅是准确性，而是更好地把握时机。具体地说，就是在这个传感器阵列检测到的真实身体运动与虚拟身体相应动作之间保持完美的同步。

当大脑自身协调这些不同感觉流的信息同步能力失灵时，你就会得到布兰科病人描述的那种身体外体验和幽灵般的存在感。当这种协调在虚拟世界中失败时，这个世界就让人感到不再真实。想想看，电影的视觉和听觉轨迹之间哪怕只有几毫秒的不同步，也会让演员的演讲感觉异常做作。在如此广泛的不同传感器之间协调这种同步，对于当前的计算技术来说是不切实际的。这是塔迪在他的博士项目中第一次理解VR诱导的全身错觉，这个项目需要20部独立的计算机来协调所有不同的元素。

为了跟上大脑的计算速度，有几个独立处理核心的传统芯片无法胜任这项工作。为此，塔迪意识到，需要像大脑一样的硬件，一种能够并行处理多个模拟数据流的处理架构。有传言称，MindMaze将推出整合所有功能的新产品，并投资3000万美元开发了一款芯片，这款芯片设计主要针对硬件层面，模仿大脑整合来自多个传感器数据流的方式。这种芯片能够同时处理和协调所有连续数据流，包括前置摄像头、惯性运动传感器、肌肉或神经活动脑电图读数，并将它们整合到统一的虚拟身体中。

塔迪声称，这款芯片名为CogniChip，它一直是MindMaze的终极目标。但他也承认，作为一名寻求数亿启动资金的年轻研究员，他不能只告诉人们这些。他说:“如果我直截了当地说，我们将用能像人一样思考的芯片来模拟现实，那可能让人觉得十分荒谬。”

图8：这款名为NeuroGoggles的设备于2015年推出，是一款具有生物传感功能的、基于大脑模拟的AR和VR头盔

多年来醉心于研究，然后开发可称为医疗行业标准的新技术，对于塔迪来说，最要的不仅是他学到了什么，而是给他谈论这种目标时树立的信心，并让即使没有神经科学背景的他，也能成为快速发展的神经领域创业者。塔迪表示，他很快将发起名为Neuro Initiative的联盟，倡导一种更现实的方法来整合神经科学、技术和创业精神。他说：“这是我的一个激情项目，它将汇集世界上顶尖的学术、科学和技术人才，为神经技术的未来铺设一条雄心勃勃却看似合理的道路。”

伊隆·马斯克(Elon Musk)的脑机接口初创公司Neuralink提供的招聘清单上面，直截了当地写道“不需要任何神经科学经验”。对此，塔迪表示：“现在是时候让我们更清楚地了解什么是现实可行的，什么仍然是幻想。令我烦恼的是，这些异想天开的想法不断被提出，污染了我们对不可思议的事情的集体理解。当然，作为一名企业家，我不想批评梦想家。”