神经网络有什么天生的性质

众所周知，动物与生俱来就有独特能力和倾向，马出生后几个小时就能走路，鸭子孵化后很快就能游泳，而人类婴儿会自动被脸吸引。大脑已经进化到只需很少或根本没有经验就能承担起这个世界，许多研究人员希望在人工智能中重现这种自然能力。

新研究发现，人工智能也能进化出类似人和动物那种与生俱来的能力。人工神经网络可以进化为无需学习即可执行任务。该技术可能会让AI更擅长处理各种任务，例如为照片加标签或驾驶汽车。

人工神经网络靠的是小型计算节点（即神经元）之间传递信息，网络通常通过调整神经元之间连接的“权重”或强度来学习执行诸如玩游戏或识别图像之类的任务。一种称为神经体系结构搜索的技术会尝试许多网络形状和大小，以便针对特定目的找到更好的神经网络。

新方法使用相同的搜索技术来查找权重无关紧要的网络，对于这样的网络，网络的整体形状决定了它的智能，可能使其特别适合某些任务。

计算机科学家Adam Gaier说：“如果动物具有所有这些固有的行为，并且某些神经网络在没有大量训练的情况下就能很好地发挥作用，那么我们想知道我们能将这一想法推进多远。”他在谷歌大脑工作期间以第一作者发表该论文。

该过程从一组非常简单的网络开始，这些网络将输入（例如，来自机器人传感器的数据）链接到行为输出。它针对问题类型对网络进行评估，对网络性能进行优化，通过增加神经元或者说更改神经元对求输入的敏感程度来实现突变。在评估阶段，系统会为网络的所有权重分配一个共享的随机数。（实际上是使用多个随机数进行计算，最后将结果取平均值。）

这种神经网络称为重量不可知神经网络（WANNs），这些神经网络选取的节点都再任务中表现出色并且网络结构简单。虽然处理这个领域的典型任务网络可能具有数千个神经元和权重，但WANNs仅有少数神经元和一个权重。

尽管如此，WANNs依旧表现出色。研究团队将WANNs与标准网络体系结构进行了比较，这些标准网络体系结构根据经验调整权重，可以完成三个模拟任务：驾驶赛车，使两足机器人行走，控制轮式推车以平衡杆位。

谷歌大脑研究人员通过精简神经网络结构，在前几代中发现了最小架构的神经网络能够控制此处所示的双足机器人，即使它的得分不高。

WANNs的得分大约是训练有素的神经网络的六分之一到一半，当研究人员分配最佳权重而不是随机权重时，则得分介于训练后的神经网络得分的三分之二至五分之四。如果经过进化，WANNs的训练强度与更大的标准网络相同，则它们的性能会不相上下。

在涉及识别手写数字的任务中，WANN的准确率超过90％（相比之下，接受该任务训练的较大网络的准确率则为99％），该研究于上个月在加拿大温哥华的神经信息处理系统（NeurIPS）会议上发表。

没有参与这项研究的优步人工智能实验室的计算机科学家刘珊珊（Rosanne Liu）说：“它们使整个事情能正常运转的事实令人印象深刻。”其他人尝试建立不依赖权重的网络最终宣告失败。Gaier说，这一突破最初是一个漏洞，该漏洞将所有权重分配了相同的数字，最终简化了搜索架构。

尽管WANNs的性能并不能取代训练有素的大型网络，但该方法为寻找专门适合各种任务的网络架构开辟了一条新途径，即大脑的各个部分针对特定目的的接线方式不同。例如，卷积神经网络具有适合图像识别的架构，可以反映大脑视觉皮层的结构。Gaier相信，还有更多的构建基块，可以使AI从一开始就很聪明。