深度学习遇到了瓶颈了吗

与早期阶段的所有技术一样，深度学习必须克服许多严峻挑战

深度学习和机器学习的进步都起到了最近AI成就了的核心作用，让计算机进行练习，通过消化和分析大量的数据，而不用明确地编程，就可以达到目的。在过去的两年里，谷歌以深度学习为基础的AlphaGo击败了世界顶级的围棋选手，令大多数人工智能专家感到惊讶，他们认为需要5到10年才能实现这样一个里程碑。同样，当谷歌在2016年底转向其新的深度学习AI系统时，它大大地提高了机器翻译的质量。

在最近的一篇文章“ 深度学习：批判性评价”，作者和纽约大学教授加里·马库斯对深度学习进行了认真的评估。他认为，尽管在过去五年取得了相当大的成就，但深度学习可能正面临瓶颈期，多伦多大学教授杰弗里·辛顿（Geoffrey Hinton），即深度学习之父父，也有这种观点。

深度学习是一种强大的统计技术，用于使用大型训练数据集和多层AI神经网络对模式进行分类。它本质上是一种机器学习数据的方法，这些数据通过生物大脑学习解决问题的方式进行了松散的建模。每个人工神经单元连接到许多其他这样的单元，并且可以基于用于训练系统的数据来统计地增强或减少链路。多层网络中的每个连续层使用前一层的输出作为输入。

“原则上，给定无限数据，深度学习系统足以表示任何给定输入集和一组相应输出之间的任何有限确定性”映射“，但在实践中是否可以学习这样的映射取决于许多因素。..。.. “马库斯写道。“该技术擅长解决封闭式分类问题，其中必须将大量潜在信号映射到有限数量的类别，因为有足够的数据可用且测试集非常类似于训练集。但偏离这些假设可能会导致问题; 深度学习只是一种统计技术，所有的统计技术都会偏离它们的假设。..。..在实践中，大数据集的结果往往非常好，广泛的潜在映射。

与早期阶段的所有主要技术一样，深度学习必须克服许多严峻挑战。

马库斯的文章讨论了当前深度学习系统面临的十大挑战。我将重点讨论这四个问题。

深度学习的数据要求与许多维度中的其他分析方法的数据要求大不相同。随着数据集大小的增加，传统分析的性能趋于稳定。然而，随着数据集变大，正确训练的深度学习技术的性能将显着提高。深度学习方法在从复杂的非结构化数据（包括音频，语音，图像和视频）中提取模式方面特别有价值。要做到这一点，他们需要成千上万的数据记录才能使模型在分类任务中变得更好，并且需要数百万的数据才能在人类层面上发挥作用。

“人类可以在几次试验中学习抽象关系，。..。..”马库斯指出。“深度学习目前缺乏通过明确的口头定义来学习抽象的机制，并且当有数千，数百万甚至数十亿的训练样例时效果最好。”当通过明确的定义学习时，“你不依赖数百或数千或数百万训练样例，但能够表示代数变量之间的抽象关系。人类可以通过明确的定义和更隐含的手段来学习这种抽象。事实上，即使是七个月大的婴儿也可以这样做，只需两分钟即可从少量无标签的例子中获得学习抽象语言的规则。“

在最近的人工智能会议上，麻省理工学院大脑和认知科学教授Josh Tenenbaum解释了他对我们目前的人工智能状态与人类智力水平长期追求之间差异的看法。人类智能能够超越数据和机器学习算法。人类能够在他们感知世界时建立模型，包括实际的日常常识知识，然后使用这些模型来解释他们的行为和决定。根据Tenenbaum的说法，三个月大的婴儿对周围世界的了解比任何人工智能应用要多。在从分析的数据中学习模式之前，AI应用程序从空白的平板开始，而婴儿开始时具有遗传头部开始和大脑结构，这使得他们可以学习比数据和模式更多的东西。

像麻省理工学院人类动力学实验室和艾伦研究所这样的研究工作，以及像Kyndi这样的创业公司正试图通过模仿人类常识推理和/或用基于逻辑的编程工具补充统计导向的AI方法来克服深度学习的局限性。这些研究工作仍处于早期阶段。

深度学习的“深度”是指其高度复杂的，多层次的统计特性。但是，虽然能够取得一些惊人的成果，但在目前的化身中，深度学习实际上是非常浅薄和脆弱的。“通过深度学习提取的模式比最初出现时更肤浅。”

我们目前的AI应用程序通过大量数据和深度学习算法的训练完成了一件事。每个应用程序必须使用自己的数据集进行单独培训，即使对于与以前类似的用例也是如此。到目前为止，没有好的办法将培训从一种情况转移到另一种情况。

AI最适合与训练集中使用的应用程序和测试集非常相似的应用程序和测试集，但在尝试概括或推断超出其训练数据集时，它的效果要差得多。

计算机为什么做出了某个决定？深度学习的另一个重要挑战是其不透明性和黑盒子性质。用人类术语解释复杂深度学习应用的结果是相当困难的。典型的深度学习系统在其复杂的神经网络中具有大量参数。用人们理解的方式评估各个节点对决策的贡献是非常困难的。

“透明度问题尚未解决，在对金融交易或医疗诊断等问题领域进行深度学习时可能会产生责任，人类用户可能希望了解特定系统如何做出决定。..。..这种不透明性也会导致严重的偏见问题。“

前沿的IT系统都有工程风险，特别是在医疗，汽车，飞机，金融和政府等高利益应用中使用时。虽然这些风险一般适用于人工智能系统日益增加的复杂性，但鉴于其统计性质，不透明性以及难以将因果关系与相关性区分开来，它们在深度学习中的问题更大。

我们还必须确保我们复杂的AI系统完成我们希望他们做的事情，并按照我们希望他们的行为方式行事，这是深度学习算法的一个特别棘手的问题，这些算法在没有明确编程的情况下接受数据训练和学习。

科研人员已经做出了许多措施来解决这些以及其他主要人工智能和深度学习挑战，包括斯坦福大学的人工智能百年研究和麻省理工学院的探索。希望与之前的强大技术一样，这些努力将有助于确保妥善解决这些问题，让我们日益强大的人工智能系统将对经济，社会和个人生活产生重大的有益影响。