要想不被取代,决策权不能完全交给机器

　　  人类的力量是有限的，未来机器必将会代替目前人类所能做的任何事。到那个时候，人类又将何去何从。有人提出，要想不被器取代，我们必须有所防备。

          史蒂芬·霍金曾说，“全面化人工智能可能意味着人类的终结。”他认为，机器可以自行启动，并且自动对自身进行重新设计，速率也会越来越快。而受到漫长的生物进化历程的限制，人类无法与之竞争，终将被取代。

　　霍金的预言是否会成真并不重要，重要的是他在提醒我们要对人工智能进行管控。在算法和数据高速发展的当下，社会生活的各方面都在悄无声息地与人工智能发生联系。诚然，人工智能给我们的生活带来了极大的便利，但完全依赖人工智能，人类将如何自处？面对人工智能可能会带来的不利后果，我们又该做些什么来对其进行规避？

　　日前安理律师事务所合伙人、互联网法律专家王新锐从理论和实操两个层面出发，提出了AI监管的思路，并着重强调了数据保护问题。

　　很多人觉得AI的法律和监管问题离我们还比较远，但我们在实务中其实已经接触到很多跟人工智能相关的法律问题，其中既有比较具有普遍意义但抽象的问题，比如产生纠纷时双方举证责任和赔偿责任的分配原则;也有比较具体、个性化的问题，比如用于训练算法的数据集的一些知识产权问题。这些问题在具体的语境下，也许是有解的，也许是无解的，但如果把这些问题串在一起看，至少会观察到，人工智能技术对很多行业的影响越来越大，产生了新的利益和风险，也需要新的规则。

　　我把实务中遇到的AI法律问题分为两大类：算法和数据。按照人工智能产业的普遍看法，大数据是人工智能快速发展的基础。其中数据在法律上是一个很宏大的问题，并非人工智能领域所独有，其中对于个人信息和隐私保护很多国家都有相对成熟的立法和监管机制，中国在《网络安全法》出台后也进一步加强了对个人信息的保护;而数据权属问题在全球范围内也没有达成共识，争议很大;除此以外，数据的保密和公开以及跨境传输，也有一些复杂的规则。而算法的监管问题在法律上则更为前沿，举个例子，欧盟制定了《通用数据保护条例》（GDPR），其中规定欧盟国家公民将有权要求“审查某项特定服务中如何做出特定算法决策”，这对算法影响非常大，具体如何落地，可能会引发监管机构和人工智能公司之间的冲突。

　　我认为在人工智能发展早期的很多因技术bug产生的问题并不是那么重要（尽管很容易被新闻媒体夸大），因为从长远来看，这些问题会随着技术发展自然而然地解决掉，监管和法律介入的必要性也不是很大。而重要的是大的框架，也就是人工智能中数据和算法的监管、立法等问题，这些不达成共识，行业发展到一定阶段就会受阻，影响公众对人工智能的信任和接受。

　　人工智能的边界到底哪里？我认为在可能出现重大危机或者影响人类利益的场景下，要实现对算法和数据的约束。对人工智能的监管思路，从实务或者理论架构来看有三个方面：

　　第一，对于事后结果的监管。虽然现在深度学习只能是机器学习的一小块，甚至连1%都没有，但是我们必须承认深度学习的推动作用。算法和数据有时候像个黑盒子，我们不确切的知道里面发生了什么事情，但是我们仍然可以对结果进行监管，或者通过严格责任追究开发者的法律责任。

　　第二，对于数据采集进行事中监管。比如美国建立了禁止数据采集的负面清单，中国人民银行在关于征信的相关法规中对于不同人群和机构能采集什么数据也有规定。哪些数据不适合提供给人工智能公司，或不允许用于人工智能，也是需要研究的。

　　第三，在采集行为发生前，从根上避免一些不宜公开的数据被采集。比如，犯罪记录数据的采集。在很多国家，包括中国，犯罪记录既是个人信息，也是管理信息，超过一定犯罪期限内的数据不能随便公开，更不要说未成年人信息。

　　现在发展很快的人脸识别技术和指纹识别最大的区别在于，人脸识别不需要接触就可以实现，那么人脸识别数据采集环节怎么进行约束是值得考虑的问题。

　　人工智能在开发过程中需要考虑不同场景下的不同影响，并有所区别，有时需要预先设置黑名单或白名单。以智能音箱为例，国外就有因为算法对指令的识别有误而直接播放色情内容给小孩的案例，所以对于直接提供给未成年人的东西就需要限制，这样才不会引起家长和社会的恐慌，否则也会招致批量的法律纠纷。

　　而在某些关系重大的场景中，做决策不能单纯依靠人工智能。中国最早发布人工智能相关规范的就是卫计委，因为即便人工智能对医疗有很大的帮助（这一点已有较多的实例支持），但决策权依然不能完全交给机器，因为责任是由医生来承担的。医学伦理问题更加复杂，不能用简单的标准化程式解决，更不可能交给机器来判断。卫计委今年出台四个技术规范，这是关注人工智能边界的体现。

　　更公平的AI也是可追责的AI，在不同的场景和阶段采用不同的方法，对新技术的应用进行约束。那么法律干预的必要性在什么地方？这可能是需要思考和解决的问题。