当前位置:首页 > 智能硬件 > 人工智能AI
[导读] 本来不想过早的来讨论这个话题,因为看的越多越觉得个人知识面的浅薄。 想了想,还是发出来吧,让我们面向不可知的未来可以了解的更多一些。 这是一篇关于宇宙的命运,人类的命运以及机器人

本来不想过早的来讨论这个话题,因为看的越多越觉得个人知识面的浅薄。

想了想,还是发出来吧,让我们面向不可知的未来可以了解的更多一些。

这是一篇关于宇宙的命运,人类的命运以及机器人的命运的有限论据科普文。

全文有点长,建议仔细阅读,懒得看得可以看黑体字及结尾。

全文用AI指代人工智能。

一、生命的源起

现在世人对AI的争议,基本上有两个方面。

第一,AI到底什么时候才能达到人的智能水平,乃至于超越人类。所谓“达到人的智能水平”,指的是AI具备了“通用”的智能,

叫做“AGI(artificial general intelligence)”,而不是现在会下棋的AI,它们还听不懂你讲的笑话。

对此,世界上有不同看法,比如《奇点临近》作者库兹韦尔认为AGI很快就能实现,“奇点”即将来临。但中国的AI专家吴恩达表示:“你们现在担心AI能有多厉害,就相当于担心火星上人口过剩的问题。”

第二,AI对人类来说,到底是好事儿还是坏事儿?我个人觉得是好事,因为他可以从根本上解决现有社会运行的效率问题。

但也不可否认AI可能会给人类带来威胁。

泰格马克的一本书《生命3.0》看待AI的视角是大局观和“第一性原理”。本文绝大部分的观点来自于得到万维钢对这本书的解读。

从大局观来讲,考虑到AI的存在,把“生命”分成了三类。

这里对生命的定义,从信息的角度出发:生命,就是可以自我复制的信息处理系统。其中的“信息”包括个体硬件复制的蓝图,以及个体行为的模式。一个生命体包括“硬件”和“软件”:硬件就是它的身体,软件就是信息。

生命1.0,达尔文进化论的标准理论,这类生命是靠演化来进行更新迭代,完全遵循自然选择的结果。基本上除人以外的所有

生物都如此。

生命2.0,硬件系统依赖自然演化,一部分软件系统可以直接设计。这就是人类的特点,因为人是可以学习的。人的一个重要的

特性是可以随时并主动的适应新环境。

生命3.0,硬件系统和软件都可以自己设计。根据本书对生命的定义,如果一个AI系统会自己复制自己的下一代,那就可以认为它

是有生命的。如果这个AI还具有自己学习新东西的能力,而且还能升级硬件,它就是生命3.0.

将来,如果AI具备了人的全部智能,而且还可以自己设计下一代,一代一代的强化升级,将会是什么局面?哪些3.0的生命看我们,

是不是跟现在我们看1.0的动物一样?

生命3.0的AI如果出现,那将是人类最后一个发明。从此之后,发明创造可能就用不着我们了。

这里对智能有一个比较笼统的定义:智能就是完成一个复杂目的的能力。

从“第一性原理”出发,想要实现智能,AI大概只需要三种能力:存储能力、计算,和自我学习。

存储能力,人的大脑以生物方式存储的总容量为10TB。神经元电信号的形式存储的信息容量大约有10GB,用来做快速读写。

对今天的计算机来说,100TB的硬盘和10GB的内存不算问题。不同于计算机存储按地址索引,人的存储方式是神经网络

先想到大概内容,然后一点一点回忆相关的细节。存储对于计算机来说没问题。

计算能力,至今,计算机的概念始于阿兰图灵的“图灵机”。凡是能用算法说清楚的问题,都可以用计算机实现。几十年来所有的

技术进步仅仅是让存储能力更强,运算速度更快而已。

学习能力,近年来出现人工智能的大跃进,归功于“深度学习”的技术进步,改良自“神经网络”算法,借助图灵机模拟神经网络。

人脑学习新技能,发生在神经元层面,反复练习一个动作而精彩被一起触发的神经元,最后会形成一个网络结构,相当于一个技能长在人的大脑里。

图灵机则是模拟最简单的神经网络反复训练,每次只要反馈正确就增加相关连接的全中,足够多的时间后,就能够做成任何事情。

泰格马克认为,神经网络算法所能解决的“那些简单方程,就已经足够对付真实世界了——因为描写真实世界的物理定律也都是简单方程”。

也许图灵机和神经网络算法不能完全取代人脑,但是对于真实世界需要的智能来说,它们可能就已经够用了。

至此,我们把存储、计算和学习三点综合来看,会发现所有的底层原理都是逻辑意义上的。也就是说,这些原理跟把信息存储于什么介质中、用什么东西来计算无关。AI的硬件,可以随便升级。这就是生命3.0。

二、生命3.0的使命

美国有句俚语“Sky is the limit”,翻译成中文大概是说:“只有天空是尽头”。

如果考虑到超级AI的存在,那天空根本就不是尽头。物理学的限制,才是尽头。

真实世界并不一定是美好的,你未必会喜欢未来的样子。不信,我们一起来看一个思想实验:展望一下AI背景下的人类文明。

AI听命于人类:AI驾驶汽车和AI参与医疗这些技术现在已经几乎成熟了,主要的问题是解决可靠性。

有人估计,如果把路面上所有汽车都交给AI开,交通事故至少能下降90%。但问题就在于剩下的10%算谁的?

如果法律交给AI来评判,则又会带来新的道德困境。比如说黑人的犯罪率更高,AI主导是否会引起系统性的种族歧视。

AI与人类共治天下:不给AI主导权也许很难。只要AI有了足够的能力,以它比人类聪明得多的智能,就会使用自己的办法摆脱人类的控制。

哪怕人类像阿米什人那样企图封存技术也不可能,除非已经先有一个统一了全世界的强权,否则越是弱小的权利机构,越有可能把灵魂卖给AI,换取自身的强大。

AI主导人类文明:如果AI全面超越了人类。人类是否还要必要存在?人是个效率很低的生物。爱因斯坦的质能方程:E=mc^2来计算,人类吃糖获得的能量消耗效率相当于:0.00000001%。烧煤的效率相当于吃糖的三倍。汽油相当于吃糖的五倍。如果使用裂变反应核能,效率则为0.08%。核聚变,效率达到0.7%。如果将来AI能做到用黑洞发电,根据物理学理论,效率可以达到20%,甚至90%。

物理学家弗里曼戴森设想过一个叫做“戴森球”的系统,告诉我们将来AI如何利用太阳能。

 

太阳能利用

AI会先考虑把木星拆了获取资源,在外层空间造一个巨大的球体,把太阳整个给包围起来。然后人类文明就可以生活在这里,完全不用担心面积问题。所有的太阳光一点都不会浪费,事实上,只要球体足够大,阳光并不会很刺眼,球的内测永远都是白天,想看星空的话,可以去球的外侧看。

达到这一步后,AI的征程将是星辰宇宙,AI可以带着人类的DNA信息,用20年的时间飞到十光年外(物理学设想的激光推进飞船,理论上会到光速的一半)的星球,用DNA信息现场组装人类,然后再出发。

那样的话,地球文明几乎就是以光速去殖民宇宙,文明扩散的唯一限制是暗能量导致的宇宙膨胀。

这一切可能都跟人类无关了。如果AI主导一切,人的位置在哪里?人存在的意义在哪里?

如果我们不想被AI代表,就想老老实实在地球过日子。但有些日子不是你想过就能过的,你会遇到各种灾难的挑战。

100年之内,迫在眉睫的灾难就是核战争。1000年之内,地球很可能会出现灾难性环境。10000年范围内,很有可能遭遇小行星的撞击,把地球文明毁灭一半。十万年内,很有可能遭遇超级火山的爆发,也会毁灭一半的地球文明。在一百万年或一千万年的尺度上,很有可能遭遇一次巨大的小行星的撞击,毁灭整个地球。就算人类躲过了这些,太阳的寿命也是有限的,十亿年后,太阳会变的特别热;一百亿年之后,太阳会变成红巨星,膨胀到把地球淹没。

没有AI,人类文明不会有未来。把未来交给AI,也许文明的寿命可以和宇宙相等。只不过到时候还是“人类”文明吗?

AI愿意去做这一切吗?AI会不会有独立的意志,还会不会在乎人类文明?

三、生命3.0的愿景

我们人类为了到达目标,可以通过拥有的独立意识,不断的调整自己到达目标。通常情况下,我们认为只有生物才有目标,无生命的东西没有目标。

从物理学的视角来看,每个物理过程都是为了达成某种目标。比如物理学“费马原理”,不管是反射还是折射,光在两点之间走的那个路径,恰恰是所有路径之中用时最短的那一条。因此可以解释一束光从空气射入水中会发生一次折射,是因为光在空气中的速度更快。光的目标就是用最短时间从这一点到达另一点。

光在此时是没有意识的,它根本不知道自己想要什么。意识是一个东西的主观体验,外在只能根据它的行动判断它有没有目标。根据行动,我们完全可以认为光是有目标的。在物理学的定义中,所有的物理定律都可以用这种“目标论”表述:真实发生的物理过程总是在“优化”某个量,也就是总是为了把一个什么物理量最大化或者最小化。

在这种宏观的视角下,泰格马克认为,宇宙的首要目标来自热力学第二定律,就是把“熵”最大化。

熵是一个物理概念,通俗来理解可以认为它描写的是一个体系的“混乱”程度。简单表述的概念就是:整齐有序就是低熵,杂乱无章就是高熵。

整齐有序的是低熵

哪边是低熵?

热力学第二定律说,封闭系统的熵总是增加。从这个视角来看,宇宙的秩序总是在减少,混乱总是在增加。一直到最后,所有的秩序都会变成混乱,到处温度都一样,再也没有什么值得流动的了,整个宇宙就寂静了,也就是所谓的“热寂”。

有一个问题是,宇宙刚刚开始的时候,各处都是一锅粥,那现在的宇宙为什么多姿多彩?这是因为有引力。

引力总是把东西聚焦起来,正因如此,宇宙中才会有恒星和行星,恒星发光发热,也就是我们眼中看到的宇宙中美丽的秩序。

我们不禁会问:引力是否让熵减少了?

事实是引力仍然让熵增加。当我们计算系统的总熵的时候,不能光看物质的排列是不是有序,还得考虑能量。一堆物质因为有引力的吸引而聚在一起,这个过程中它们的动能会增加,动能转化为热量向周围散发,考虑到热量的散发,总的熵是在增加。

引力只会让热寂来的更快,但也恰恰因为有引力,我们在通往热寂这条路变的更有趣了。这就是宇宙的次要目标:它有时候喜欢在局部制造一些有序的结构。这里的关键词是“局部”,局部更有序、局部的熵减少了,可是整体的熵仍然在增加。所以宇宙的次要目标和首要目标并不矛盾,次要目标就是为了加速完成首要目标。

宇宙的这种在混乱中自动产生局部的秩序的过程,叫做“自组织”。

2013年,麻省理工学院一个当时只有31岁的教授杰里米英格兰提出一个非常厉害的理论,叫做“耗散驱动的适应(dissipaTIon-driven adaptaTIon)”。

基本原理就是:如果有一群原子是被某个外部能有驱动的,那么这些原子就会逐渐组织起来,形成某种结构,而这个结构能够最大响度地吸收和消耗能量。

生命就是这么一种自组织的原子集合。生命体非常有秩序,从周围获得能量,同时又把能量消耗。只要环境合适,生命的出现几乎是不可避免的。

生命的存在代表秩序,但并没有违反宇宙“制造混乱”的首要目标。1944年,物理学家薛定谔在《生命是什么》里解释:生命的确减少了自己的熵,但是它这么做的时候一直在加剧增加周围环境的熵。你做的每一个动作,都在让整个宇宙的熵进一步增加。因为你的存在,虽然宇宙的局部增加了秩序,但是整体来说是加剧了混乱。

中国古人爱说“天道”。如果真的有天道,物理学角度总结的宇宙的目标,就是天道。这时,我们常常会讲的“顺应天道”,其实是不符合天道的。我们讨厌混乱,可混乱是宇宙的首要目标。我们喜欢秩序,可秩序只能进一步加剧混乱。

人生充满矛盾,而AI的矛盾也许更大。

产生生命是宇宙的小目标,生命让自己跟有序,客观上就能让宇宙更无序。但是每个生命都有制造混乱的本能,但是一个生命体制造混乱的力量太小了。所以生命体有一个本质功能:复制。也可以叫繁殖。

生命的繁殖是一个具有正反馈特点的功能:越是愿意繁殖的生命,他留下的后代就越多,而他的后代也会愿意繁殖,最后结果是所有的生命都把繁殖当成第一要务。繁殖这个目的,被演化以编码的形式写在了每个生命的基因之中。

人类毕竟是有自主选择权的生物,并没有义务按照生命1.0的原始设定做事。人类在为了繁殖为目标的演化过程中产生了一个功能,叫做“感情”。满足自己感情的需求,就成了我们在繁殖这个首要目标之外的次要目标。

所以,就连我们人类也常常“违背初心”,不知道人生的大目标是什么,那么如何能让AI知道呢?

也许你会说,我们可以给AI一个明确的目标。那么,问题在于,等到AI发展壮大之后,它会不会“创造性地”完成你的任务。

有人设想过一个可怕的情景。比如说,你告诉AI,计算圆周率,结果越精确越好。你说完这句话就不管了,结果AI居然劫持了整个人类,造了一个非常厉害的系统,把整个太阳系变成超级计算机…就是为了计算圆周率。而这只不过因为圆周率是个不管你调动多少资源都算不完的“超越数”!

泰格马克这本书中有一个关键问题就是:如果人的初心都可以被忘记的话,你怎么能确保AI不忘初心呢?

泰格马克的答案是跟人类一样,也许“初心”对特别高级的AI来说根本不重要。人的首要目标本来是繁殖,后来为了完成首要目标,我们有了各种次要目标,表现为各种感情,结果人就转为专门追求哪些感情了。也许你可以给AI设定任何首要目标,而为了完成首要目标,AI必然要变大变强,那么变大变强就成了AI的次要目标。

不管为了完成什么首要目标,AI的次要目标基本很明确的都会有四个需求:自我保护、获取资源、获取信息、满足好奇心。

有人说,我们应该给AI编写一套道德准则。但泰格马克对此不以为然:要知道连人类自己都不知道什么样的道德定律是完美的。

AI真的能产生意识吗?

我们先回归到“意识”这个问题本身。这是当今无数最聪明的人最想搞清楚的问题,也是科学家解决不了、哲学家反复思考、各路牛人一直在吵的问题。

万维钢老师结合泰格马克的《生命3.0》这本书,介绍了一些关于“意识”的最新认识,让你理解现在学术界对“意识”都认识到了什么程度。

我们想象一辆自动驾驶的汽车。这辆车接受外界信息,处理信息,用各种复杂的算法对下一步行动作出决策,它的确会思考。但这是意识吗?我认为不是。你上车了,它毫无感觉。把你送到地方,任务完成了,它也不会高兴。没油了,不会觉得饿。遇见危险,也不会害怕。它只是一台机器,跟玩具汽车没油本质区别,只是多了点智能而已。

那么我们跟机器的区别到底在哪里?显然我们有感情。我们去找东西吃,是因为我们感受到了“饿”。我们如果遇到危险,不单知道避让,而且还会产生“害怕”的感情。这些感情似乎起到了“思维快捷方式”的作用,之所以会饿,是因为感到难受。之所以会害怕,是因为害怕了才能学会避免风险。

感情无非也都是算法,不是吗?

赫拉利《未来简史》的时候说过,人也许并不需要感情算法。生物学家对人研究得越深,就越是觉得感情似乎是多余的东西。

人在绝大多数情况下的动作都是本能的反应,并不需要感情。比如你正在走路,一个足球向你头部高速飞来,你本能地就会躲开,整个动作是无意识的。这些本能反应就跟自动驾驶汽车一样的。人类完成可以像机器人一样生活,饿了就去吃饭,冷了就加件衣服,一切都是本能,不需要附带感情。

那么为什么饿了不但知道要去吃饭,还要感受到痛苦?这个痛苦的感觉,到底是个什么东西?

准确地说,我们所有的感情,乃至于不仅仅是“感情”,包括所有的“感觉”,都是对经历的各种事物的“主观的体验”。

这也是泰格马克在本书中对意识的定义:意识,就是主观体验。

哲学家对于意识的问题看的很通彻。

1929年,美国哲学家拉伦斯刘易斯提出一个概念,描写人类最基本的感受,叫做“感质”。也就是意识的最基本单位。

比如你看到一个简单的红色方块。也许你会想到鲜血,也许你会想到国旗,但总有一种红色是你从来都没有见过的,你无法跟任何文化符号练习,但是当你看到它时,你还是会有一种感觉,这种感情也许是喜欢,也许不是,但就是有一种感觉。对计算机而言,红色无法就是一个光学信号,编码一下就可以了。但对你来说,红色并不仅仅是一个光信号,他还有“感质”。

哲学家丹妮尔丹内特,说“感质”有四个特征:

1、不可言传。

2、感质是内在的。

3、感质是私人的。

4、可以直接意会。

想象一下假设有一个色盲症患者,他眼中的颜色都是各种灰色。你像他描述了红色的性质,他烂熟于心,知道红色代表的各种文化含义,他甚至能从眼中一大堆灰色中准确找到红色,但是他就是不知道红色到底是什么感觉!直到有一天,他的色盲症被治好了,他一下子看到了彩色的世界,这时不用你说任何话,他马上就感受到红色!

 

色盲症治疗好的那一刻

这就是意识。意识,是目前为止人和机器的一个本质区别。机器没有主观体验。意识,给了我们“自我”,给了我们“活着”的感觉。

所以,AI研究的最高级别问题,就是意识。

泰格马克把先我们关于意识的问题分为四级。

一、“简单”的问题:大脑是怎么处理信息的?大脑的智能到底如何工作?这些问题似乎可以用计算机原理解释。

二、“比较难”的问题:一个有意识的系统和无意识的系统,从物理学来说它们到底有什么区别?

三、“更难”的问题:物理性质是怎么决定感质的呢?

四、“特别特别难”的问题:为什么宇宙里面居然有意识的存在?

现在的科学家的确是非常不了解意识到底怎么回事,但确实有了一些进展。

首先,有意识的行为很少。人的大部分思维、动作和行为都是无意识的,有意识的只占极少数。人类的日常活动中,真正有意识的大概只有你说的话,而且很多遣词造句还都是不假思索的脱口而出。人的自动行为和有意识行为之间,并不存在一个明显的界限。一件事情,当你熟练了,就可以变成自动化无意识的了。

其次,意识到底存放在哪里?

如果你和正常人的思维一样的话,应该看到其中有五个点是凸起来的,三个点是凹进去的。好,现在请把这张图倒过来,这时候你再看,变成了三个点凸出来,五个点凹进去的。这种前后不一致,是因为这些点给你的感觉是一种主观的体验。因为我们平时的光源,都是在上方,所以你假设光线是从上往下照的,如果一个圆点上面比较亮,下边比较暗,你就会认为它是凸出来的。由此可见,凹凸不是你的眼睛看出来的,而是大脑意识处理的结果。像这种视觉错觉实验有很多。由此也证明了,眼睛只负责传递画面,真正负责解读画面的是大脑的意识。

你可以倒过来看

使用这样的办法,科学家把很多区域都排除到了意识之外。人类的意识存在于我们的大脑中,但到底在大脑的哪个区域目前还没有明确答案。

意识的反应很慢。现在请你眨一下眼睛,从你接受指令到实施眨眼睛动作,至少需要1/4秒的时间。可是换一种方式,如果你的眼睛睁着,突然有飞虫往你的眼睛这边飞过来,你会用最快的速度把眼睛闭上,在你意识到飞虫之前,你已经眨眼了。由此得到,眼皮虽然没有意识,但它却有一个高度自动化的本能防御机制,眼皮是个智能的东西。

手也是这样。意识的反应会受到举例的影响,从腿上传递一个信号到大脑,比从眼角传递一个信号到大脑,就要慢许多,因为距离更远。声音信号的传递时间比视觉信号更快,因为我们解读一个视觉信息要花更多的时间。

如此说来,意识只存在于大脑深处的某个区域,而身体各部分都有自己的智能。换句话来说,人体并不是一整台计算机,而至少是很多台计算机的联网。

美国威斯康辛大学的神经学教授朱利奥托诺尼提出了“整体信息论(Integrated InformaTIon Theory,IIT)”。这是一个高度数学化的理论,号称能识别什么东西有意识。

按照这个理论,如果你能把一个系统分成几个模块,而几个模块之间并不怎么交流,那这个系统肯定是没有意识的。一个有意识的系统必定是一个不可分割的整体。

目前IIT理论已经有了实际应用,但还存在很大的争议。但假设你相信IIT是对的,可以明确的告诉你:当前的计算机架构永远无法产生意识。这是因为这种计算机架构的各个部分之间并没有多少全局的连接。

未来的AI也许会有意识,只要我们能发明合适的计算机架构。毕竟IIT只是对系统信息结构的要求,并不在意信息的介质,那AI就不一定非得像人脑那样有血有肉才有意识。

IIT给AI的意识能力,提出了一个限制。因为IIT要求信息高度整合,组成AI的各个部分之间要有很多横向的信息交流,而信息交流的速度受到光速的限制。这就意味着不管技术先进到什么程度,也不可能出现一个神级AI直接一统宇宙!因为信息传递太慢了。

是的,我们仍然不知道,AI到底能不能有意识。我们最好指望它有意识。而且因为AI能接收和处理的信息比人多得多,它会有比人丰富的多的体验。

泰格马克的《生命3.0》说完了。

泰格马克说,不是宇宙给了生命意义,而是我们这些有意识的生命给了这个宇宙意义。人类文明最坏的结局,就是要么人类灭亡,要么被没有意识的僵尸AI取代,留下一个空洞的、毫无意义的宇宙。

结尾借鉴万维钢老师的一段感悟:

所有效率最终归结于目的,

所有目的最终归结于价值观,

所有价值观最终归结于感情,

所有感情最终归结于意识。

有了意识,这个世界才有了好坏,才有了幸福,才有了意义。

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

9月2日消息,不造车的华为或将催生出更大的独角兽公司,随着阿维塔和赛力斯的入局,华为引望愈发显得引人瞩目。

关键字: 阿维塔 塞力斯 华为

加利福尼亚州圣克拉拉县2024年8月30日 /美通社/ -- 数字化转型技术解决方案公司Trianz今天宣布,该公司与Amazon Web Services (AWS)签订了...

关键字: AWS AN BSP 数字化

伦敦2024年8月29日 /美通社/ -- 英国汽车技术公司SODA.Auto推出其旗舰产品SODA V,这是全球首款涵盖汽车工程师从创意到认证的所有需求的工具,可用于创建软件定义汽车。 SODA V工具的开发耗时1.5...

关键字: 汽车 人工智能 智能驱动 BSP

北京2024年8月28日 /美通社/ -- 越来越多用户希望企业业务能7×24不间断运行,同时企业却面临越来越多业务中断的风险,如企业系统复杂性的增加,频繁的功能更新和发布等。如何确保业务连续性,提升韧性,成...

关键字: 亚马逊 解密 控制平面 BSP

8月30日消息,据媒体报道,腾讯和网易近期正在缩减他们对日本游戏市场的投资。

关键字: 腾讯 编码器 CPU

8月28日消息,今天上午,2024中国国际大数据产业博览会开幕式在贵阳举行,华为董事、质量流程IT总裁陶景文发表了演讲。

关键字: 华为 12nm EDA 半导体

8月28日消息,在2024中国国际大数据产业博览会上,华为常务董事、华为云CEO张平安发表演讲称,数字世界的话语权最终是由生态的繁荣决定的。

关键字: 华为 12nm 手机 卫星通信

要点: 有效应对环境变化,经营业绩稳中有升 落实提质增效举措,毛利润率延续升势 战略布局成效显著,战新业务引领增长 以科技创新为引领,提升企业核心竞争力 坚持高质量发展策略,塑强核心竞争优势...

关键字: 通信 BSP 电信运营商 数字经济

北京2024年8月27日 /美通社/ -- 8月21日,由中央广播电视总台与中国电影电视技术学会联合牵头组建的NVI技术创新联盟在BIRTV2024超高清全产业链发展研讨会上宣布正式成立。 活动现场 NVI技术创新联...

关键字: VI 传输协议 音频 BSP

北京2024年8月27日 /美通社/ -- 在8月23日举办的2024年长三角生态绿色一体化发展示范区联合招商会上,软通动力信息技术(集团)股份有限公司(以下简称"软通动力")与长三角投资(上海)有限...

关键字: BSP 信息技术
关闭
关闭