独家对话陈小平：人工智能会失控吗？

编者按

近年来，伴随人工智能在各领域的应用不断向前推进，社会对之的看法呈现出两极分化的态势：一方面，人们享受着人工智能发展带来的种种便利；另一方面，又有很多人对未来人工智能可能造成的威胁感到深深困扰。而在中国科学技术大学机器人实验室主任陈小平看来，人工智能技术失控的风险被普遍高估了，当前需要重点防范的是一些不够成熟的、不完全符合伦理规范的人工智能技术被误用或滥用，从而造成不良甚至恶劣的伦理后果。随着人工智能伦理建设步入第三阶段，人工智能伦理体系规划的重要性已经开始突显出来。

T=信睿周报

C=陈小平（中国科学技术大学机器人实验室主任）

T：2019全球人工智能技术大会5月底在南京落幕，本次大会的一个重点议题是探讨“全球视野下的人工智能伦理”。目前全球范围内多国都在针对人工智能伦理制定一系列标准或限制。2019年4月欧盟委员会发布了人工智能伦理准则，列举了“可信赖人工智能”的7个关键条件。您如何评价欧盟的这个准则？中国人工智能伦理规范制定的情况如何？

C：人工智能伦理建设已经走过两个阶段。第一阶段是人工智能伦理必要性的讨论，从专业角度说，美国学者起了带头作用；从更广泛的背景看，尤瓦尔·赫拉利的《人类简史》发挥了重要的推动作用。第二阶段是人工智能伦理准则的讨论，欧盟走在前面，中国和其他一些国家也积极参与其中。在2019全球人工智能技术大会上，5月26日全天举行了“全球视野下的人工智能伦理”论坛，中国人工智能学会理事长李德毅院士在论坛致辞中指出：本次论坛有里程碑意义。据我理解，这个“里程碑”指的是：本次论坛在国际上首次提出了人工智能伦理体系规划问题，这意味着人工智能伦理建设开始进入第三阶段。

《人类简史》，尤瓦尔·赫拉利 著，林俊宏 译，中信出版集团，2017年

在第二阶段，欧盟提出了人工智能伦理的7条准则，包括：确保人的能动性和监督性，保证技术稳健性和安全性，加强隐私和数据管理，保证透明度，维持人工智能系统使用的多样性、非歧视性和公平性，增强社会福祉，加强问责制。清华大学人工智能与安全项目组提出了6条准则：福祉原则、安全原则、共享原则、和平原则、法治原则、合作原则。据不完全统计，迄今已有40多个机构或组织提出了各自的人工智能伦理准则建议。总体上看，所有这些准则建议是基本一致的。

因此我们认为，人工智能伦理准则讨论阶段已达成共识而基本结束了。在这些共识的基础上，人工智能伦理建设需要进入第三阶段，即人工智能伦理体系规划的讨论。

那么，“人工智能伦理体系”与“人工智能伦理准则”有什么不同？现在开始讨论人工智能伦理体系，有什么必要性和紧迫性？我认为，至少有两个关键问题是伦理准则无法回答、必须通过伦理体系加以回答的。

第一，任何伦理准则都不可能自我执行，必须借助于伦理体系中的一系列相互配合的运作机制才可以得到落实，这就如同静态的法律规范必须在完整的法制体系中才可以得到运转和落实，而法制体系是由立法、司法、执法等机制组合而成的。当然，伦理体系的构成不可能完全照搬法制体系的模板，所以必须开展人工智能伦理体系中运作机制的讨论。

第二，在人工智能伦理体系中，需要设立一种新型研究——伦理性研究——作为保障，否则再好的人工智能伦理准则也会沦为空谈。传统技术都不是自主的，而人工智能可以具有完全自主性。完全自主性意味着，人工智能可以完全独立于人类而实现现实世界中复杂任务的感知、决策和行动。有分析认为，具有类似于人的自我意识或其他某些能力/品质的完全自主的人工智能系统一旦被研制出来，它们就会独立地自我繁殖和自我进化，并突破任何伦理规范和人类控制。果真如此，允许这样的人工智能系统被研发出来，就意味着人类将被人工智能统治，也就意味着任何人工智能伦理准则都沦为空谈。

可是，现有这些分析还不是充分的科学论证，所以这种可能性并未得到证实，但有必要认真对待。因此，在人工智能伦理体系中，需要增设一个过去不存在的部门——人工智能的“伦理性研究”，由它的研究结果决定，是否允许对一种人工智能技术进行面向“潜在应用”的技术性研究。伦理性研究的目的，是为了探明某些人工智能技术或品质的潜在禁用，而传统的技术性研究的目的是为了探索技术的潜在应用。只有通过伦理性研究，才能够科学地确定伦理准则的具体内涵，比如禁止或允许什么样的人工智能技术被技术性研究或被商业应用。也就是说，为了坚守人工智能的伦理底线，只有伦理准则或价值观等书面原则，肯定是远远不够的，必须借助于伦理性研究进行安全性审核。

在本次论坛上，我提出了人工智能伦理体系的一种基础架构，如图1所示。这个架构并不包含人工智能伦理体系的全部内容，而是重点回答了上面指出的两个关键问题，以及伦理准则在具体应用场景中如何落地的问题。在这个架构中，人工智能伦理规范划分为三层，从而更具体地规定了三层规范在人工智能社会需求、研究和产业应用大循环中的作用方式，同时也规定了人工智能伦理规范如何根据社会发展、研究进展和应用推进而不断改进、完善和升级的基本方式。

T：人工智能的伦理挑战无疑是当前国内外关注的焦点，恐怕也是引起跨学科讨论最多的话题之一。您近年来曾与多位哲学家探讨过这个问题，有什么感受？

C：近年来，我和哲学、社会科学界有比较多的交流，参加了他们的一些活动。哲学和社会科学界对人工智能等技术伦理的关注和重视是正确的；相对而言，人工智能科研和产业界的重视程度有待提高。另一方面，哲学和社会科学界对人工智能的担忧，特别是对技术失控的担忧，与现实情况存在较大出入。这反映了当前科技传播中的一种普遍现象——过度夸大技术进展和存在风险。现在好像有一种倾向，不夸大的报道就不能引起广泛关注。可是夸大报道带来的副作用很大，在社会上产生大面积的误导，这是非常不利于人工智能健康发展的。

T：在目前公众对人工智能的种种担忧中，您认为哪些被高估了，哪些被低估了。

C：目前情况下，人工智能技术失控（脱离人类控制）的风险被普遍高估了。根据迄今人工智能三次浪潮的技术成果，短期内基本上不可能出现技术失控。当前需要重点防范的是一些不够成熟的、不完全符合伦理规范的人工智能技术被误用或滥用，从而造成不良甚至恶劣的伦理后果。这种情况的严重性被普遍低估了，事实上已经出现了数据隐私、安全性、公平性等伦理问题，这些问题目前没有得到充分的重视和有效的防范与监管。因此，针对数据隐私、安全性、公平性等伦理问题，加强人工智能和相关技术伦理体系建设，强化监管和治理，已迫在眉睫，应该成为当前人工智能伦理研究与治理的重点任务。

T：在您看来，人工智能伦理道德的发展除了在细分领域制定政策、立法、确立标准外，是否需要一个全球的、普适的价值标准？如果需要，建立这个标准的最困难之处是什么？

C：这几年国内外讨论的人工智能伦理准则，比如欧盟的7条和清华大学的6条，基本上都属于“普适价值标准”，而且大家的意见基本上是一致的。所以，仅就人工智能伦理准则本身而言，迄今不存在大的难点。可是，对于这些准则的理解，现在有一种过分关注管控风险、忽视促进发展的倾向，这是不正确的。设立人工智能伦理准则的目的，肯定不仅仅是管控风险，同时也要促进人工智能的发展。

在图1所示的人工智能伦理体系基础架构中，人工智能伦理的基本使命被定义为“为增进人类福祉和万物和谐共存提供伦理支撑”。这个使命本身也是一条伦理准则，不同的是，我把它放在了伦理体系中顶层的位置上，因为它的价值具有更大的普遍性和稳定性。更具体地说，这条基本使命可以指导人工智能伦理性研究，而其他伦理准则未必可以或未必需要用来指导伦理性研究。同时，人工智能伦理性研究可以改变其他伦理准则的内涵，却基本不可能改变这条基本使命的内涵。另外，基本使命概括了其他伦理准则，而其他伦理准则未必能概括基本使命。因此，人工智能伦理的基本使命可以视为“伦理准则的准则”，也就是人工智能的基本价值观。大家能否就这个基本价值观达成一致，还需要进一步交流和讨论。不过，这个讨论应该在人工智能伦理机制架构下进行，这样才更有意义。

近年来，新一轮科技和产业革命开始引起人们的关注。这轮科技革命与以往的一个根本不同在于出现了一种过去不存在的可能性——需要在技术学科中建立以“潜在禁用”为目的的伦理性研究，而以往技术学科的研究都是以“潜在应用”为目的的，自然科学研究则是以“求知”为目的的。因此，伦理性研究是一项新事物，有必要通过广泛的讨论建立共识。这是人工智能伦理体系建设的最大难点之一。

T：回到人工智能本身，一种广为人们所接受的技术中立论认为，技术是柄双刃剑：善心用之，其果也善，恶心用之，其果也恶。您是否认同这种观点？人工智能本身存在善恶吗？

C：现有人工智能技术肯定是中性的，和其他工具一样，只有优劣之别，本身没有善恶之分。这种工具型的人工智能虽然也存在技术风险，但相对来说是比较容易监管和控制的。可是，假设我们考虑“本身有善恶”的人工智能，这种人工智能在理论上是可能存在的。可是，除非人类有切实可行的办法保证这种人工智能必定向善，否则它就有可能突破人类的控制。这种情况再次表明了伦理性研究的必要性：对于有可能突破伦理底线的技术，需要首先进行安全性审核，而不能不管风险如何，先研究出来再说。

T：受大脑神经元的启发，模拟人类神经网络的机器学习成为人工智能研究领域一个快速增长的分支。我们距离创造出能够自主学习并做出判断与决策的、有“脑”的人工智能还有多远？

C：现有人工智能技术主要成果是暴力法和训练法，已经能够在一定范围内自主地做出判断和决策，并在有限范围内超过甚至远远超过了人类的智力水平，比如在博弈（如围棋）问题、规划问题、给定图像库中的图像分类等问题中。可是，如果一个问题或应用场景的边界不明晰，不能被人工智能系统有效地识别，则现有各种人工智能技术的应用普遍面临着“脆弱性”障碍。现在有不少人关注“有脑的人工智能”，其实这种研究早已有之。因此，期待现在开展这样的研究能够找到新的切入点和突破口。需要说明的是，有一种观点认为，只有“有脑的人工智能”才能克服人工智能面临的困难，这个观点值得商榷。这是因为，现有人工智能技术已经可以解决大量实际问题，解决这些问题并不需要“有脑的人工智能”，人类不应出于对“有脑的人工智能”的偏爱，而推迟甚至放弃用现有人工智能技术解决人类面临的一系列重大社会问题。另外，对于某些“有脑的人工智能”，是否需要进行安全性审核，也是一个新课题。

T：人们在生活中似乎倾向于将人工智能与人脑放在一起比较。在您看来，这种对比有意义吗？在评价人工智能发展水平的高低时，有客观标准可依吗？

C：这包含两个问题。第一，把人脑作为人工智能的终级标准（简称“人脑标准”），是否有意义？很多人认为，人脑标准是天经地义的。但实际上，这个问题远远没有那么简单，需要专门的讨论，这里只给出一个粗略的说明。在可预见的未来，任何人工智能只能在各种版本的“图灵机”上实现；同时，任何一个人工智能系统，无论是算法型的还是神经网络型的，无论是通过人工编程还是训练得到的，都是图灵机上的一种“编码”。在这两个基础条件下，“人脑标准”必须回答两个问题：人脑能不能完全归结为图灵机？人的思维机制能不能完全归结为“编码”？目前这两个问题都是未知的。如果两个问题的最终答案是“不能”，那么人工智能就永远“赶不上”人脑。在这种情况下，“人脑标准”很可能是人工智能研究的最大误区和最大障碍。如果两个问题的最终答案是“能”，那么“人脑标准”就是有意义的。当然，还需要考虑时效性，比如，100年内能够实现人脑的有效模拟吗？

第二，如何“客观地”评价人工智能的“智力水平”？是不是可以用人脑作为评价的参照物？众所周知，图灵测试是明确否定以人脑作为评价参照物的，并替代为人在对话中展现的智力行为作为参照物。虽然对图灵测试的批评很多，也提出了大量替代方案，但至今仍无定论，而且大多数替代方案仍然是基于对人工智能系统的外显行为的测量。无论如何，这种测量都是客观的，即使测量和评价的范围有限。这种评价的参照物可以不局限于人的智力行为，也可以用不同人工智能技术或系统之间的相对水平进行评价。

T：您刚刚提到暴力法与训练法，其中训练法因缺乏可解释性，面临“黑箱”问题。在您看来，是否有将人工智能语言透明化的必要？可操作性如何？

C：训练法缺乏透明性和可解释性，这在一定程度上会影响它的应用范围，因为在一些应用场景中，人类无法接受“黑箱”式的解决方案。现在很多研究者在研究这个问题，已取得了一些初步进展，有望在不久的将来取得一定程度的突破，所以这个问题未必如目前人们担心的那么严重。值得注意的反而是：并非任何应用场景都需要透明性或可解释性。所以，我们不应该只追求可解释性，而忽视了不需要可解释性的应用场景。

另外，暴力法的成果都可以用透明或基本透明的人工智能语言表达，所以暴力法不存在“黑箱问题”。现在暴力法的作用没有受到应有的重视，这对人工智能的发展是非常不利的，对中国尤其不利。

T：未来学家雷 库兹韦尔曾做出大胆预测：2045年左右，人工智能将来到一个“奇点”，跨越这个临界点，人工智能将超越人类智慧。您认为这个“奇点”存在吗？

C：其实“奇点”有不同的解释和含义。根据人工智能技术水平和理论基础的研究现状，以“有脑的人工智能”或“有自我意识的人工智能”为标准，在未来20至30年内，所谓“人工智能将超越人类智慧”的“奇点”，基本上是不可能出现的。

不过，另一种意义下的“奇点”是完全可能的，甚至是必然出现的。根据我过去几年的调研和研究，一个实际场景只要符合下面三个“应用条件”，就完全可能用现有训练法或暴力法获得成功应用：第一，封闭性，即场景边界是明晰的，是人工智能系统可以识别的；第二，基础充分性，比如人工智能系统所需的数据和知识已经具备了；第三，失误非致命性，即人工智能系统的运行不会出现致命的失误。在制造业、服务业和其他行业中，存在大量满足这些应用条件的实际场景。

从整体形势上说，人工智能的第三次浪潮已经结束了，而第四次浪潮即将到来，并将在未来10到20年内取得远超前三次浪潮的巨大成功。人工智能第四次浪潮带来三大机遇，形成三大战线，按紧迫性从高到低排序如下：第一战线，现有人工智能技术（以暴力法和训练法为代表）的实际应用；第二战线，人工智能伦理体系建设；第三战线，人工智能的理论基础研究。中国在三条战线上都具有很大优势，在第一战线上具有最大优势。

这里有必要再次强调，在大量边界明晰的实际场景中，现有人工智能技术完全可以成功应用，并不需要“有脑的人工智能”或“有自我意识的人工智能”。在全球范围内，中国拥有最多先进的制造业应用场景，中国对服务业技术升级的需求也是最强烈的，为了应对中国经济转型升级所面临的一系列重大挑战，需要用人工智能技术加以引领和推动。因此，在边界明晰的实际场景中，大面积地开展和实现现有人工智能技术的成功应用，是未来10至20年中国人工智能的最大机遇，是加速中国经济转型升级的重大机遇。只要抓住这个机遇，就必将彻底改变全球人工智能的格局，这将是未来20到30年中最有现实意义的“奇点”。

目前，研究界和产业界对现有人工智能技术应用能力的估计普遍过低，从而导致了巨大的产业空白，而巨大的产业空白正意味着巨大的商业机遇。无论是中国企业还是外国企业，只要能够及时抓住暴力法和训练法的机遇，也就是在满足上述三条件的场景中应用暴力法或训练法，就完全有可能在未来20年甚至10年之内，成为中国乃至世界人工智能产业的巨头。而人工智能伦理体系将为人工智能健康发展及企业成长提供有力的伦理保障。

（原载于《信睿周报》第三期）

新闻推荐

欧洲明批伊朗 暗中仍盼局势降温

英国、德国、法国领导人23日发表联合声明，指认伊朗应为沙特阿拉伯石油设施本月14日遇袭事件承担责任，但同时又重申支持伊朗...