未雨绸缪的防范，给人工智能戴上“紧箍咒”

刚刚过去的一年，人工智能带来的冲击一波接着一波：继谷歌人工智能程序“阿尔法狗”碾压中韩顶级棋手后，全球第一个被授予“公民身份”的机器人索菲亚又扬言“要毁灭人类”，接着出现了会后空翻的机器人“阿特拉斯”，以及可执行“斩首”任务的微型无人机纷纷登台亮相……

在人工智能高速发展的今天，正如许多专家所预言的那样，战争机器人可能是继核武器之后，又一把悬在人类头上的“达摩克利斯之剑”。这引发人们深思：人工智能究竟会被“驯服”，成为人类的朋友？还是会“叛逆”，给人类带来无尽的灾难？

难以抗拒的诱惑

高度智能化突破人类生理极限

人工智能作为物联网、大数据、先进算法和强大计算能力支持下的一种“群技术”，通过赋予“物”以人的智力，模拟和扩展人的智慧，辅助甚至代替人实现多种功能，进行认识、分析、决策、行动等活动。其核心优势是高度自主性，能够较少或完全不需要人工干预就可完成复杂、繁重和精确性高的任务。

人工智能可以使人从繁重的重复性工作中解放出来，专注于发现性、创造性的工作。比如，在以前的指挥决策中，指挥人员85%的时间用于情报处理分析，只有15%的时间考虑作战，而采取智能化情报处理系统后正好相反。现代战场态势高度复杂、瞬息万变，完全依赖人的认知去理解战场态势变得越来越困难。而运用智能化数据处理技术，就可以在大数据中发现复杂事物间的关系，从本质上突破人类分析联系事物的局限性，还可依据对大量战场数据的分析，提供可行性的决策建议。

人工智能具备自主学习能力，且运算精确度高，不受环境与心理等因素影响。2017年12月14日，美国宇航局宣布利用谷歌人工智能机器人的学习能力，对开普勒太空望远镜收集的3.5万个可能的行星信号、140亿个数据点及大约2万亿个行星轨道进行分析，发现了首个几乎和太阳系一样的星系，其效率和准确性远超传统的分析方法。同样，高度自主化的无人作战系统，在后方操纵人员的监控下，能够自动搜索和跟踪目标，自主识别环境并规划机动路线，快速捕捉战机实施精确打击。

人工智能还可通过计算机视觉、语音处理、自然语言处理等技术，使系统更加精准地理解人的行为并按照人的意志行动,实现人机高度融合。比如，在智能控制领域，能够通过语音方式下达指令，由系统转化为机器语言，实现作战命令的快速下达和武器装备的精确操控。在单兵助力方面，外骨骼系统可通过感知人体运动意图，提升士兵的承载携行、搬举能力，同时又能实现人机一体化，保持士兵的高度灵活性。

可以预见的风险

人工智能带给人类巨大威胁

美国“脸书” CEO马克·扎克伯格曾放言：“人类当下面临的最大威胁是什么？无疑是人工智能！”但就当前来讲，人工智能的“威胁”还不存在，因为它只专注于完成某个特别设定的任务，比如下围棋就仅仅会下围棋。而未来超过人类智慧的超人工智能具备知识迁移能力，可以充分利用已掌握的技能解决新问题，这就有可能给人类造成巨大威胁。

实现高度自主并可能“失控”。未来超人工智能开始具备自主思维意识，能够像人类一样独立思考，并自我决定如何行动。因此，自主智能机器系统虽然由人类设计制造，但它们的行为却不受人类的直接指令控制，而是可以基于在不同情境中对其所获得的信息进行分析、判断和决策，形成不需要人类介入或干预的“感知—思考—行动”模式，并最终超出创造者预料或事先控制的范围而失控。

这种高度智能化的系统还能够通过学习进行机器再造，可以快速复制或再生其他新的人工智能体。据专家推算，一个失去控制的正在自我复制的纳米机器人，完成130个复制周期只需要3个半小时，考虑到纳米机器人向外移动扩张等因素，最多只需数周就可以“摧毁”地球上的一切生物。这也就是为什么霍金多次“告诫”人们：人工智能一旦脱离束缚，就会以不断加速的状态重新设计自身。而人类由于受到漫长生物进化的限制，无法与之竞争，最终或将被取代。

遭遇非法入侵可能被“黑化”。人工智能作为一种新兴的技术领域，一般来说，没有安全漏洞是不可能的。而如果有人利用这种漏洞控制智能系统或机器人去实施破坏活动，这样的后果是极其可怕的。而且，随着人工智能的发展，其他工具包括人工智能的技术开发和复制也变得越来越容易。也就是说，未来任何人都可以使用该系统去实现自我复制或繁殖其他人工智能系统。因此，超人工智能系统一旦被非法获取或操纵，将产生巨大的破坏力量。

爆发机器战争造成武力“滥用”。未来大量智能化无人系统将运用于战场，“死伤”的主要是没有生命并可以大量再造的“智能机器”，使战争成本大大降低，并能够实现作战人员的“零伤亡”。战争的政治、外交风险明显降低，这就可能会因战争顾虑和压力减少而降低战争决策的门槛，导致军事强国在武力使用上更加随意，从而使战争的爆发更加频繁，战争从“最后的选择”转变为“首先的手段”。为此，许多科学家呼吁禁止“致命性自主式武器”的研发和使用，并警告这将引发全球性人工智能“军备竞赛”，人类社会将可能深陷战争泥潭。

未雨绸缪的防范

给人工智能戴上“紧箍咒”

霍金曾这样评价人工智能：“它既可能成为人类迄今发生过的最好的事，也可能成为最糟糕的事”。我们既不能盲目乐观，也不能因噎废食，必须及早给未来人工智能的发展套上必要的安全、伦理等方面的“紧箍咒”，同时又不能阻碍技术创新和人类社会进步的步伐。

从技术安全角度建立共同遵守的发展准则。根据人工智能可预见的风险，建立世界范围内的人工智能发展准则，对研究范围、内容、目的、用途等各个方面进行规范，确保安全、可控地发展人工智能。比如，对于智能系统到底应该实现到什么样的自主程度，赋予其多大的自主权利以及哪些方面不能实现等进行明确限制。2017年1月，在美国加利福尼亚州举办的阿西洛马人工智能会议上，近千名人工智能和机器人领域专家已联合签署了《阿西洛马人工智能23条原则》，呼吁世界在发展人工智能时共同遵守，成为人工智能安全、有序发展的良好开端。

从道德伦理角度建立科学严格的评估机制。人工智能主要是基于算法，而算法在本质上是“以数学方式或计算机代码表达的意见”，是设计者、开发者的主观创造，有可能将自己的偏见、价值观嵌入算法系统，制造出不符合社会道德规范的智能机器，这就需要对其进行严格评估以确保安全。2016年12月，美国电气和电子工程师协会启动了人工智能伦理工程，提出对嵌入智能系统的规范和价值进行评估，以确定其是否和现实中的道德价值体系相一致。我国在《新一代人工智能发展规划》中也提出“建立人工智能法律法规、伦理规范和政策体系，形成人工智能安全评估和管控能力”。

从规范运用角度建立具有法律约束力的普遍性制度条约。任何一种先进技术能否产生威胁，主要看使用者出于何种目的、如何运用。诚然，面对人工智能的巨大优势和潜在利益，特别是在涉及国家安全领域方面，直接禁止使用人工智能技术是不现实的。这正如国际上禁止或限制使用“致命性自主武器系统”一样,至今无法取得任何实质性进展。因此，应呼吁建立具有法律约束力的国际性条约，对某些特殊功能的智能系统风险和技术扩散等进行规范和预防。