什么是可解释的人工智能

可解释的人工智能意味着人类可以理解IT系统做出决定的路径。人们可以通过分解这个概念来探究人工智能如此重要的原因。

虽然人工智能应用越来越广泛，但关于人工智能也有一些误解。有些人采用“黑盒”这个术语描述人工智能，认为其内涵是神秘和不祥的部分，其“X档案”的内容比IT 日常业务还要多。

然而，像机器学习或深度学习这样的人工智能系统，确实需要人工输入，然后在没有可解释的场景的情况下产生输出（或做出决定）。人工智能系统做出决定或采取行动，人们不一定知道它为什么或如何达到这个结果。人工智能系统就是这么做的，而这就是人工智能的黑盒模型，它确实很神秘。在某些用例中应用很好，而在其他情况下却不一定。

PubNub公司首席技术官兼联合创始人Stephen Blum表示：“对于像人工智能驱动的聊天机器人或社交信息的情感分析这样的小事情，而人工智能系统是否在黑盒中运行并不重要。但是对于人类具有巨大影响的用例（例如自动驾驶车辆、飞行导航、无人机、军事应用）能够理解决策过程是至关重要的任务。随着人们在日常生活中越来越依赖人工智能，需要能够理解其思维过程，并随着时间的推移做出改变和改进。”

输入可解释的人工智能——有时以缩写词XAI或类似术语（如可解释的AI）来表示。顾名思义，它可以被人类解释和理解，虽然这是一种有点简化的方式，是一种可解释的人工智能。

以下是最近的HBR公司分析服务研究报告《现实世界人工智能的执行指南》中更明确的定义：“机器学习技术是一种使人类用户能够理解、适当信任和有效管理的人工智能。”

而包括美国国防部高级研究计划署（DARPA）在内的多个组织正在努力解决这个问题。

“信任”这个词很关键。为此，人工智能专家Blum和其他专家提出了可解释的人工智能定义，并解释这一概念对于从金融服务到医学等领域的人工智能工作的组织至关重要的原因。这种背景可以加强组织成员和团队的理解，并帮助组织中的其他人员理解可解释的人工智能及其重要性。以下先从定义开始。

简单定义的可解释人工智能

SAS公司执行副总裁兼首席信息官Keith Collins说，“‘可解释的人工智能’术语是指人类能够通过动态生成的图表或文本描述轻松理解人工智能技术做出决策的路径。”

PubNub公司首席技术官和联合创始人Stephen Blum说，“可解释的人工智能可以等同于数学问题中的‘展示工作’。所有的人工智能决策过程和机器学习都不是在黑盒中进行的——它是一种透明的服务，具有被人类从业者解剖和理解的能力。”

Sutherland公司首席分析官Phani Nagarjuna说，“可解释的人工智能是我们可以解释人工智能的结果，同时在人工智能达到结果的路径上能够清楚地解释从输入到结果。”

SPR公司数据分析师Andrew Maturo说，“可解释的人工智能是一种机器学习或人工智能应用，伴随着易于理解的推理，它如何得出一个给定的结论。无论是通过先发制人的设计还是回顾性的分析，都在采用新技术来降低人工智能的黑盒不透明性。”

CognitiveScale公司创始人和首席技术官Matt Sanchez说，“简单来说，可解释的人工智能意味着人工智能在其操作中是透明的，这样人类就能够理解和信任决策。组织必须问这个问题——那么能解释其人工智能是如何产生这种特定的洞察力或决策的吗？”

为什么可解释的人工智能很重要

Sanchez的问题引发了另一个问题：为什么可解释的人工智能很重要？其原因是多方面的，这可能对人们、企业、政府和社会产生巨大影响。在此考虑一下“信任”这个词。

IBM Watson物联网高级产品经理Heena Purohit指出，人工智能（IBM称之为“增强型智能”）和机器学习已经在以复杂的方式处理大量数据方面做得非常出色。但Purohit说，人工智能和机器学习的目标是帮助人们提高工作效率，做出更明智、更快速的决策——如果人们不知道他们为什么要做出这些决策，这就更加困难了。

Purohit说：“由于人工智能的目的是帮助人们做出更高的决策，当用户改变行为或根据人工智能输出（或）预测采取行动时，企业就实现了人工智能解决方案的真正价值。但是，为了让用户改变自己的行为，就必须相信系统的建议。当用户感觉到有能力并知道人工智能系统如何得出建议（或）输出时，就会建立这种信任。”

从组织领导的角度来看，可解释的人工智能在某种意义上是让人们信任并购买这些新系统，以及它们如何改变人们的工作方式。

“看到‘人工智能黑盒’问题仍然存在，我现在确保我们的人工智能解决方案是可以解释的。”Purohit补充说，“在设计人工智能产品以确保可以解释人工智能时，我想问的一个问题是：人工智能是否使人类容易理解、检测和理解其决策过程？”

可解释的人工智能有助于识别人工智能偏见和审计

可解释的人工智能对于信任和透明度至关重要的其他领域将越来越重要，例如任何人工智能偏见可能对人们产生有害影响的场景。

SPR公司的Maturo说，“尽管这种解释的任务很麻烦，但这是一项值得努力的尝试，通常可以揭示模型中的偏见。在许多行业中，这种透明度可能来自法律、财政、医疗或道德义务。在可能的情况下，模型看起来越不神奇，它的用户就会越多。”

可解释的人工智能对于问责制和可审计性也很重要，它将（或者至少应该）仍然存在于组织的人员中，而不是其技术中。

“企业和个人总是需要进行决定。只是按照算法推荐的做法并不具有说服力。”Ness公司数字工程首席技术官Moshe Kranc说。Kranc指出，可解释的人工智能对于识别错误的结果是至关重要的，这些错误的结果来自于诸如有偏见或调整不当的培训数据和其他问题。能够跟踪人工智能系统得出不良结果的路径可以帮助人们解决潜在问题，并防止它们再次发生。

“人工智能技术并不完美。尽管人工智能的预测可能非常准确，但模型总是有可能出错。”Clara Analytics公司数据科学主管Ji Li说，“人工智能技术具有可解释性，帮助人类快速做出基于事实的决定，但允许人类仍能使用他们的判断力。有了可解释的人工智能，人工智能将成为一种更有用的技术，因为人类并不总是相信或从不相信预测，但却不断帮助改进预测。”

事实上，可解释的人工智能最终将使人工智能在商业环境和日常生活中变得更有价值，同时也防止了不良后果。

“可解释的人工智能对业务很重要，因为它为我们提供了解决问题的新方法，适当地扩展流程，并最大限度地减少人为错误的机会。提高的可视性有助于增强理解，并改善客户体验。”SAS公司首席信息官Collins说。

Collins指出，这在医疗和银行等受到严格监管的组织尤为重要，这些组织最终需要能够展示人工智能系统是如何做出决定或结果。而即使在不需要审计其人工智能的行业中，可解释人工智能的核心信任和透明度也是值得的，他们可以具有良好的商业意识。

“在采用可解释的人工智能的情况下，人类增强了技术的知识和经验，以调整和加强分析模型以供将来使用。”Collins说，。“人类的知识和经验有助于学习技术，反之亦然。这是一个持续的反馈循环，可以成为企业的一种动态资产。”