人工智能可解释性如何测试

近年来，人工智能的不断发展已经深刻地影响着人类的各个领域。随着人工智能应用的广泛推广，人工智能不仅需要具备高效的计算和理论算法，同时在实践中也需要遵循一些行为标准，其中最重要的标准之一是“可解释性”。

人工智能可解释性如何测试

人工智能的可解释性使得用户能够理解机器学习模型的工作方式，从而可以有效地调整和优化机器学习的输出结果。在过去的几年中，一些著名的案例表明了缺乏可解释性会对人工智能系统产生不良影响。虽然对于一般不具备专业知识的人群来说，完全理解人工智能背后的技术往往非常困难，但是人工智能的可解释性测试可以帮助人们评估模型并找出其潜在的缺陷。

那人工智能可解释性如何测试呢？从多个角度来分析，首先，我们可以从人工智能算法的到可解释性的分类方面切入。其中，人工智能算法的可解释性主要有两类，一类是直接可解释性的算法，这种算法的结果可以被人类易于理解的语言直接表达出来；另一类是间接可解释性的算法。由于序列和图形数据密集的特性，这些算法的输出不能直接以语言形式表达，需要采用特定的工具和方法来解释其工作原理。

其次，我们还可以从可解释性测试的技术角度来分析。现阶段，常见的可解释性测试技术主要包括：对抗样本攻击、因果推理、可视化解释和可重复性分析等。这些技术都致力于帮助开发人员和用户了解人工智能系统的工作原理，从而能够更好地理解和调节系统的行为。

另外，也可以从基准测试的角度来考虑人工智能可解释性。现如今，人工智能可解释性的基准测试主要由人工智能研究者、开发人员和组织制定，这些标准旨在提高人工智能算法的可解释性和整体的性能。这些基准测试包括各种各样的指标和标准，例如准确性、精度和灵敏度等等。

可以看出，人工智能可解释性测试涉及到多个方面和技术，在实践中需要采用多种方法和技术手段。这些技术和方法致力于评估人工智能算法的可解释性和性能，从而使得人工智能算法在实践中更加有效。

不懂自己或他人的心？想要进一步探索自我，建立更加成熟的关系，不妨做下文末的心理测试。平台现有近400个心理测试，定期上新，等你来测。如果内心苦闷，想要找人倾诉，可以选择平台的【心事倾诉】产品，通过写信自由表达心中的情绪，会有专业心理咨询师给予你支持和陪伴。

何宝宏：对“AI可解释性”的解释

本文核心假设：用混沌理论，可以解释AI的不可解释性。

有广义的解释和狭义的解释两种。

广义地，指提升AI算法、产品和服务做出决策时的透明度和公平性，以防算法偏见和打开算法黑箱，助力用户的信任和监管的合规性。这种理解方式多见于 社会 、法律和政府层面的各类文件，比如联合国UNESCO的《人工智能伦理建议书》等。

狭义地，指一个端到端的AI深度学习算法，改变其算法模型中的任意一个权重、结点或层数，可能都会对整个模型的表现产生难以预测的影响。即使是模型的设计者和训练者，也无法预先知道。因此，深度学习也被戏称为“调参学”、“玄学”，被说科学就连工程学都算不上，因此AI算法工程师也被戏称为“炼丹师”。

如果说广义“可解释性”，面向的是大众和监管机构的，已经超出了AI本身，针对的是算法黑箱。那么，狭义的可解释性，则面向的是学界和产业界，仅针对深度学习的“算法幽灵”。

牛顿力学将人类带到了一个确定性的世界，但量子力学又将人类又带到了不确定的概率世界。对应地，计算机和传统算法将数字世界带到了一个确定性的时代，而大数据和深度学习算法又将数字世界带到了“不可解释”的“概率”新阶段。

这让我想起了近30年来才兴起的混沌理论。量子力学质疑微观世界的物理因果律，混沌理论否定了包括宏观世界拉普拉斯（Laplace）式的决定型因果律。

这个理论可以用来解释AI的不可解释性。

机器只能处理“关联关系”而无法理解因果关系，更无法判断学习结果正确与否，工程师调参基本靠直觉，是否已经学习到中“真经”也是靠人的判断，因此学习结果正确只是概率问题，“碰巧”正确而已，因此稍微换下参数环境就又不可预期了。

混沌理论认为， 许多自然现象即使可以化为单纯的数学公式，但是其行径却无法加以预测。

用于解释AI的不可解释性，机器学习被化简为单纯的算法模型，但深度学习的行径却无法加以预测。

深度学习初始条件或权重十分微小的变化和调整，经过多层网络、多结点的不断反馈和放大，对其未来状态会造成极其巨大的差别。

混沌的发现，提醒我们对因果关系需要再认识。过去认为，简单的原因必定产生简单的结果，复杂的结果必然有复杂的原因。

但混沌理论告诉AI，在一个复杂的反馈系统中，简单的参数调整也可以产生复杂的结果，仅仅知道确定性的算法模型，不等于能够预测AI的行为。

可解释AI，如何打开算法的黑箱？

随着以机器学习为代表的新一代人工智能技术不断朝着更加先进、复杂、自主的方向发展，我们的经济和 社会 发展都纷纷迎来了变革性的机遇。但与此同时，AI算法的透明度、可解释性问题也为公众信任、公共安全等诸多领域带来了前所未有的挑战。

1月11日 14日，“腾讯 科技 向善创新周”在线上举办。“透明可解释AI——打开黑箱的理念与实践”专题论坛即聚焦于此。论坛发布了《可解释AI发展报告2022》，随后由专家学者（见文末）共同参与了圆桌讨论。以下为整理文章：

可解释AI的概念共识

姚新：

大家在讨论AI算法的透明性和可解释性的时候，首先应该考虑三个W的问题——Who，What和Why的问题。

首先，到底是对谁讲透明和可解释？因为从科学研究来说，任何一个研究都必须透明，都必须可解释，否则这个论文是发不出来的。所以我猜过去讲透明性和可解释性，可能不是对科学家来说的可解释性或者透明性，因为对科学家的透明性和可解释性，不一定对大众透明和可解释。第二是解释什么？解释模型做出来的结果还是解释这个模型的工作原理。第三，解释总是有一个目的，目的是要追责还是理解这个模型的科学原理。

根据对这三个W不同的答案，会得出非常不一样的透明性和可解释性，相应的解决办法可能也完全不一样。不管怎样，考虑透明性和可解释性的时候，首先大家要有一个概念上的共识，使得我们知道我们是讲同样一件事情，而不是用了同样一个名词，大家在不同的抽象层次讲不同的问题。

吴保元：

可解释是可信AI的重要组成部分，是可信的前提条件之一，但是相比于鲁棒性、公平性等可信特性，我觉得可解释不是独立存在的概念。就是姚老师刚才提到的，我们到底在解释什么？其他的特性都是有自己明确的数学定义，比如鲁棒性、公平性等，但是可解释性是没有的，因为我们单独提到它的时候，背后默认的更可能是对模型准确度的可解释性。或许这也可以解释为什么当前的可解释研究思路这么多，但是好像没有一个明确的框架，我觉得最主要的原因是它的解释对象不一样，没有办法统一到一起。

基于这种理解，我个人有一点小的想法，不应该把它称为可解释性，把它称为可解释力或许更准确。可解释性，大家可能误认为它是一种独立存在的性质；可解释力是一种可解释的能力，就像我们说的理解力、领导力等等，它是一种手段，一种行为，一种操作存在，需要跟别的绑在一起。我觉得以后提到它的时候，应该准确地描述它是针对什么特性的可解释力，而不是笼统地说可解释性如何。

可解释AI的价值何在？

朱菁：

人们对于人工智能系统可解释性、透明性的要求，大致有四个层次：

第一个针对的是直接用户，用户需要了解人工智能产品、服务背后的原理是什么，这是建立可信任AI的重要基础。可解释AI，实际上支撑了可信任AI。

第二个层次，对于政策和监管部门，他们希望通过解释原理来了解人工智能产品的公平性、可问责性，归因的过程是我们进一步问责、追究责任的基础。所以，可解释AI也与负责任的AI、可问责的AI是联系在一起的。

第三个层次就是技术工程与科学层次，我们希望了解为什么某些算法能够成功，它成功背后的奥秘是什么，它的应用范围是什么，它能否在更大的范围内使用这样一些算法或者是一些技术。

第四个是公众理解AI，如果 社会 大众大多数关心的话，他也能够在这方面了解相应的技术、系统大体的工作原理方式是什么。

何凤翔：

在现在的AI系统中，其实很多算法背后运作机制是未知的，是不清楚的，这种未知带来了未知的、难以管理的风险，包括安全性、鲁棒性、隐私保护、公平性等等。

这些点关系到了 社会 运转中非常关键、人命关天的领域，比如医疗、自动驾驶。这会带来很大的应用方面的困难，以及 社会 对AI的不信任。因为当AI算法运作机制是未知的时候，它的风险机制、风险大小、风险尺度就是未知的，我们就难以去管理风险，进而去控制风险。

可解释AI的挑战何在？

姚新：

原来我一个学生跟我做了一点关于公平性的工作，跟其他的文献发现的点非常一致，就是说模型的准确性和公平性之间是相互矛盾的。性能最好的模型从公平性的角度来说，按指标来测量不见得最好，你要把模型做得都是最公平，用指标来衡量的话，它的性能就会受到损失。实际上可解释性非常类似现在有各版的可解释性指标，但是要真正考虑这些指标的话，模型的性能总是会掉下来，要考虑在实际过程中怎么来找一个折中的方案。

吴保元：

针对可解释性本身的不可行、不可取，这也是值得我们思考的问题。比如说我们在研究犯罪率或者说疾病的传播率、发病率等，如果我们就拿现成的统计数据，比如在不同种族、不同地域采集的数据，很有可能会得出来某些种族或者某些地域犯罪率很高，这是因为数据采集的时候就是这样的。这样一来，如果可解释给出的类似结论被公开，可能会造成种族或者地域歧视。但实际上数据背后是我们在采集的时候没有采集其他特性，比如说为什么这个地域的传播率很高呢？很有可能是政府投入不足，或者说其他的因素。

所以这也启发我们可解释性本身它的可信性是什么，它的准确性，它的公平性，它是否忽略了某些特征，或者夸大了某些特征，它的鲁棒性，是不是把样本变化一点，它的可解释性截然相反，这些需要我们进一步思考。

另外，我跟很多研究可解释的专家聊过，他们的困惑在于现在的可解释性方法是不可印证的，甚至是矛盾的，这就引出了可解释性方法本身的可信度的问题。

何凤翔：

在我看来，理解深度学习算法的运作机制，大致有理论和实践两条路径。在理论方面，当前的研究无法完全解释理论上泛化性较差的深度模型为何能在多领域取得如此的成功。这种理论与实践的矛盾，就像曾经物理学中的乌云一样，反映出来了人们对于机器学习理解的缺失，而这是现在在理论上提升算法可解释性的一个难点。

而在实验角度上，很多实验学科中的做法可以作为对于机器学习研究的启发，比如说物理学、化学，以及刚才提到的医疗。比如说药物研发流程中的合格检验，要做双盲实验；在物理学、化学的研究中，对控制变量实验有严格要求。类似的机制是否能在AI研究中严格执行呢？我觉得这可能是另外一条路径。在我看来，现有的很多对于AI算法的解释是启发式的，而在关键领域中我们需要的是证据，这需要在理论和实验两方面做很多工作。

可解释AI如何实现？

朱菁：

前面很多专家都指出对于解释有不同的目标，不同的对象，不同的要求，所以实际上关于人工智能的可解释性问题可能是属于多元性的，就是要允许有多种不同层次不同方式的解释在这里面起作用，针对不同的领域、不同的对象，使用不同解释的方式。

当可解释性有它的局限或者和其他的目标、要求，需要做出权衡取舍的时候，我们想也可以从多个层面来进行替代性的，或者说是补偿性、补充性的策略。比方说针对监管部门，它对于可解释性的要求，和面向公众或者专家层面的，会有所不同，所以这个可以通过若干个层次，比如说监管部门的，行业的，市场的，以及传播普及层面的，对于安全性、鲁棒性要求更高一些，或者在专家层面上有更好的沟通理解，而对于 社会 公众而言，这里面就需要有一些转换，同时有需要一些权威部门，有公信力的部门，向 社会 做一些说明和认定。

姚新：

深度神经网络可以解决特别复杂的问题，我觉得现在大家用深度网络有一个原因，即所针对的问题本身可能就比较复杂。这是一个假设。假如这个假设是对的话，那么相应的可解释性不会特别好理解。因为需要对付这些复杂性，相应的模型就必然是要复杂。

所以我总觉得透明性、可解释性和性能之间是有一个固有的矛盾，如果现在把从技术上讨论的方向，是怎么找一个折中方案，根据不同的场景、可解释的目的，找不同折中方案，这样导致有可能会出来一些比较具体的技术，或者可以促进这些技术往落地的方向走。

吴保元：

我们尝试过一些从技术上可行的方案去量化各种可信特性，但是，要实现统一量化很困难，比如说公平性和鲁棒性都有不同的量化准则和指标。当把不同的特性简单组合到一起的时候很难优化，因为它们的准则是高度不对齐的，差异非常大，这就涉及怎么去对齐这些特性坐标。我认为想要找到一个全局坐标系是非常困难的。我们可以从局部出发，针对某种场景，比如医疗场景，首先把隐私性当做前提，在金融或者自动驾驶，我们把鲁棒性当做前提，然后再去研究其他特性，或许一步一步能够找到这种坐标系。

可解释AI的技术现状？

郑冶枫：

总体来说，因为我们现在还缺乏非常好的理论框架，所以可能针对问题，我们创造性地想一些算法，试图提高本身这个系统的可解释性，给大家举两个例子来说明一下我们天衍实验室在这方面的 探索 。

深度学习可能有千亿、万亿的参数，这对于医生来说太复杂了，他很难理解这个算法的底层原理，算法本身可能缺乏一个全局的可解释性。但是深度学习框架准确率非常高，所以我们不可能不用。而可解释性非常好的模型就是回归模型，这类模型主要的问题就是准确率太低。所以我们做了一个 探索 ，我们希望把这两个模型结合起来，它具有非常高的准确率，还有一定的可解释性，不是完全可解释性。

我们把这个混合模型用于疾病风险预测，就是根据病人历次的就诊记录，我们预测病人在未来6个月之内得某个重大疾病的概率，比如他得卒中的概率。病人每一次的就诊记录包含大量信息，这里面我们需要提取一些跟预测目标相关的重要信息，我们知道生物学习网络最擅长的就是自动特征学习。所以我们利用深度学习网络把一次就诊记录压缩成一个特征的向量，接着我们利用回归模型，把病人多次就诊记录综合起来预测未来6个月之内这个病人得脑卒中的风险。

杨强：

我们在审视各个算法和它对应的可解释性的关联问题上，发现一个有趣的现象，比方说在机器学习里面，深度学习就是属于效率非常高的，但是它却对应的可解释性很差。同样，线性模型没有那么高，但是它的可解释性相对强一些，树状模型也是，因果模型更是这样。所以往往我们确实得做一个取舍，就是我们在可解释这个维度和高效率这个维度，在这个空间里面选择哪一个点，现在并没有在两个维度都高的这样一个算法。

可解释AI的行业实践

郑冶枫：

各行业对可解释性和透明性的要求不同，我结合医疗AI这个场景给大家分享一下我的体会和理解。大家知道医疗在全世界范围内都是被强监管的领域，一款医疗产品要上市必须拿到医疗器械注册证，辅助诊断算法AI产品属于三类医疗医疗，也就是监管最严格的级别，所以我们要披露的信息很多，大致包括数据集和临床算法验证两方面。前者主要强调数据集的公平多样性和广泛覆盖性，后者则重视披露我们的算法真正在临床试验中、真正临床应用的时候它的性能。

此外，我们的测试样本也需要有很好的多样性，覆盖不同医院，不同区域，不同病人群体、厂商、扫描参数等等。临床实验更加严格，首先我们要固化算法的代码，在临床试验期间是不能改代码的，因为你不能一边做实验一边改代码，这就失去了临床试验的意义。

所以医疗AI的监管是非常强的，药监局需要我们披露很多信息，提高医疗AI产品的透明性，它有非常严格甚至苛刻的书面要求。因为我们知道智能学习网络天然不具有很好的解释性，虽然你可以做一些中间增强，可以一定程度上改善这些事情，监管也可以理解这个解释性差一点，正因为解释性差，要求的透明性就越高。

何凤翔：

我觉得提供AI系统的说明书有两个路径：第一个路径从生成AI系统的过程出发。这一点现在有一些实践，比如开源代码，说明使用了什么数据，数据是如何使用的、如何预处理的。这会提升人们对AI的信任和理解，这也像刚才郑老师提到，申请医疗相关的资质的时候，我们需要把生产细节汇报给相关机构。

第二种方式就是从生成的AI系统所做出的预测以及决策的指标来入手做算法的说明书。比方对AI系统做一些测评。对于刚才我们提到的指标，包括可解释性、鲁棒性、准确性、隐私保护、公平性，找到一些比较好的量化指标、找到一些评测算法，把这些指标作为AI系统的使用说明书。

可解释AI的未来发展

杨强：我期待在未来人工智能的治理，在人工智能，人和机器这种和谐共存，共同解决我们要解决问题的前提下，会越来越成熟。我是非常看好这个领域的。

朱菁：我期待这个领域进一步的探讨，不同领域的学者都能够参与进来。比如说像我自己做的主要是哲学， 科技 哲学。在 科技 哲学，实际上对于解释有将近一百年的积累和 探索 ，这里面应该有很多可以发掘借鉴的资源，参与到目前这样一个很有意思很有挑战性的话题里面。

何凤翔：AI本身是一个跨学科领域，它可能会用到很多数学、统计、物理、计算机等各个知识的领域，今天提到的很多点，包括隐私保护、公平性，很多也是来源于人文学科、法律、 社会 学这些方面。所以这就意味着研究可信AI以及可解释性等等方面会需要各个学科领域的人合作起来一起去做的一件事情，会非常需要大家的通力合作，共同推进这个领域的发展。

姚新：对于做研究来说，我希望将来可以有一点聚焦的讨论。我刚才讲的3W，到底我们要解决透明性、可解释性的哪一部分，对谁而言。假如对医疗而言，是对法规的制定者来说还是对医生来说，还是对病人来说，还是对这个系统的开发者来说？我觉得在这里面有非常多可以发挥自己的想象力和能力的地方。

郑冶枫：对算法人员来说，当然我们希望将来科学家们找到非常好的，具有良好可解释性，同时准确性非常高的算法，真正做到鱼和熊掌兼得。

人工智能算法解决新挑战，智能算法是什么？是如何运行的？

由于人工智能缺乏可解释性，人们越来越关注人工智能主体的接受和信任问题。多年来，对可解释性的重视在计算机视觉、自然语言处理和序列建模等领域取得了巨大的进展。随着时间的推移，这些类型的编码指令变得比任何人想象的都更加全面和复杂。人工智能算法已经进入了这一领域。人工智能算法是机器学习的一个子领域，它引导计算机学习如何独立工作。因此，为了优化程序并更快地完成工作，小工具将继续学习。

人工智能算法也广泛应用于能源部门。当地供应商可以改变邻近城镇和地区的供电方向，以确保那些最需要的人可以通过增加个人电脑的使用来获得电力，个人电脑是国家电网的一部分。人工智能算法的另一个迷人用途是在我们的交通网络中。如果你曾经考虑过红灯是如何根据交通流量调整的，或者一些大城市是如何根据紧急情况自动调整交通的，你就会明白这个程序是如何使用的。

科学家可以使用专门的仪器和数据收集技术来找出导致气候变化的原因以及我们可以做些什么。人工智能算法在这一领域正变得越来越普遍。从我们如何使用互联网到我们如何使用手机打电话，这一技术水平解决了许多困难，使这一时期成为历史上最简单的相互交流时期。

人工智能算法也每天都在使用。尽管关于美国联邦政府如何保护个人数据信息的问题尚不清楚，但对特定方面和通信的计算机软件监控已经在防止国内外的重大恐怖行为。这只是人类使用人工智能不断发展和扩大的一种经验。人类对人工智能的使用拓宽了我们的视野，使事情变得更简单、更安全，并使子孙后代更幸福。