如何解释AI做出的决策？一文梳理算法应用场景和可解释性

心随674

机械之心阐发师收集

做者：Jiying

编纂：H4O

本文分离《Explanation decisions made with AI》指北，重面对算法的使用场景战可注释性阐发停止了梳理总结。

英国的 Information Commissioner’s Office （ICO）战 The Alan-Turing Institute 结合公布了《Explanation decisions made with AI》指北。该指北旨正在为机构战构造供给适用倡议，以协助背受其影响的小我私家注释由 AI 供给或辅佐的法式、效劳战决议，同时协助机构战构造遵照欧盟 GDPR 等取小我私家疑息庇护相干的政策请求。该指北分为三个部门，第 1 部门：可注释 AI 的根底常识；第 2 部门：可注释 AI 的理论；第 3 部门：可注释 AI 对机构 / 构造的意义。指北最初给出了支流的 AI 算法 / 模子的合用场景，和对那些算法 / 模子的可注释性阐发，可做为理论使命中分离使用场景特性挑选可以满意范畴请求的可注释性的 AI 算法 / 模子的参考。

本文分离《Explanation decisions made with AI》指北，重面对算法的使用场景战可注释性阐发停止了梳理总结。别的，我们借解读了一篇医教范畴可注释性办法的最新论文—《评价药物没有良变乱猜测中基于留意战 SHAP 工夫注释的临床有用性》，以理解闭于可注释性办法的最新研讨停顿。

1、算法的使用场景战可注释性阐发

《Explanation decisions made with AI》指北给出了支流的 AI 算法 / 模子的合用场景，和对那些算法 / 模子的可注释性阐发，做者对支流模子的可注释脾气况停止了梳理总结。

2、评价药物没有良变乱猜测中基于留意力机造战 SHAP 工夫注释的临床有用性

可注释的机械进修是一个新兴的范畴，它测验考试以更兽性化的方法协助我们了解乌盒分类器模子的决议计划。出格是关于医疗范畴，可注释性关于供给公然通明的阐发战正当的决议计划成果相当主要。具有可注释性，一线医疗长处相干者就能够信赖模子的决议并采纳恰当的动作。别的，片面的可注释机能够确保医疗施行的用户能够获得羁系权益，比方按照欧盟通用数据庇护条例（GDPR）："得到注释的权益"。
正在医疗范畴，深度进修模子使用于电子安康记载（Electronic Health Record，EHR）数据得到了很好的结果。比方轮回神经收集（RNN）可以有用捕获 EHR 中工夫相干的战同量的数据庞大性。但是，RNNs 的一个次要缺陷是缺少内涵的可注释性。正在已往的研讨过程当中，曾经发生了几种使 RNNs 更具注释性的办法，比方，经由过程引进留意力机造使模子自己更容易注释，如用 RETAIN；过后可注释性框架（如 SHAP）能够使用于概述 RNNs 的工夫注释等等。

RETAIN[2]：用于阐发 EHR 数据以猜测病人将来呈现心力弱竭的风险。RETAIN 受留意力机造启示，经由过程利用一个两层的神经留意力模子，并对 EHR 数据停止顺序输进体系，模仿大夫满意病人需供及阐发病人记载时专注于病人已往诊疗记载中某些特别临床疑息、风险身分的历程，正在包管猜测成果精确性（Accuracy）的同时确保告终果的可注释性（interpretability）。

SHAP[3]：去自于专弈论道理，SHAP（SHapley Additive exPlanations）为特性分派特定的猜测主要性值，做为特性主要性的同一襟怀，可以注释当代机械进修中年夜大都的乌盒模子，为机械进修模子量化各个特性的奉献度。给定当前的一组特性值，特性值对实践猜测值取均匀猜测值之好的奉献便是估量的 Shapley 值。

但是，闭于医教猜测范畴 RNN 的可注释手艺所供给的工夫注释的量量，借存正在着研讨空缺。撑持战阻挡利用留意力做为注释办法的论面皆存正在，一些证据表白，利用留意力得分能够供给充足的通明度去注释单个特性怎样影响猜测成果。而另有一些证据则量疑了留意力机造的有用性，由于留意力值战更曲不雅的特性主要性丈量之间的相干性很强。正在理论中，用于模子注释的可视化仄台曾经胜利天时用了留意力分数去为医教猜测供给注释。但是，利用留意力值的团体功效借需求更深化的考证，出格是取操纵其他可注释办法（如 SHAP）比拟。


本文的次要目的是探究具有内涵可注释性的 RNN 经由过程留意力机造可以正在多年夜水平上供给取临床兼容的工夫注释，并评价这类注释该当怎样经由过程使用过后办法去弥补或代替，比方对乌盒 RNN 的 SHAP。本文详细正在药物没有良变乱（Adverse Drug Event，ADE）猜测的医教布景下讨论那个成绩。分离我们所解读的《Explanation decisions made with AI》指北，那篇文章所会商的是典范的必需使用非线性统计手艺的状况。正在上一章节的梳理中，指北曾经明白“因为直线（极度非线性）的偏向战输进变量的下维度，招致 ANN 十分低的可注释性。ANN 被以为是 "乌盒" 手艺的缩影。正在恰当的状况下，该当引进注释东西帮助 ANN 的利用。”。因而，本文所做的事情便是为使用于医教范畴的 ANN 办法引进恰当的帮助注释东西（留意力机造战 SHAP 工夫注释）。固然，正如我们正在之前的解读平分析的，正在一些使用场景中，简朴的利剑盒模子 / 办法没法满意使用需求，为了包管较下的精确度 / 猜测率，偶然必需接纳乌盒算法 / 模子。而怎样正在这类状况下经由过程引进帮助注释东西协助模子 / 体系的用户更好的了解注释，便是上面那篇论文会具体引见的了。

2.1 办法引见

令ε={P1,...,Pn}表征 n 个病人的数据库。Pj 表征 K 个病人救治数据记载，Pj = {x_1, . . , x_k}，此中，x_k 发作正在工夫面 t_k，包罗一组形貌该次诊疗的医疗变量，思索到第 j 个病人正在工夫面 t-1 的病史数据 Pj={x_1, . . . , x_t-1}，我们的使命是猜测工夫面 t 的 ADE 的发作，并精确天注释为何利用病人病史的全部工夫构造去猜测这类 ADE。为理解决那个成绩，本文将 RNN 模子战可注释性手艺分离起去，对齐局战部分注释的办法停止了比力战临床考证的阐发。
SHAP 框架肯定了减法特性主要性办法的种别，以供给模子无闭的注释。SHAP 曾经成为一种盛行的模子可注释性办法，由于它具有多种幻想的特征，即齐局分歧的注释，那是其他过后办法所不克不及供给的，正在那些办法中，部分界说的猜测能够取齐局模子的猜测纷歧致。SHAP 成立正在利用专弈论中的 Shapley 值的根底上，正在专弈论中，经由过程将差别的特性视为同盟中的差别玩家去计较特定特性值对选定猜测的影响。那些特性中的每个皆能够被看做是对猜测的相对奉献，那些奉献能够经由过程计较能够的同盟中的边沿奉献的均匀值而被计较为 Shapley 值。
Shapley 值（暗示为φ_ij），能够了解为每一个特性值 x_ij 对每一个样本 i 战特性 j 的猜测偏偏离数据散的均匀猜测的水平。正在本研讨中，每一个医疗变量的 Shapley 值是针对病史中的每一个工夫面计较的，以注释每一个医疗变量对猜测的影响是怎样下于或低于基于布景数据散的猜测均匀值的。
递回神经收集（RNN）是前馈神经收集模子的归纳综合，用于处置持续的数据，具有一个连续的内乱部形态 h_t，由 j 个躲藏单位 h_j 构成，做为处置持续形态之间的依靠干系的影象机造，正在本案牍例中详细是指跨工夫面的病人诊疗疑息。
本文期望接纳一个根本的 RNN architechure 取 SHAP 相分离，它该当可以到达取 RETAIN 相称的机能程度，以协助间接比力有用性注释办法，而没有会由于过分寻求可注释性而影响了模子自己的机能。详细的，本文根本 RNN 模子的内乱部形态由门控递回单位（GRU）构成，经由过程迭代以下圆程界说：

此中，r_j 为复位门，它决议了一个形态中的每个第 j 个躲藏单位的前一个形态被疏忽的水平；h_t-1 是上一个躲藏的内乱部形态；W 战 U 是包罗由收集进修的参数权重的矩阵；z_j 是一个更新门，决议了躲藏形态该当怎样被更新为新的形态 h_new；(h_j)^t 暗示躲藏单位 h_j 的激活函数；sigm( )暗示 sigmoid 函数；◦是 Hadamard 积。
本文彩用取 SHAP 相分离的 GRU 架构，包罗两个 128 个单位的堆叠的 GRU 躲藏层，然后是 dropout 层，最初是一个齐毗连层，经由过程一个 softmax 函数发生输出分类几率ˆy。
为了搜集基于留意力的工夫注释，本文彩用了 RETAIN 的 RNN 架构，正在猜测阶段，基于留意力的奉献分数能够正在单个医教变量层里上肯定。那个 RNN 起首由输进背量 x_i 的线性嵌进构成：

v_i∈R^m 是两进造输进背量 x_i∈R^V 的嵌进，W_emb∈R^(m xV)是嵌进的权重背量，m 是 V 个医疗变量的嵌进维度。利用两个 RNNs，RNNa 战 RNNb 别离用于天生会见战可变程度的留意力背量α战β。留意力背量是经由过程正在工夫上背后运转 RNN 去天生的，那意味着 RNNα战 RNNβ皆以相反的挨次思索会见嵌进。最初，我们获得每一个病人正在第 i 次救治前的状况背量 c_i：

然后，终极猜测成果的计较办法以下：

基于留意力的奉献得分能够肯定对某一猜测奉献最年夜的会见战医疗变量。分数能够用下式计较：

正在本文研讨中，按照 RNN-GRU 模子修正了 SHAP，利用的是本初 SHAP 完成的修正代码库。做者接纳了深度进修模子的梯度注释办法，该办法基于预期梯度，利用 1000 个随机样本的布景数据，为每一个猜测供给 Shapley 值的远似值。做者暗示，这类特别的远似处置其实不包管 SHAP 的每个属性，但关于本文的目的来讲是适宜的。

2.2 考证办法引见

本研讨利用的数据库由 1,314,646 名患者的诊断、药物战文本记载构成，那些记载去自斯德哥我摩年夜教的瑞典安康记载研讨银止（HealthBank）；那是一个藏名的患者记载数据库，最后去自瑞典斯德哥我摩卡罗林斯卡年夜教病院的 TakeCare CGM 患者记载体系。诊断由《国际徐病战相干安康成绩统计分类》第十版（ICD-10）中的尺度化代码构成。药物是按照剖解教医治化教分类体系（ATC）停止编码的。为了削减成绩的庞大性，并增长病人的藏名性，非 ADEICD-10 战 ATC 代码被削减到其更下条理的品级种别，经由过程挑选每一个代码的前三个字符得到。别的，救治是以月为单元界说的，那意味着正在一个日历月内乱分派给病人的一切代码战药物的组开组成了一次救治记载。患者需求具有最少三次如许的记载，相称于最少三个月的数据。取 ADE 相干的词袋特性也被提与为两元医教变量。本研讨利用了 1813 个医疗变量，包罗 1692 个 ICD-10 编码，109 个 ATC 编码战 12 个枢纽词特性。
评价尝试将数据随机分别为锻炼散、考证散战测试散，比例别离为 0.7、0.1 战 0.2。正在考证散上显现最好 AUC 的锻炼 epoch 所对应的模子设置布置正在测试散上。为每位患者分派了一个两进造标签，以暗示正在他们最初一次救治时能否有 ADE。每一个病人样本皆是由包罗医疗变量的救治序列构成的，删除最初一次救治记载。为了顺应果 ADE 相对稀有而招致的种别不服衡成绩，做者经由过程对大都种别的低度与样创立了一个均衡的锻炼散，此中操纵了全部锻炼散的一个随机分区。为了阐明模子举动的可变性，做者利用 3 个随机模子战数据分区设置的均匀值天生终极成果。正在间接机能比力中，RNN-GRU 被设置成取 RETAIN 不异的多对一格局，并利用跨熵丧失函数停止锻炼。默许状况下，模子输出年夜于 0.5 便会映照出一个正背 ADE 猜测成果。


为了成立一个用于评价所研讨的可注释办法的临床根本究竟，本文尝试过程当中统共招募了 5 位医教专家，他们具有医教教位战丰硕的临床药理教经历。正在第一阶段的构造化查询拜访中，那些专家被请求对经由过程 SHAP 战留意力办法肯定的齐局医教变量停止挨分，终极支录了每种办法的前 20 个变量。评分包罗从 - 5 到 5 的整数，0 没有包罗正在内乱，此中 - 5 代表该变量取没有发作 ADE 的能够性有十分下的联系关系，而 5 代表变量取发作 ADE 的能够性有十分下的联系关系。然后计较出临床大夫变量得分的均匀值。其次，尝试请求医教专家对 10 个有代表性的个别病人记载中的医疗变量停止一样的评分，那些记载包罗了间接发作正在两个 RNN 皆准确猜测的 ADE 之前的医疗变量的汗青。那是一个案例研讨使命，受试者对取过敏相干的 ADEs T78.4、T78.3 战 T78.2 的发作有闭的变量停止评分。别的，受试者借被请求思索变量自己的主要性、取其他变量的互相感化，和过敏性徐病发作前的工夫段。思索工夫的办法是将不异医疗变量的汗青记载做为月度窗心输进 RNN 模子。临床大夫供给的均匀分数被用做评价可注释办法对统一批（10 份）病人记载所供给的注释的根本究竟。
本文利用 Top-k Jaccard 指数比力两种可注释办法取临床专家得分的类似性，该指数界说为交散巨细除以本初汇合中排名最下的前 k 个子散的结合巨细。排名是按照从临床专家反响的均匀值或从可注释性办法返回的 Shapley 值或留意力奉献分数别离计较出的降序尽对分数去界说的。最初，背医教专家展现了怎样将注释办法可视化的示例，并请求他们考虑那些注释能否合用于理想糊口中的临床状况。

2.3 考证成果

表 1 给出了 RETAIN 取 RNN-GRU 设置正在 AUC 战 F1-Score 圆里的机能比力，由表 1 中的成果可看出，用于天生注释的模子正在两个模子中的机能类似，RETAIN 的机能略胜一筹。

表 1. 正在多对一猜测设置中为所选架构指定的 ADE 猜测的 ROC 直线下的经历测试散里积战微型 F1 分数

2.3.1 齐局特性主要性

图 1 战图 2 是两种办法对医教变量的前 20 个齐局主要性排名，显现了均匀尽对 SHAP 值，和数据测试集合顶级特性的均匀尽对存眷值。图 3 显现的是所述的长处相干者到场办法发生的临床专家均匀尽对分数，用于对医教变量停止评分。为明晰起睹，做者经由过程计较一切病人救治中呈现特定医疗变量的每一个例子的奉献系数分数的均匀尽对值，去陈述留意力奉献分数的齐局主要性。

图 1. 按照 RETAIN 模子的均匀留意力奉献得分，排名最前的医教变量。ATC 代码前缀为 "M"

图 2. 按照均匀 SHAP 值对 RNN-GRU 模子输出的影响，排名靠前的医疗变量。ATC 代码前缀为 "M"。标识表记标帜为 KWord * 的枢纽词特性

图 3. 按照临床专家界说的分数，排名靠前的医疗变量。ATC 代码前缀为'M'
表 2 给出了 SHAP 战留意力排名取医教专家排名的 top-k Jaccard 指数比力成果，由表 2 可看出取留意力排名比拟，SHAP 正在每一个 k 值上皆供给了取医教专家更类似的整体注释。

表 2. 可注释性办法战临床专家对最主要的医疗变量的排名之间的 Top-k Jaccard 类似性比力

2.3.2 过敏症 ADEs 的个体注释的案例研讨

表 3 给出了过敏症 ADEs 案例研讨的成果，将 10 个有代表性的案例的均匀临床专家得分排名取留意力战 SHAP 供给的划一注释得分排名停止比力。关于每一个 Jaccard 指数，所选的前 k% 基于留意力的得分取临床得分最类似。

表 3. 可注释性办法战临床专家对单个病人记载中最主要的医疗变量的均匀 Top-k% Jaccard 类似度比力

2.3.3 对临床碰到的成绩停止可视化注释的反应

图 4 展现了 SHAP 的工夫注释，表 4 给出了留意力机造的对应工夫注释。SHAP 注释是经由过程 SHAP 的特性相减的性子去供给的，以便曲不雅天看到医疗特性的存正在或没有存正在是怎样经由过程它们正在每一个工夫面的 Shapley 值的总战去界说猜测的。关于留意力的注释，这类可视化是不成能的，由于奉献值只反应相对主要性。
受试者获得了两种办法的形貌，并被请求答复：他们更喜好哪一种注释，他们正在了解注释时面对哪些应战，和对改良注释的倡议。起首，5 位专家中的 4 位更喜好 SHAP 供给的注释，缘故原由是它是一个更简朴的注释，可以比留意力注释更有用天文解 ADE 风险的完好概念。其次，受试者的次要顾忌是，注释中供给的疑息太多，正在年夜大都临床上没法利用，并且注释一个变量的缺得是怎样招致风险的也没有曲不雅。改良的倡议是，正在能够的状况下显现更少的医疗变量，以进步了解注释的服从；其次，确保利用这类注释的临床大夫获得具体的培训。

图 4. 背临床专家展现 SHAP 的注释。ADE 实正阳性猜测的示例，显现用 SHAP 评价的 7 个病人救治工夫的 ADE 风险的开展，最初一次救治提醒有 ADE。赋值 = 0 战 = 1 别离暗示出有或存正在招致风险的变数

表 4. 取图 4 相对应的实阳性 ADE 注释的示例，利用 RETAIN 模子取药物、诊断战文本数据。会见得分战猜测得分指的是响应的 ADE 代码的 softmax 几率

2.4 文章会商

起首，本文尝试表白 RETAIN 战 RNN-GRU 模子的猜测机能成果类似。那一发明关于临床有用性评价很主要，由于我们没有期望引发一种成见，即某一办法发生的注释正在临床上的有用性较好，那是因为模子的机能较好，而没有是注释办法自己的缘故原由。别的，考查图 1 战图 2 中的齐局特性注释，按照取图 3 中的临床专家排名的比力，那两个排名皆是共同的，正在医教上根本契合 ADE。
SHAP 为每一个 top-k Jaccard 指数供给了更多的临床考证的齐局注释，那正在很年夜水平上遭到了它对出有呈现正在留意力排名中的文本特性的下排名的影响。便单个注释而行，留意力为每一个 top-k Jaccard 指数供给了最具有临床有用性的注释，那表白，因为留意力具有捕获战操纵相干范畴常识的较着才能，不该该将其做为一种可注释的办法减以否认。
最初，从图 4 战表 4 中医教专家对注释的反应中获得的主要启迪是，因为 SHAP 正在可视化特性对猜测的奉献圆里具有减法特征，因而它能供给更松散战下效的注释。这类松散性关于服从劣先的及时临床会诊是相当主要的。另外一圆里，留意力机造不克不及供给一样的松散性或减法性，因而关于具体的离线注释或没有受工夫限定的临床会诊能够更可与。

3、总结

由 ICO 战 The Alan-Turing Institute 配合倡议的 "注释用野生智能做出的决议（Explanation decisions made with AI）"（2020 年）是对利用野生智能体系的构造中的问责造战通明度请求的实践转化的一次普遍探究。
正在已往的十几年中，AI 算法 / 模子得到了宏大的开展，从 “利剑盒” 精益求精为“乌盒”，不论是财产界仍是教术界，皆能够看到大批寻求 AI 决议计划机能提拔的事情，将辨认率提拔 1%、将猜测精确度提拔 0.5%、正在庞大布景情况下提拔输出精确度、进步保举排序的精确性等等。跟着数字经济的开展，海内中皆愈来愈正视算法 / 模子的公允性、通明性、可注释性战问责造。为了让手艺更好的效劳于人类，而没有是让人类愈来愈被算法所仆役，注释用 AI 做出的决议计划信赖是将来各人城市愈来愈存眷的成绩，我们也等待更多更有用、更可止的可注释性办法、东西的呈现。

本文参考援用的文献

[1] Information Commissioner’s Office （ICO）& The Alan-Turing Institute，Explanation decisions made with AI，2020 May 2020 - 1.0.47

[2] E. Choi, M. T. Bahadori, J. Sun, J. Kulas, A. Schuetz, and W. Stewart, “Retain: An interpretable predictive model for healthcare using reverse time attention mechanism,” in Advances in Neural Information Processing Systems, 2016, pp. 3504–3512.

[3]S. M. Lundberg and S.-I. Lee, “A unified approach to interpreting model predictions,” in Advances in neural information processing systems, 2017, pp. 4765–4774.

本文链接：机械之心Pro 尽请存眷 珠海论坛网，理解珠海旅游安居糊口的更多的疑息...

福安到安顺屏

如何解释AI做出的决策？一文梳理算法应用场景和可解释性

楠木2017

算法的应用场景和可解释性分析总结

空581

/机器学习/可解释性/

穆一平

如何解释AI做出的决策？一文梳理算法应用场景和可解释性

碧雲居士

转发了

伊索谗言

转发了

涨吧涨吧章

转发了

马马虎虎770

转发了

沙941

转发了