关键词：机器学习，可解释性，人类反馈，人类知识对齐
论文题目：A typology for exploring the mitigation of shortcut behaviour论文来源：Nature Machine Intelligence论文链接：https://www.nature.com/articles/s42256-023-00612-w
随着机器学习的模型越来越大，例如包含百亿参数的GPT，人们担心这样的模型并没有学到预期的知识，而只是简单地记住了正确答案，一旦问题改变，就无法应对。为了应对该问题，出现了可解释的机器学习方法。该范式下模型做出一个预测，并向用户提供相应的解释，再通过提供人类给出正确的反馈来回应预测和解释。具体而言，由于机器学习模型不断扩大，以及在弱监督模式下基于大型非标注数据集的训练越来越多，建立针对机器学习模型的检查、交互和修正机制变得十分重要。为减轻捷径学习（shortcut learning）的效果，并保证模型的学习知识与人类的知识是一致的，上述机制都十分必要。最近，一些解释性的交互式机器学习方法已经被开发出来用于这个目的，但是每个方法都有不同的动机和方法学细节。近期发表于 Nature Machine Intelligence
的这项工作提供了一个集成各种解释交互式机器学习方法，通过建立一套共同的基本模块，以组成一个单一的架构。论文讨论了评价解释性交互式机器学习方法整体能力的基线和其他措施。利用这个全面的工具箱，作者们系统、定量地比较了几种解释性的交互式机器学习方法。在评估中，所有方法都被证明在准确性和可解释性方面改进了机器学习模型。然而，研究人员发现在个别基线测试任务之间，不同方法存在显著差异，这揭示了在未来方法开发有价值的应用中，可将这些基准测试集成在一起。图1. 可解释机器学习的架构：解释模型如何向人类老师提供关于推理过程的洞察，反过来，教师观察模型的预测是正确的还是错误的，尤其是如果预期是基于正确或错误的理由，并给予纠正反馈，如果必要的话。模型从人类使用者（老师）处获得的关于解释是否正确的反馈被重定向回到模型的学习过程与修订模块，以纠正模型的行为。
图2. 在MINST及时装 Minst 数据集中，第一列是原始的预测归因热图，显示了哪些像素被用来预测，之后的各列分别是不同可解释机器学习给出的归因热图
图3. 不同可解释模型的交互有效性（上图），展示随着交互次数增加，模型的预测准确性提升。下图，当打开可解释机器学习后，部分方法下模型预测准确性的变化差异显著，有的方法（RBR）会导致模型的预测准确性下降为随机水平
推荐阅读
