导语：本报告描述了瑞典国防研究局关于可解释人工智能（XAI）方面的研究工作，详细介绍了XAI技术概念与方法。专知做了中文编译，欢迎关注，完整中英文版请上专知网站(www.zhuanzhi.ai)查看！
欢迎关注 专知【AI+军事】主题：
https://www.zhuanzhi.ai/topic/2001883600396423
以下为正文：
由于人工智能（AI）、机器学习，特别是深度学习的进步，可解释人工智能（XAI）研究领域最近受到了很多关注。XAI是一个研究领域，重点是确保人工智能系统的推理和决策可以向人类用户解释。在军事背景下，这种解释通常是为了确保：- 人类用户对他们操作的人工智能系统有适当的心智模型。
- 专家可以从人工智能系统及其隐藏的战术和战略行为中获得洞察力并提取知识。
- 开发人员甚至在部署前就能发现人工智能系统的缺陷或漏洞。
本报告的目的是为基于深度学习的人工智能系统提供解释而开发的XAI技术。这类系统本身就很难解释，因为它们所模拟的过程往往过于复杂，无法使用可解释的替代方法来建模。尽管深度学习XAI领域仍处于起步阶段，但科学文献中已经提出了许多解释技术。今天的XAI技术主要用于开发目的（即识别错误）。需要进行更多的研究来得出结论，这些技术是否也有助于支持用户为他们所操作的人工智能系统建立适当的心智模型、战术开发，并确保未来的军事人工智能系统遵循国家和国际法律。关键词
人工智能、可解释人工智能、透明度、机器学习、深度学习、深度神经网络1 引言
人工智能（AI）是一个对瑞典[1]和瑞典武装部队（SwAF）具有战略意义的研究领域。当今人工智能成功的主要因素是机器学习（ML）的突破，更确切地说，是深度学习（DL）的突破。DL是一种潜在的颠覆性技术，使我们能够使用深度神经网络（DNN）来模拟以前使用传统技术无法模拟的复杂过程。例如，DL可以用来准确地转录（语音到文本）[2，3]，翻译（文本到文本）[4]，合成语音（文本到语音）[5]，玩实时战略游戏（视频到行动）[6，7]，读取唇语（视频到文本）[8]，识别人脸（图像到身份）[9]和控制自动驾驶车辆（视频到行动）[10，11]。然而，DL仍然处于起步阶段，没有一个数学框架可以用来保证模型的正确性[12]。因此，在军事应用中开发、部署、使用和维护DNN模型时，有许多挑战需要考虑和解决。从军事用户（操作员、数据分析师等）的角度来看，最重要的挑战也许是可解释性。根据经验，当人的生命受到严重影响时，对可解释性的需求更大。在军事领域是这样，在医学、执法和其他民事服务领域也是如此。可解释性很重要，因为它影响着用户对系统的信任和依赖。信任关系必须是平衡的；过多的信任可能导致对系统的误用，而过少的信任则可能导致对系统的完全废弃[13]。最终，解释的目的是帮助用户建立一个适当的系统心智模型，以确保它能被有效使用[14]。深度学习有可能改善复杂军事系统的自主性，如战斗机、潜艇、无人机和卫星监视系统。然而，它也会使这些系统变得更加复杂和难以解释。主要原因是，DL是一种端到端的机器学习技术，意味着机器学习从输入数据中提取最重要的特征，以实现高性能。这被称为表征学习，它与传统技术不同，传统技术是用人类的直觉来手动提取这种特征。表征学习往往能带来高性能，但它也要求模型具有高度的表现力和非线性。因此，使用DL训练的DNN可能由数百万甚至数十亿的参数组成。这使得它们很难向人类解释和说明，即使学习算法、模型结构、训练数据等都是已知的和很好理解的。美国国防部高级研究计划局（DARPA）于2016年启动的可解释人工智能（XAI）计划也许是为解决这一挑战而采取的最全面的军事举措。该计划的目的是：- "产生更多可解释的模型，同时保持高水平的学习性能（预测精度）。"
- "使人类用户能够理解、适当地信任并有效地管理新一代的人工智能伙伴"。
自XAI计划开始以来，已经取得了许多技术上的进步。一些XAI技术甚至已经实现并打包在软件库中，可用于深入了解、调试和验证DNN[16, 17, 18]。这是朝正确方向迈出的一步，但从军事角度来看，关键是XAI技术和工具也要为军事用户量身定做，因为在这些地方需要高级解释，以确保信任、使用和性能。1.1 目的和范围
本报告的目的是介绍在DL背景下开发的代表性XAI技术。本报告并非详尽无遗，它并不涵盖文献中提出的所有XAI技术。1.2 目标读者群
本报告的目标读者是操作、获取或开发AI、ML和DL技术以用于系统或嵌入系统的军事人员。1.3 概要
第2章介绍了智能Agent、机器学习和深度学习的概念。第3章介绍了文献中提出的各种XAI技术。第4章介绍了可用于评估XAI技术所提供的解释方法和技术。第5章介绍了一个案例研究，其中XAI被用来解释一个深度学习模型的行为。最后，第6章对报告进行了总结，并对未来的工作提出了建议。https://www.zhuanzhi.ai/vip/811d2e816302e5d32e76e4eb5a1ced65专知便捷查看
便捷下载，请关注专知人工智能公众号（点击上方蓝色专知关注）
专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取100000+AI(AI与军事、医药、公安等)主题干货知识资料！
点击“阅读原文”，了解使用专知，查看获取100000+AI主题知识资料
