自动化机器学习（AutoML）旨在通过自动化模型和超参数选择等复杂任务的优化来提高机器学习（ML）技术的效率和可访问性。虽然与手动专家驱动的过程相比，AutoML系统和超参数优化（HPO）框架已经证明在效率上有所提高，但目前对解释性的需求仍然难以满足。这项工作以系统的方式连接了AutoML和可解释人工智能这两个新兴领域。论文包括多种方法论方法，以增强AutoML背景下的可解释性。在整个论文中，区分了三个可解释性要求级别：（1）最终模型的可解释性，（2）找到模型的学习算法的可解释性，以及（3）配置了找到模型的学习算法的AutoML系统的可解释性。论文的第一部分解决了AutoML系统返回的模型可解释性的要求。第一个贡献文章总结了多目标超参数优化，并提出了解释性和稀疏性作为HPO的进一步目标的动机。在第二个贡献文章中，我们开发了一种高效的多目标HPO方法，以预测性能和模型稀疏性作为模型可解释性的一个标准进行优化。论文的第二部分涉及对AutoML过程中尝试的学习算法或诱导机制的可解释性。第三个贡献文章提出了一种新方法，扩展了部分依赖图，以生成有关学习算法的超参数对性能的影响的见解。该技术以事后的方式考虑了通常存在于AutoML系统生成的实验数据中的采样偏差。第四个贡献文章介绍了一种方法，通过调整优化器的搜索策略来解决采样偏差的问题，以考虑超参数效应的解释可靠性。论文的最后部分涉及AutoML系统的机制和组件的可解释性。其目标是解释为什么AutoML系统内部使用的特定优化器及其组件比其他优化器更好。第五个贡献文章对多适度HPO算法进行了彻底评估。引入了一个多适度HPO算法的表达丰富和灵活的框架，并通过优化自动配置，通过消融分析分析了结果。这项工作得益于一个高效的多适度基准测试套件（YAHPO gym），这是论文的第六个贡献。
专知便捷查看
便捷下载，请关注专知公众号（点击上方蓝色专知关注）
点击“阅读原文”，了解使用专知，查看获取100000+AI主题知识资料
