社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  机器学习算法

【CMU博士论文】机器学习自动化算法设计实用方法,153页pdf

专知 • 1 年前 • 232 次点击  


配置调优是实现许多计算方法良好性能的关键实践。然而,配置复杂且离散的算法往往需要大量的试错努力,这是由于缺乏自动化解决方案。在大规模系统中,计算任务众多并且不断变化其特异性,手动调优的重复成本成为阻碍可扩展性的主要瓶颈。此外,缺乏一种系统化方法来配置部署设置,使得在不同部署条件下复现所得结果变得具有挑战性。为了解决这些问题,本论文专注于在几个经典和多任务设置中开发新的数据驱动自动化算法设计(AAD)框架。具体来说,在经典配置调优设置中,我们解决了贝叶斯方法的核选择问题,以及生物序列草图的最小化构建问题。在多任务场景中,我们解决了针对多个客户端的隐私保护神经架构搜索问题,以及在异构任务流中的参数优化元学习问题。在所有这些问题中,待优化的变量通常具有树、图或排列等离散结构。我们的贡献是一系列重构技术,这些技术导致了这些配置域中有效且准确的调优方法。最后,我们展示了我们方法在实际场景中的性能,并显示它们显著优于现有最先进的基准。

算法通常会开发具有可由用户根据其用例配置的参数。尽管对于每个应用程序使用默认配置很方便,但当算法性能对配置选择敏感时,这种策略是次优的。例如,为诸如支持向量机和高斯过程的核方法选择合适的核函数以模拟数据相关性,可以强烈影响概率推理的结果。在深度学习中,必须选择神经网络架构的设计(例如,层数、激活函数类型以及每层的神经元数量),以实现特定任务类型的最佳性能。

在性能差异较大的领域中,因此一种更实用的方法是根据任务逐个校准算法的设计。也就是说,我们寻求为每个新问题实例找到最合适的模型配置。然而,这种校准步骤传统上依赖于领域专家的专业知识和启发式方法,由于涉及的重复调优工作,使其难以扩展。缺乏一种有原则和自动化的方法来配置算法解决方案,激发了对自动化算法设计(AAD)的研究,通过系统优化框架进行研究,这最初在Rice的工作中被考虑,随后在深度学习、非参数贝叶斯方法和离散算法等各种算法领域中进行了研究。



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复或发消息“PMML” 就可以获取《【CMU博士论文】机器学习自动化算法设计实用方法,153页pdf》专知下载链接

点击“阅读原文”,了解使用专知,查看获取100000+AI主题知识资料

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/164545
 
232 次点击