社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  机器学习算法

Nature 速递:预训练深度学习模型进行网络生物学预测

集智俱乐部 • 1 年前 • 383 次点击  


关键词:迁移学习,深度学习,预训练,网络生物学,转录组学,网络动力学


论文题目:Transfer learning enables predictions in
论文来源:Nature
论文链接:https://www.nature.com/articles/s41586-023-06139-9

绘制基因网络需要大量的转录组数据来学习基因之间的联系,这阻碍了数据有限场景中的科学发现,包括罕见疾病和影响临床无法到达的组织的疾病。最近,迁移学习利用深度学习模型,在自然语言理解和计算机视觉等领域引发了革命,这些深度学习模型首先在大规模通用数据集上预训练,然后通过有限的特定任务数据对大量下游任务进行微调。

这项最新发表于 Nature 的研究,开发了一种上下文感知的、基于注意力的深度学习模型 Geneformer。该模型在大约 3000 万个单细胞转录组的大规模语料库中进行了预训练,以便在网络生物学的有限数据环境下进行上下文特定的预测。在预训练期间,Geneformer 获得了对网络动力学的基本理解,以完全自监督的方式在模型的注意力权重中编码网络层次。在使用有限的特定任务数据对与染色质和网络动力学有关的各种下游任务进行微调后,表明 Geneformer 始终提高预测的准确性。

Geneformer 应用于具有有限患者数据的疾病建模,确定了心肌病的候选治疗目标。总的来说,Geneformer 代表了一种预训练的深度学习模型,可以对其进行微调以实现广泛的下游应用,加速发现关键的网络调节器和候选治疗目标。
图1. Geneformer 架构和迁移学习策略

图2. Geneformer 编码的基因网络层次结构

图3. 计算机处理揭示候选治疗靶点



编译|刘志航

AI+Science 读书会

详情请见:
人工智能和科学发现相互赋能的新范式:AI+Science 读书会启动

推荐阅读

1. Nat. Commun.速递:深度学习在计算生物学中的应用综述
2. Science评论:深度学习助力高通量结构生物信息学
3. 深度学习首次验证进化数学模型:趋同演化增加生物多样性
4. 《张江·复杂科学前沿27讲》完整上线!
5. 成为集智VIP,解锁全站课程/读书会
6. 加入集智,一起复杂!


点击“阅读原文”,报名读书会

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/156102
 
383 次点击