Transformer 自 2017 年被提出后,从横扫 NLP 领域的风光无二,到陷入一片对其在 CV 任务有效性的质疑声中,再到不久前在多项图像任务中显示出直逼 CNN 的优异性能 以及 ICCV2021 best paper:Swin Transformer 的火热出炉,Transformer 逐步在 CV 领域大放异彩!
也因此,Transformer、Vision Transformer、QKV、Attention is all you need 等字眼又一次 引爆学术圈!
作为开发者,在为这颗学术巨星拍手叫好的同时,何不及时上车,搞明白编码器解码器里的 QKV 到底是什么、火遍全网的 Swin Transformer 做对了什么?Transformer 为何能横扫 NLP,又是 怎么在 CV 任务中发挥作用的?以及最近的 CV 大神新作 MAE 算法又是如何运作的?

花 10 个小时真正搞懂这些热词背后的技术价值,亲自动手实现这些爆款 ViT 算法,甚至将其应用在自己当前的工作中,成为下一个顶会爆款!
11 月 23 日(周二),AI 顶会审稿人、深度学习研究院资深研究员朱欤博士直播讲授《Vision Transformer 十讲》。每晚 1 小时、连续 10 天,朱欤博士带你从零玩转 ViT 算法!
Vision Transformer 前沿技术全面讲解:从 ViT 经典算法到最新学界前沿,从技术原理到实现细节,ViT, Swin, DETR 逐个带你掌握视觉算法新范式。
论文分析 + 逐行 Coding、现场板书,手推公式:详细解析论文要点,每节课有一半时间会带着大家现场写代码~带大家实现自己的 ViT 模型,对小白也很友好。
全程 carry 玩转 ViT:课程内容完全开源、全程中文直播授课、高水平助教团队社群内答疑、配套有不同难度的实践任务以满足各阶段学习需求,并提供免费 GPU 算力支持!
配套实用工具集 PPViT:帮助大家降低 ViT 模型实现门槛,提高科研学习生产力。(https://github.com/BR-IDL/PaddleViT )
理论:Hello, Vision Transformer!
实践:Warmup:模型搭建和训练
理论:从Transformer到Vision Transformer
实践:玩转Tensor操作,开始搭建ViT
理论:你看你的,我看我的之详解注意力
实践:Multi-Head Self Attention
理论:搭建你的第一个ViT模型
实践:如何实现ViT模型
理论:ViT模型搭建好了,如何高效训练?
实践:实战模型搭建和训练
理论:什么是Window Attention?
实践:图像窗口上的注意力机制
理论:大名鼎鼎的Swin Transformer
实践:实现你的第二个ViT模型
理论:Conv和Transformer的结合
实践:从框架源码看如何实现数据加载
理论:带你了解前沿算法:视觉上的BERT
实践:模型训练的技巧
理论:检测算法新范式-DETR
实践:实战ViT训练测试全流程
无论你是刚接触深度学习,还是已经在做科研,无论你是CV想转NLP,还是NLP想搞CV,又或者你想用最新的视觉技术打比赛、发论文,通过学习《Vision Transformer十讲》,你都将获得将论文中的模型图变成一行行代码的能力,告别简单的git clone和调包!
参与课程、致敬开源,即可获得:PaddlePaddle 官方结业证书、 Marshall ACTON II BLUETOOTH 无线重低音音箱、HHKB Professional 静电容蓝牙键盘、Tesla V100 GPU 算力卡、百度 网盘超级会员等超多奖励!上不封顶!更有直播间花式抽奖等你来拿!
11 月 23 日 — 12 月 2 日
每晚八点半
10节课带你掌握ViT前沿技术
回复【Paddle】 获取课程地址
加入官方QQ群(群号:920200490),获取开课地址、直播提醒、课程代码、免费算力、在线答疑等福利!