2023年，最为振奋的AI技术大概就是ChatGPT了。紧接着，“大语言模型（Large Language Model）”这个词也映入人们的眼帘。大语言模型的核心是Transformer模型，它是一种基于自注意力机制的神经网络结构。自注意力机制能够有效地处理文本中的长距离依赖关系，使得模型能够更好地捕捉上下文信息。
9月7日-9月8日，浙江大学博士，某大厂高级算法工程师Liz老师为我们带来——ChatGPT爆火背后的语言模型，和大家一起探讨语言模型的前世今生。
论文合集仅展示部分
-浙江大学博士，某大厂高级算法工程师
-共发表20余篇SCI国际期刊和EI会议论文，包括一区期刊IEEE Internet of Things Journal(影响因子11.1)，IEEE Transactions on Energy Conversion(影响因子5.4)等，累计引用600余次
-研究领域：能源与智慧运维，物联网，边缘计算，机器视觉、 模式识别与图形处理、元宇宙、大模型等
-指导博士研究生、硕士研究生、公司实习生20余人
一、语言模型的前世今生
1.语言模型简述与其类型
2.语言模型的架构
3.预训练模型
4.应用与展望
二、主流大模型
1.主流大模型类型
2.评价指标
3.两大语言模型详情
4.预训练模型
5.模型基底与训练
大语言模型的训练过程通常包括两个阶段：预训练和微调。在预训练阶段，模型使用大规模的非标记数据进行训练，通过自监督学习的方式掌握语言的规则和语义。预训练阶段的目标是尽可能地学习到语言的统计属性和上下文关系。在预训练完成后，模型会进入微调阶段，使用有标记的数据进行特定任务的训练，以提高模型在具体任务上的性能。
作为人工智能计算机界的大热门，语言模型绝对是一篇论文的好idea，9月7日-9月8日，浙江大学博士，某大厂高级算法工程师Liz老师将带着大家一起探讨模型语言的前世今生。
论文合集仅展示部分
前段时间，谷歌推出了PaLM 2模型，该模型是目前最为先进的大语言模型，据测试，其性能部分超越了GPT-4。同时，PaLM 2模型有4个不同规模的版本，从轻量级到大规模依次为Gecko、Otter、Bison 和 Unicorn。其中轻量化的Gecko很适合用于移动设备，速度足够快且在离线模式下运行也很出色。
语言模型LM基本经过了4个发展阶段。
1.STM (统计语言模型): 例如基于马尔科夫链预测下个词。
2.NLM (神经语言模型/基于神经网络的语言模型) :例如RNN、LSTM等。
3.PLM(预训练语言模型): GPT-1，GPT-2，Ber等。与NLM的不同是，将语言模型做成了“劳永逸”的形式，即一个模型可以做很多事，只要训练了一个模型后，不需要下游任务进行复杂的微调。其中GPT-2将模型做成了Zero-shot的形式大大加强了预训练语言模型的性能。
4.LLM(大型语言模型): GPT-3，PALM、ChatGPT、LLaMA、GPT-4等。与PLM最直观的不同是模型大了，训练数据多了。
全民积极向（内）上（卷）的时代，江湖常有传言：SCI在手，升职加薪、前程无忧。
发论文的门槛，说高不高，说低不低。不管你是科研经验丰富的研二研三学生还是研0小白都可以发论文的。有时候限制你发论文的，不是写作技巧、不是实验，往往是最初但是最重要的idea。对于想要发表论文，对科研感兴趣或正在为科研做准备的同学，想要快速发论文有两点至关重要。想发文章最容易的方法就是紧跟风口，顺着领域内的研究趋势确定自己的方向，毕竟在热门领域内，创新点和idea远比其他非热门领域多。大家都在努力的设计新网络、新策略、新training算法，只要能够在某一问题上做到一个很好的performance，论文就水到渠成。而想要快速达到，来自前辈的指点不可或缺。
作为日常为了论文而忙碌的科研人，小编知道大家一定很需要一些资料。因此，小编精心整理了2023最新AI精品系列课程！课程包含AI基础入门课、前沿论文带读，沐神点赞的同济子豪兄精读AI论文系列，全部整理完毕！
