关于NLP相关技术全部在这里：预训练模型、图神经网络、模型压缩、知识图谱、信息抽取、序列模型、深度学习、语法分析、文本处理

大家都知道NLP近几年非常火，而且发展也特别快。那些耳熟的BERT、GPT-3、图神经网络、知识图谱等技术实际上也就是这几年发展起来的，特别像图神经网络在这两年间取得了飞速的发展。我们正处在信息爆炸的时代、面对每天铺天盖地的新的网络资源和论文、很多时候我们面临的问题并不是缺资源，而是找准资源并高效学习。但很多时候你会发现，花费大量的时间在零零散散的内容上，但最后发现效率极低，浪费了很多宝贵的时间。

为了迎合大家学习的需求，我们这次重磅推出了《自然语言处理终身升级版》（一定要看到最后），主要有两个目的：

1. 对于今后想从业NLP领域的人，这可能是最全面但同时最精简的课程，学完绝对可以满足相关岗位的要求（当然面试不仅仅看技术哦~），而且大概率在技术层面上能做到同行业TOP20%的水准。

2. 对于已经从业AI领域的人，可以帮助你利用最少的时间成本来加深对知识的理解和对前沿技术的理解。一个重要且新的技术最晚1个月内会出现在课程中。

2017年有一篇开创性的文章叫作"Attention is all you need"， 那我们可以很自信地说“This course is all you need”，覆盖了从经典的机器学习、文本处理技术、序列模型、深度学习、预训练模型、知识图谱到图神经网络所有必要的技术。而且，最重要的一点是：我们课程会频繁更新，你在有效期内可以享受所有更新之后的内容，你可以理解为它是你在NLP领域中的终身伴侣。比如一篇新的有趣的论文出现在了arxiv上，我们最晚在1个月之内提供技术的讲解和实战。

课程不需要任何AI基础，唯一的要求是良好的编程基础。

第一章：自然语言处理概述

• 什么是自然语言处理

• 自然语言处理的现状与前景

• 自然语言处理应用

• 自然语言处理经典任务

• 职业发展

• 时间复杂度、空间复杂度

• 动态规划

• 贪心算法

• 各种排序算法

• 逻辑回归介绍

• 最大似然估计

• 优化与梯度下降法

• 随机梯度下降法

• 理解过拟合

• 防止过拟合

• L1与L2正则

• 交叉验证

• 正则与MAP估计

• 各类分词算法

• 词的标准化

• 拼写纠错、停用词

• 独热编码表示

• tf-idf与相似度

• 分布式表示与词向量

• 词向量可视化与评估

  
  

• 独热编码的优缺点

• 分布式表示的优点

• 静态词向量与动态词向量

• SkipGram与CBOW

• SkipGram详解

• Negative  Sampling

• 语言模型的作用

• 马尔科夫假设

• UniGram, BiGram, NGram模型

• 语言模型的评估

• 语言模型的平滑技术

• HMM的应用

• HMM的Inference

• 维特比算法

• 前向、后向算法

• HMM的参数估计详解

  
  

• 有向图与无向图

• 生成模型与判别模型

• 从HMM与MEMM

• MEMM中的标签偏置

• Log-Linear模型介绍

• 从Log-Linear到LinearCRF

• LinearCRF的参数估计

• 理解神经网络

• 各种常见的激活函数

• 反向传播算法

• 浅层模型与深度模型对比

• 深度学习中的层次表示

• 深度学习中的过拟合

• 从HMM到RNN模型

• RNN中的梯度问题

• 梯度消失与LSTM

• LSTM到GRU

• 双向LSTM

• 双向深度LSTM

• Seq2Seq模型

• Greedy Decoding

• Beam Search

• 长依赖所存在的问题

• 注意力机制的实现

  
  

• 基于上下文的词向量技术

• 图像识别中的层次表示

• 文本领域中的层次表示

• ELMo模型

• ELMo的预训练与测试

• ELMo的优缺点

• LSTM模型的缺点

• Transformer概述

• 理解自注意力机制

• 位置信息的编码

• 理解Encoder和Decoder区别

• 理解Transformer的训练与预测

• Transformer的缺点

• 自编码介绍

• Transformer Encoder

• Masked语言模型

• BERT模型

• BERT的不同训练方式

• ALBERT 
  

  
  

• RoBERTa模型

• SpanBERT模型

• FinBERT模型

• 引入先验知识

• K-BERT

• KG-BERT

• Transformer Encoder回顾

• GPT-1, GPT-2,  GPT-3

• ELMo的缺点

• 语言模型下同时考虑上下文

• Permutation LM

• 双流自注意力机制

  
  

• 信息抽取的应用和关键技术

• 命名实体识别

• NER识别常用技术

• 实体统一技术

• 实体消歧技术

• 指代消解

• 关系抽取的应用

• 基于规则的方法

• 基于监督学习的方法

• Bootstrap方法

• Distant Supervision方法

• 句法分析的应用

• CFG介绍

• 从CFG到PCFG

• 评估语法树

• 寻找最好的语法树

• CKY算法

• 从语法分析到依存文法分析

• 依存文法分析的应用

• 基于图算法的依存文法分析

• 基于Transition-based的依存文法分析

• 依存文法的应用案例

• 知识图谱的重要性

• 知识图谱中的实体与关系

• 非结构化数据与构造知识图谱

• 知识图谱设计

• 图算法的应用

• 模型压缩重要性

• 常见的模型压缩总览

• 基于矩阵分解的压缩技术

• 基于蒸馏的压缩技术

• 基于贝叶斯模型的压缩技术

• 模型的量化

• 图的表示

• 图与知识图谱

• 关于图的常见算法

• Deepwalk和Node2vec

• TransE图嵌入算法

• DSNE图嵌入算法

• 卷积神经网络回顾

• 在图中设计卷积操作

• 图中的信息传递

• 图卷积神经网络

• 图卷积神经网络的经典应用

• 从GCN到GraphSAge

• 注意力机制回归

• GAT模型详解

• GAT与GCN比较

• 对于异构数据的处理

• Node Classification

• Graph Classification

• Link Prediction

• 社区挖掘

• 推荐系统

• 图神经网络的未来发展

• 中文分词技术

• 独热编码、tf-idf

• 分布式表示与Word2Vec

• BERT向量、句子向量

• 问答系统搭建流程

• 文本的向量化表示

• FastText

• 倒排表

• 问答系统中的召回、排序

• 命名实体识别

• 特征工程

• 评估标准

• 过拟合

• 常见的对话系统技术

• 闲聊型对话系统框架

• 数据的处理技术

• BERT的使用

• Transformer的使用

• 医疗专业词汇的使用

• 获取问句的意图

• 问句的解释、提取关键实体

• 转化为查询语句

• 文本摘要生成介绍

• 关键词提取技术

• 图神经网络的摘要生成

• 基于生成式的摘要提取技术

• 文本摘要质量的评估

• 理工科相关专业的本科/硕士/博士生，毕业后想从事NLP工作的人

• 希望能够深入AI领域，为科研或者出国做准备

• 希望系统性学习NLP领域的知识
  

• 目前从事IT相关的工作，今后想做跟NLP相关的项目

• 目前从事AI相关的工作，希望与时俱进，加深对技术的理解

• 希望能够及时掌握前沿技术

●●●

课程其他的细节可以联系课程顾问来获取

添加课程顾问微信

报名、课程咨询

👇👇👇