GitHub上最火的 自然语言处理教程

面向深度学习研究人员的自然语言处理教程

源代码

http://www.gitpp.com/CircuitVerse/nlp-tutorial

nlp-tutorial是针对使用Pytorch学习 NLP（自然语言处理）的人的教程。NLP 中的大多数模型都是用不到100 行代码实现的。（注释或空行除外）

• [2020-08-14] 旧版 TensorFlow v1 代码存档在存档文件夹中。为了方便初学者阅读，仅支持 pytorch 1.0 或更高版本。

课程 -（目的示例）

1. 基本嵌入模型

• 1-1. NNLM(神经网络语言模型) -预测下一个单词

• 论文 - 神经概率语言模型（2003）

• Colab- NNLM.ipynb

• 1-2. Word2Vec(Skip-gram) -词向量化并展示图

• 论文 -单词和短语的分布式表示及其组合性（2013）

• Colab- Word2Vec.ipynb

• 1-3. FastText(应用层) -句子分类

• 论文 -高效文本分类的技巧包（2016）

• Colab- FastText.ipynb

2.CNN（卷积神经网络）

• 2-1. TextCNN -二元情感分类

• 论文 -用于句子分类的卷积神经网络（2014）

• 文本CNN.ipynb

3.RNN（循环神经网络）

• 3-1. TextRNN -预测下一步

• 论文——寻找时间结构（1990）

• Colab- TextRNN.ipynb

• 3-2. TextLSTM -自动完成

• 论文 -长期短期记忆（1997）

• Colab- TextLSTM.ipynb

• 3-3. Bi-LSTM -预测长句中的下一个单词

• Colab- Bi_LSTM.ipynb

4.注意力机制

• 4-1. Seq2Seq -改变单词

• 论文 -使用 RNN 编码器-解码器学习短语表征以实现统计机器翻译 (2014)

• Colab- Seq2Seq.ipynb

• 4-2.带注意力机制的 Seq2Seq -翻译

• 论文 -通过联合学习对齐和翻译实现神经机器翻译 (2014)

• Colab- Seq2Seq（Attention）.ipynb

• 4-3.带注意力机制的 Bi-LSTM -二元情感分类

• Colab- Bi_LSTM（注意）.ipynb

5.基于Transformer的模型

• 5-1. Transformer -翻译

• 论文 -注意力就是你所需要的一切（2017）

• Colab—— Transformer.ipynb，Transformer（Greedy_decoder）.ipynb

• 5-2. BERT -分类下一句并预测掩码标记

• 论文 - BERT：用于语言理解的深度双向变压器的预训练（2018）

• Colab- BERT.ipynb

面向深度学习研究人员的自然语言处理教程

源代码

http://www.gitpp.com/CircuitVerse/nlp-tutorial