单词表示的两大问题

对于一个 word type 总是用相同的表示，不考虑这个 word token 出现的上下文 我们对一个词只有一种表示，但是单词有不同的方面，包括语义，句法行为，以及表达/ 含义

单词表示的解决方法：

在模型中，我们通过LSTM层（也许旨在语料库上训练） 在那些LSTM层被训练来预测下一个单词 但是这些语言模型在每一个位置生成特定与上下文的词表示

Representations for a word

使用LSTM之类的循环神经网络训练word vector，会有一定的局限性。类似虽然把词典背熟了，但是不够灵活，不会紧密的联系上下文进行理解。

TagLM - “Pre-ELMo”

结合词嵌入模型和循环神经网络模型，一方面保留来“词典”的渊博知识，另一方面可以根据上下文进行理解。

ELMo: Embeddings from Language Models

word2vec无法解决一词多义的问题. 在之前word2vec及GloVe的工作中，每个词对应一个vector，对于多义词无能为力，或者随着语言环境的改变，这些vector不能准确的表达相应特征。ELMo的作者认为好的词表征模型应该同时兼顾两个问题：一是词语用法在语义和语法上的复杂特点；二是随着语言环境的改变，这些用法也应该随之改变。

使用ELMo之后，可以直接从大量文本学习训练。 ELMO由一层input层 和 两层双向LSTM 组合而成的，input层可看为embedding层，不过ELMO是通过字符卷积来得到embedding的，不是矩阵相乘；用两个单向LSTM替代一个双向LSTM。

ELMO最重要的一点是，它解决了一词多义的问题。

以word2vector来说，word与vector是一一对应的，输入句子，然后输出句子中每个字对应vector，可以看成查表的过程。

如：输入 画画 ，word2vector就会输出两个一样的vector，但是第一个画是动词、第二个画是名词，他们的vector应该是不一样的，但word2vector并不能区分。即使在训练过程中对embedding矩阵进行更新，它依旧还是一一对应的关系。

向ELMO输入 画画 ，输出的两个向量是经过2层LSTM后的结果，它们是不同的。这是ELMO根据输入句子的语境得到的结果。

ELMo算法过程为:

先在大语料上以language model为目标训练出bidirectional LSTM模型; 然后利用LSTM产生词语的表征;

ELMo模型包含多layer的bidirectional LSTM，可以这么理解： 高层的LSTM的状态可以捕捉词语意义中和语境相关的那方面的特征(比如可以用来做语义的消歧)，而低 层的LSTM可以找到语法方面的特征(比如可以做词性标注)。

但是，用双向的模型结构去训练语言模型会导致“看到自己”或“看到答案”的问题。后来的预训练语言模型也都在避免或解决这个问题，解决的程度也影响着模型效果。

ELMO选择使用两个单向LSTM代替一个双向LSTM；

GPT选择通过mask得分矩阵避免当前字看到之后所要预测的字，所以GPT是只有正向的，缺失了反向信息；

BERT选择将所要预测的字用[MASK]字符代替，无论你是正向的还是反向的，你都不知道[MASK]这个字符原来的字是什么，只有结合[MASK]左右两边的词语信息来预测。这就达到了用双向模型训练的目的，但也引入了 预训练-微调 不一致的问题。

GPT

GPT是一种半监督学习方法，它致力于用大量无标注数据让模型学习“常识”，以缓解标注信息不足的问题。其具体方法是在针对有标签数据训练Fine-tune之前，用无标签数据预训练模型Pretrain，并保证两种训练具有同样的网络结构。

GPT的训练分为两个阶段；

1.无监督预训练语言模型； 2.各个任务的微调。

The Motivation for Transformers

循环神经网络有个不太好的地方，那就是无法方便的进行并行运算，即无法用空间换取时间。

谷歌发表了“Attention is all your need”，描述来一种全新的可以并行训练的方法——Transformer，为bert打下了基础。

Bert

Bert的实现方式就是基于Transformer，彻底的将encoder和decoder均换上来Transformer。

BERT的全称是Bidirectional Encoder Representation from Transformers，即双向Transformer的 Encoder。模型的主要创新点都在pre-train方法上，即用了Masked LM和Next Sentence Prediction两 种方法分别捕捉词语和句子级别的representation。

BERT与GPT非常的相似，都是基于Transformer的二阶段训练模型，都分为Pre-Training与Fine-Tuning两个阶段，都在Pre-Training阶段无监督地训练出一个可通用的Transformer模型，然后在Fine-Tuning阶段对这个模型中的参数进行微调，使之能够适应不同的下游任务。

虽然BERT与GPT看上去非常的相似，但是它们的训练目标和模型结构和使用上还是有着些许的不同：

GPT采用的是单向的Transformer，而BERT采用的是双向的Transformer，也就是不用进行Mask操作；使用的结构的不同，直接导致了它们在Pre-Training阶段训练目标的不同；