这是一篇NLP tricks的集合，在自然语言处理的模型中，有很多优化模型效果的技巧，其中很多技巧已经称为默认设置，不再文章中额外说明。这里持续更新一些方法作为记录。
Weight Average是一种自动集成方式，指的是在最终进行模型测试前，取前面每个checkpoint模型权重的平均值作为最终的测试模型。
Adaptive embedding 是一种自适应词频的词嵌构建方法，通常用于词表较大的数据集（PTB这种小集就不用了）。这种方法的出发点是词频越高的词往往越容易出现一词多义的现象，同时其本身的含义也越丰富。 同时伴随的一般是一组Cut-off值，这个值将词频分为了几个区间，比如[300000, 60000, 2000]。这时，在不同区间的词有不一样大小的词嵌矩阵。对任意一个词进行词嵌操作，会首先根据不同词频映射为不同大小的词嵌向量，再通过线性映射，统一投影为规定维度大小。如下图所示： 高频词The和little通过高频词表转化为维度为d的词向量，而低频词dog转化为维度为 d k n − 1 \frac{d}{k^{n-1}} kn−1d的词向量，而后再将这些向量映射到d维的向量作为输入的token。
依据AWD-LSTM给出的解释，Variational Dropout不同于标准的Dropout，在每层，每次传递信息时使用Dropout都会随机生成一个Dropout mask。Variational Dropout会在第一次执行时就确定一个固定的Dropout mask。这个mask只会在下一个mini-batch时改变。
当我们在做语言模型或其他NLP任务时，每一步的输出很有可能是一个词。一般来说，我们输出这个词的策略是在最后一层输出一个词表大小的向量，然后使用softmax函数对这个向量的每一个元素打分，根据打分（或概率）的结果输出这个词。而这样做有一个很大的弊端，就是当词表非常大的时候，我们每一次进行输出都要遍历一遍词表。 Bengio（原文章）提出我们可以针对每个mini-batch汇总一次词表，以减小每次输出时遍历造成的高额运算，这就是Sampled Softmax。
GLUE全称为General Language Understanding Evaluation，可以访问其benchmark官网。 其中分为了多个任务，以下表格详细说明：
Task name中文翻译数据集说明评估矩阵CoLA (The Corpus of Linguistic Acceptability)评估数据集语法接受程度单句的二分类问题, 判断一个英文句子在语法上是不是可接受的Matthew’s CorrSST-2 (The Stanford Sentiment Treebank)标准情感数据集单句的二分类问题, 句子的来源于人们对一部电影的评价 判断这个句子的情感倾向为 Positive/NegativeAccuracyMRPC (Microsoft Research Paraphrase Corpus)微软复述语料库句子对来源于对同一条新闻的评论 判断这一对句子在语义上是否相同F1/AccuracySTS-B (Semantic Textual Similarity Benchmark)语义文本相似度数据类似回归问题,给出一对句子 使用1~5的评分评价两者在语义上的相似程度Pearson-Spearman CorrQQP (Quora Question Pairs)Quara问题对Quora 上的问题答案数据集, 目的是判断两个来自于Quora的问题句子在语义上是否是等价的F1 / AccuracyMNLI (MultiNL - matched/mismached)多自然语言句型/跨句型匹配推断两个句子是意思相近, 矛盾, 还是无关AccuracyQNLI (Question NLI)自然语言问题推断二分类问题, 两个句子是一个QA对 正样本为Answer是对应Question的答案, 负样本为不是AccuracyRTE (Recognizing Textual Entailment)文本蕴含识别二分类问题, 判断两个句子是否意思相近, 但是数据量较少AccuracyWNLI (Winograd NLI)自然语言推理数据集推断两个句子是意思相近, 矛盾, 还是无关Accuracy