cs224n笔记04-Contextual Word Embeddings

    技术2024-07-30  67

    上下文相关的词嵌入

    静态词向量的没个词有一个唯一的向量表示,即使具有多个含义的词也只能有一种表达方式。但是上下文相关的词嵌入可以解决一词多义的问题。比较常见的动态词向量训练方法有elmo、bert等

    bert使用的是transformer的encoder,任务是mask语言模型和NSP(预测下一个句子)

    bert的fine-tuning训练方式

    Processed: 0.010, SQL: 9