向量表示

one-hot编码TF-IDF两种方法的优缺点

one-hot编码

该编码方式的向量长度=词典大小

Boolean Representation：未出现记为0,出现记为1

Count-based Representation：未出现记为0，出现记出现的次数. 该方法中出现次数越多并不代表越重要

举例：

TF-IDF

$$TF-IDF\left(w\right)=TF\left(d,w\right)\ast IDF\left(w\right)$$ TF词频( TermFrequency ) ，IDF逆向文件频率( InverseDocumentFrequency ) 主要用于表示单词的重要程度.其中： $$TF\left(d,w\right)=\frac{count\left(w\right)}{count\left(d\right)},\text{文档}d\text{中}w\text{的词频}$$

$$IDF\left(w\right)=\log \frac{N}{N\left(w\right)},N\text{表示文档总数，}N\left(w\right)\text{表示包含}w\text{的文档数目}$$

假设理论： 对区别文档最有意义的词语应该是那些在文档中出现频率高，而在整个文档集合的其他文档中出现频率少的词语，所以如果特征空间坐标系取TF词频作为测度，就可以体现同类文本的特点。另外考虑到单词区别不同类别的能力，TFIDF法认为一个单词出现的文本频数越小，它区别不同类别文本的能力就越大。

举例：

上述三种方法只是简单的表示除分词在文档中的出现情况，并未学习到句子结构中的任何句法语法信息。

两种方法的优缺点

稀疏性：使用one-hot编码会出现每行只有一位为1，其余均为0的现象。向量表太大one-hot表示的词向量不能用于计算词于词之间的相似性（计算结果为零）。

---

个人整理笔记，方便复习，若侵权，请联系。 附贪心学院课程链接： https://www.greedyai.com/courseinfor/105