文本处理中的tf是什么意思?如何计算?

  统计/机器学习 自然语言处理    浏览次数:4007        分享
0

如题


 

图不二   2017-11-11 12:41



   1个回答 
1

TF是词频的意思,英文是term frequency。就是某个词在某个文章里出现的频率。

通常表示为

TF(w, d) = 词汇w出现的次数 / 文章d总的单词数量。


以中文段落为例,d= “知之为知之 不知为不知”

那么,TF(知, d) = 4 / 10 = 0.4,  TF(为, d) = 2 / 10 = 0.2


SofaSofa数据科学社区DS面试题库 DS面经

桐桐酱   2017-11-11 16:24



  相关讨论

“阅读需要X分钟”这个功能是如何实现的?

nlp里的stemming是什么意思?

怎么判断一句中文话语是否通顺

自然语言处理中的Tf-idf是什么意思

文本处理中stop word什么意思

jieba分词中最大正向匹配法是什么?

怎么把英文字符串转为小写(python)?

有个一万段文字 有一个关键词列表 找出文字中含有关键词的那些文字

如何用python统计一个txt文本的行数

wordcloud安装报错error: Microsoft Visual C++ 14.0 is required

  随便看看

cvr和ctr的区别是什么?

模型调参时常用到的Grid Search是什么意思?

KNN中K值的选择

随机森林会发生过拟合(overfitting)吗?

线性回归或者逻辑回归中常提到的AIC和BIC是什么意思?