NLP里的OOV是什么意思?

  统计/机器学习 自然语言处理 开放问题    浏览次数:22441        分享
0

NLP里的OOV是什么意思?经常看到这个OOV,但是也没有人写出全称。

 

特兰克斯   2019-05-09 06:34



   2个回答 
4

在自然语言处理或者文本处理的时候,我们通常会有一个字词库(vocabulary)。这个vocabulary要么是提前加载的,或者是自己定义的,或者是从当前数据集提取的。

假设之后你有了另一个的数据集,这个数据集中有一些词并不在你现有的vocabulary里,我们就说这些词汇是Out-of-vocabulary,简称OOV。

SofaSofa数据科学社区DS面试题库 DS面经

木子周   2019-05-15 11:42

谢谢 - 特兰克斯   2019-05-16 10:36
1

OOV就是out-of-vocabulary,不在词库里的意思。

SofaSofa数据科学社区DS面试题库 DS面经

wxw_pku   2019-05-09 11:56

谢谢 - 特兰克斯   2019-05-16 10:36


  相关讨论

自然语言处理中的分词是什么意思?

怎么识别“的”“地”“得”是否用错?

求推荐条件随机场(CRF)的python package

数据批量分析提取,求指点迷津

文本分类问题怎么做data augmentation?

文本处理中stop word什么意思

jieba分词中最大正向匹配法是什么?

“阅读需要X分钟”这个功能是如何实现的?

怎么判断一句中文话语是否通顺

如何确定LDA主题模型中的主题个数?

  随便看看

tsne被忽视?tsne有什么缺点?

sota model是什么意思?

sklearn里的LabelEncoder什么用?

怎么理解tweedie分布?

返回DataFrame或者array的行数