文本处理中stop word什么意思

  统计/机器学习 自然语言处理    浏览次数: 321
0

文本处理中stop word什么意思?

 

whanq   2018-03-06 12:18



   2个回答 
4

stop word 中文即停用词。

在信息检索中,为节省存储空间和提高搜索效率,在处理自然语言数据(或文本)之前或之后会自动过滤掉某些字或词,这些字或词即被称为Stop Words(停用词)。

这些停用词都是人工输入、非自动化生成的,生成后的停用词会形成一个停用词表。

对于一个给定的目的,任何一类的词语都可以被选作停用词。通常意义上,停用词大致分为两类。

  1. 一类是人类语言中包含的功能词,这些功能词极其普遍,与其他词相比,功能词没有什么实际含义,比如'the'、'is'、'at'、'which'、'on'等。但是对于搜索引擎来说,当所要搜索的短语包含功能词,特别是像The Who、The The或Take That等复合名词时,停用词的使用就会导致问题。
  2. 另一类词包括词汇词,比如'want'等,这些词应用十分广泛,但是对这样的词搜索引擎无法保证能够给出真正相关的搜索结果,难以帮助缩小搜索范围,同时还会降低搜索的效率,所以通常会把这些词从问题中移去,从而提高搜索性能。

dzzxjl   2018-03-06 13:10

1

stop word主要是两类

一种是虚词、没什么意思,留在里面没有什么预测能力

一种是太常见的词,你有我有全都有,留在里面也没有什么差异性

就中文来说,常见的stop word:

"的", "了", "在", "是", "我", "有", "和", "就",  "人", "都", "一", "一个", "上", "也", "很", "到", "说", "要", "去", "你",   "会", "着", "好", "自己", "这"


岛歌   2018-03-09 12:25



  相关主题

自然语言处理中的Tf-idf是什么意思   1回答

文本处理中的tf是什么意思?如何计算?   1回答

wordcloud安装报错error: Microsoft Visual C++ 14.0 is required   1回答

python里实现词云的package   3回答

python里怎么把中文字符串转化为成list   1回答

用python统计字符串中空格的个数   3回答

如何用python统计一个txt文本的行数   3回答

自然语言处理中的分词是什么意思?   1回答

求推荐条件随机场(CRF)的python package   1回答

请问NLP中这种编码方式有没有什么术语?   1回答

求python里得到n-grams的包?   2回答

python去掉中文文本中所有的标点符号   3回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!