word2vec怎么处理一词多义的情况?

  统计/机器学习 自然语言处理 开放问题    浏览次数:1786        分享
0

比如“苹果”,一个意思是“一种水果”,一个意思是“手机、电脑品牌”。按照word2vec,意义相近的词的词向量也是想接近的,那么苹果的词向量是和香蕉、橙子的词向量接近,还是和三星、华为、联想之类的词接近?

有没有办法分开处理一词的多个含义?

 

新同学   2018-11-07 12:33



   3个回答 
7

word2vec处理不了多义词的,但是Google最新的语言文字模型BERT可以处理。

了解一下BERT(Bidirectional Encoder Representations from Transformers)

BERT的这个文章里还特地举例了,bank,在英文里是银行的意思,也是河岸、河畔的意思,典型的一词多义。

SofaSofa数据科学社区DS面试题库 DS面经

strong.man   2019-05-22 23:20

现在需要结合上下文理解词义的就是bert了 - abuu   2019-05-29 10:06
6

我觉得word2vec本身应该是不能处理这个问题的,word2vec的作用是对词汇进行向量表达。如果一个词汇有多个含义,那么这个词汇的词向量本身也应该是多个向量的加和。

比如你提到的“苹果”,一个意思是“手机”,一个意思是“水果”,如果你做减法操作,$v($苹果$)-v($手机$)$,这个减法的结果应该比较接近$v($水果$)$。

此外,有一些基于word2vec的方法可以处理一词多义,如果看兴趣的话,可以看论文Solving Verbal Comprehension Questions in IQ Test by Knowledge-Powered Word Embedding的Section4.2。

SofaSofa数据科学社区DS面试题库 DS面经

wxw_pku   2018-12-27 13:04

4

这个问题在quora上也讨论过

Can Word2Vec be used for Word Sense Disambiguation?

How does word2vec deal with multi-sense words?

SofaSofa数据科学社区DS面试题库 DS面经

LiShanfei   2018-12-31 05:27



  相关主题

NLP里的OOV是什么意思?   2回答

自然语言处理中的分词是什么意思?   1回答

求推荐条件随机场(CRF)的python package   1回答

如果不去除stop words,word2vec的结果会受到影响吗?   1回答

数据批量分析提取,求指点迷津   4回答

自然语言处理中的Tf-idf是什么意思   2回答

nlp里的stemming是什么意思?   2回答

怎么判断一句中文话语是否通顺   1回答

文本处理中stop word什么意思   2回答

jieba分词中最大正向匹配法是什么?   1回答

“阅读需要X分钟”这个功能是如何实现的?   2回答

文本处理中的tf是什么意思?如何计算?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!