word2vec的网络里为什么没有bias偏置项

  统计/机器学习 自然语言处理 人工神经网络    浏览次数: 747
0

对于一般的神经网络模型,每层都会有代表bias的偏置项,为什么word2vec里却没有?

 

word哥   2017-03-13 19:36



   2个回答 
2

word2vec里面也是有bias项的,可能是你看的介绍里面把它省略了。但是对于word2vec模型里输入层,我们的确会常常省略输入层的bias项,因为模型只有一个隐藏层,而且输入层是线性的。可见即使在输入层加了bias项也没有影响,因为这相当于给隐藏层的bias项多加了个常数而已。

高代兄   2017-03-23 08:21

1

word2vec是输入层-隐层-输出层的结构。输入层-隐层的权重作为word2vec向量,应当没有bias项。隐层-输出层应该可以加bias。

nobodyoo1   2018-08-02 13:25



  相关主题

为什么基于skip-gram的word2vec在低频词汇相比cbow更有效?   0回答

gensim训练出的Word2Vec模型每次都不一样   1回答

文本处理中的tf是什么意思?如何计算?   1回答

自然语言处理中的Tf-idf是什么意思   1回答

文本处理中stop word什么意思   2回答

python里实现词云的package   3回答

wordcloud安装报错error: Microsoft Visual C++ 14.0 is required   1回答

怎么把英文字符串转为小写(python)?   2回答

用python统计字符串中空格的个数   3回答

如何用python统计一个txt文本的行数   3回答

python里怎么把中文字符串转化为成list   1回答

自然语言处理中的分词是什么意思?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!