自然语言处理中的分词是什么意思?

  统计/机器学习 自然语言处理 开放问题    浏览次数:6024        分享
1

自然语言处理中的分词是什么意思?能否请大神举几个简单的例子。抱拳!

 

魏哲   2017-05-24 14:14



   1个回答 
1

分词就是把一句话里的词按照意义或者词性分开。


今天我吃肯德基  》》今天 / 我 / 吃 / 肯德基

机器学习是一门高深的学问 》》 机器学习 / 是 / 一门 / 高深 / 的 / 学问


jieba是比较常用的中文分词包,支持各种语言。

SofaSofa数据科学社区DS面试题库 DS面经

word哥   2017-05-31 11:12



  相关讨论

怎么识别“的”“地”“得”是否用错?

NLP里的OOV是什么意思?

求推荐条件随机场(CRF)的python package

数据批量分析提取,求指点迷津

文本分类问题怎么做data augmentation?

文本处理中的tf是什么意思?如何计算?

文本处理中stop word什么意思

自然语言处理中的Tf-idf是什么意思

怎么判断一句中文话语是否通顺

nlp里的stemming是什么意思?

  随便看看

在使用PCA降维时,有哪些坑?

返回DataFrame或者array的行数

什么是SMOTE sampling方法?

numpy.array转换为图片并显示出来

多重检验中的FDR(false discovery rate, 错误发现率)是什么?