求python里得到n-grams的包?

  统计/机器学习 自然语言处理 数据预处理 Python    浏览次数: 135
0

求一个python里得到n-grams的包

功能是对于给出的一段话,得到所有的n-gram

谢谢指教!

 

信春哥   2018-05-03 11:35



   2个回答 
1

nltk我不知道有没有这个轮子,不过这个就是拿来做文本

自己去看下官方文档,说不定就有

陈十一   2018-05-03 15:43

好的,我去看看! - 信春哥   2018-05-03 21:07
1

sklearn里也有的

from sklearn.feature_extraction.text import CountVectorizer 
text = "this is a foo bar sentences and i want to ngramize it"
vectorizer = CountVectorizer(ngram_range=(1,6))
analyzer = vectorizer.build_analyzer()
print(analyzer(text))

仅供参考

蓝色北方   2018-05-05 23:02



  相关主题

python去掉中文文本中所有的标点符号   3回答

请问NLP中这种编码方式有没有什么术语?   1回答

数据批量分析提取,求指点迷津   4回答

python里怎么把中文字符串转化为成list   1回答

python里实现词云的package   3回答

如何用python统计一个txt文本的行数   3回答

用python统计字符串中空格的个数   3回答

wordcloud安装报错error: Microsoft Visual C++ 14.0 is required   1回答

文本处理中stop word什么意思   2回答

自然语言处理中的Tf-idf是什么意思   1回答

文本处理中的tf是什么意思?如何计算?   1回答

求推荐条件随机场(CRF)的python package   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!