python随机打乱文本

  统计/机器学习 深度学习 自然语言处理 数据预处理 Python    浏览次数:5289        分享
0

最近在做深度学习  决定拿cnn做做  但是 照网上很多例子来做 有一个疑问 解决不了  就是 一个txt文件里面的行 怎么去打乱

 

anTiamo   2018-04-22 22:23



   3个回答 
3

举个例子,假如我有一个文件a.txt,然后按行来读取。

# 读取a.txt
>>> with open('a.txt') as f:
        content = f.readlines()
>>> content
['Today is good.\n', 'Tomorrow is good.\n', 'Yesterday was bad.\n', 'See you.']
>>>
# 打乱content中的顺序
>>> import random
>>> random.shuffle(content)
>>> content
['Yesterday was bad.\n', 'See you.', 'Today is good.\n', 'Tomorrow is good.\n']


SofaSofa数据科学社区DS面试题库 DS面经

木子周   2018-04-24 09:29

1

你意思是划分数据集?sklearn中有

from sklearn.model_selection import train_test_split

可以随机划分数据集。


如果不是划分数据集。那么可以使用random随机函数,就可以打乱行数了。多使用python

SofaSofa数据科学社区DS面试题库 DS面经

data2world   2018-04-23 17:22

0
如果你指的是将原本样本顺序打乱,dataframe读进来,shuffle。random(data),具体可百度SofaSofa数据科学社区DS面试题库 DS面经

陈十一   2018-04-24 09:00



  相关主题

text CNN的输入训练样本有什么要求?   1回答

收集了一批网站的html源码,想对html进行特征提取,或者分类,请问有什么比较好的方法推荐?   0回答

请问汉字CNN识别,怎么做标签呢?   3回答

不同mini-batch的LSTM_cell之间的隐藏状态(hidden state)和记忆单元(memory cell)的确定   1回答

自定义CountVectorizera中默认的英语stop_words   1回答

如何对中文部分进行独热处理(one-hot)   1回答

求python里得到n-grams的包?   2回答

python去掉中文文本中所有的标点符号   3回答

怎么理解nlp里的good-turing smooth?   1回答

请问NLP中这种编码方式有没有什么术语?   1回答

hidden size   1回答

可以把多个文档、段落向量直接加和求平均来获得新的表示向量吗?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!