pd.read_csv报错Error tokenizing data,如何跳过错误的行?

  统计/机器学习 Python    浏览次数:695        分享
0

我用pandas read_csv读取

data= pd.read_csv('data.txt', sep='\t')

报错如下

ParserError: Error tokenizing data. C error: Expected 6 fields in line 2571, saw 7

就是说第2571行数据有错。因为我数据量比较大,所以想直接跳过这一行,有什么办法可以快速跳过报错的行吗?

 

xiaojr   2020-06-11 20:26



   1个回答 
2

设置error_bad_lines参数为False,可以跳过所有有错误的行

data= pd.read_csv('data.txt', sep='\t', error_bad_lines=False)

不过通常要谨慎,因为如果文件中错误的行很多,你可能需要查看文件类型或者格式是否正确,而不是通过跳过错误的行

SofaSofa数据科学社区DS面试题库 DS面经

sasa   2020-06-14 00:11



  相关主题

pandas读取csv中指定的某些列   2回答

找到pd.DataFrame中某个列名对应的下标?   1回答

pandas里怎么把有multiindex的列拉平变成一层?   1回答

将pandas DataFrame保存成本地txt并删去列名   1回答

统计substring在pandas dataframe中一列文本中出现的次数?   1回答

怎么把一个pandas数据框用append的方式添加到现有的csv文件?   2回答

pandas怎么按照groupby串联字符串?   2回答

怎么添加pandas的dataframe到已有的csv文件,并且不覆盖原内容   1回答

如何复制一个pandas DataFrame   1回答

pandas报错ValueError: Cannot convert non-finite values (NA or inf) to integer   1回答

pd.cut怎么用?   2回答

怎么改变pandas dataframe里column的顺序?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!