关于如何读取文件效率最高,最节约内存?

  统计/机器学习 开放问题 Python I/O    浏览次数:423        分享
0

我需要将50000个txt文件的内容依次写入一个矩阵中,最后形成一个shape为(5000,500,500,1)的矩阵,请问python代码怎么写效率最高,最节约内存?

 

curiositychen   2022-05-09 19:52



   1个回答 
0

我觉得如果文件很多的话,是不是可以并行读入,节约时间

如果是数据里0很多,是可以转成稀疏矩阵;如果对精度要求不高,可以降低精度,都应该对减小内存有帮助

SofaSofa数据科学社区DS面试题库 DS面经

chaos0   2022-05-10 10:46



  相关讨论

怎么把python的dict存为json格式文件

python怎么读取txt格式的数据文件?

怎么在python中读取mat格式数据文件?

python能不能直接读取word文本,doc或者docx文件?

怎么把statsmodels训练的模型本地保存?

python如何读取元素中含有逗号的csv文件

怎么把多个csv表格读进python然后合并成一个表格输出为csv?

python 读json 错误 ValueError: Unexpected character found when decoding array value (2)

关于张量保存的问题,如何保存读取最快速?

如何将matplotlib生成的图片存到本地?

  随便看看

T检验的effect size是什么?有什么含义吗?

推荐开放数据库

spark里怎么refresh表?

行数很多的pandas DataFrame如何在jupyter中完整显示?

opencv里waitkey和destroyAllWindows有什么用?