关于大规模稀疏矩阵的问题

  统计/机器学习    浏览次数:380        分享
0

最近在做轨迹大数据的相关工作,在建模的时候发现状态转移矩阵非常巨大,size = 6w * 5 * 6w ,创建时直接内存报错,矩阵是稀疏矩阵,有什么好的方法可以解决吗?

 

mamazi   2019-04-22 10:34



   2个回答 
0

6w * 5 * 6w?张量还是矩阵?

如果稀疏的,应该有对应的稀疏表达

很多处理方式都是跟具体的编程语言相关的

SofaSofa数据科学社区DS面试题库 DS面经

okayguy   2019-04-22 10:47

张量,主要是没找到稀疏的三维张量的表达方式,不知道该查什么内容,倒是很多稀疏矩阵的定义方式 - mamazi   2019-04-22 10:56
tensorflow有稀疏tensor。python里也有稀疏矩阵的表达。 - Zealing   2019-04-22 11:45
多谢 - mamazi   2019-04-22 12:22
0

scipy里有相应的稀疏矩阵函数,参见https://docs.scipy.org/doc/scipy/reference/sparse.html

另外,matlab里也有相应的函数。稀疏矩阵的存储有专门的算法,因为稀疏,所以很多值不用存储。

SofaSofa数据科学社区DS面试题库 DS面经

测度空间   2019-04-23 08:21



  相关主题

如何评价大数据的未来?   2回答

因子分析的维度是怎么划分的呢   0回答

关于node.js的问题   1回答

RBF核的多参数体现在哪?   2回答

请教lightGBM中的level wise具体计算步骤是怎样的?   0回答

怎么用python批量生成含重复数值的数列?   1回答

有一个1000万行的dataframe   3回答

怎么把python的dict存为json格式文件   2回答

Jupiter notebook中显示一个dataframe所有的列   2回答

引用报错ImportError: No module named stats   1回答

python __del__ 求解释   3回答

python中休眠   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!