关于大规模稀疏矩阵的问题

  统计/机器学习    浏览次数：380        分享
二维码
手机扫描二维码
  面试中常见简答题？
0

最近在做轨迹大数据的相关工作，在建模的时候发现状态转移矩阵非常巨大，size = 6w * 5 * 6w ，创建时直接内存报错，矩阵是稀疏矩阵，有什么好的方法可以解决吗?

 

mamazi   2019-04-22 10:34


   2个回答 
0

6w * 5 * 6w？张量还是矩阵？

如果稀疏的，应该有对应的稀疏表达

很多处理方式都是跟具体的编程语言相关的

SofaSofa数据科学社区DS面试题库 DS面经

okayguy   2019-04-22 10:47

张量，主要是没找到稀疏的三维张量的表达方式，不知道该查什么内容，倒是很多稀疏矩阵的定义方式 - mamazi   2019-04-22 10:56
tensorflow有稀疏tensor。python里也有稀疏矩阵的表达。 - Zealing   2019-04-22 11:45
多谢 - mamazi   2019-04-22 12:22
0

scipy里有相应的稀疏矩阵函数，参见https://docs.scipy.org/doc/scipy/reference/sparse.html

另外，matlab里也有相应的函数。稀疏矩阵的存储有专门的算法，因为稀疏，所以很多值不用存储。

SofaSofa数据科学社区DS面试题库 DS面经

测度空间   2019-04-23 08:21



  相关主题

如何评价大数据的未来？   2回答

因子分析的维度是怎么划分的呢   0回答

关于node.js的问题   1回答

RBF核的多参数体现在哪？   2回答

请教lightGBM中的level wise具体计算步骤是怎样的？   0回答

怎么用python批量生成含重复数值的数列？   1回答

有一个1000万行的dataframe   3回答

怎么把python的dict存为json格式文件   2回答

Jupiter notebook中显示一个dataframe所有的列   2回答

引用报错ImportError: No module named stats   1回答

python __del__ 求解释   3回答

python中休眠   1回答

回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单，你自己想”、“书上有的，你认真看”这类的回答；如果你认为对方的提问方式或者内容不妥，你可以直接忽略该问题，不用进行任何作答，甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出！