关于大规模稀疏矩阵的问题

  统计/机器学习    浏览次数:3507        分享
0

最近在做轨迹大数据的相关工作,在建模的时候发现状态转移矩阵非常巨大,size = 6w * 5 * 6w ,创建时直接内存报错,矩阵是稀疏矩阵,有什么好的方法可以解决吗?

 

mamazi   2019-04-22 10:34



   2个回答 
0

6w * 5 * 6w?张量还是矩阵?

如果稀疏的,应该有对应的稀疏表达

很多处理方式都是跟具体的编程语言相关的

SofaSofa数据科学社区DS面试题库 DS面经

okayguy   2019-04-22 10:47

张量,主要是没找到稀疏的三维张量的表达方式,不知道该查什么内容,倒是很多稀疏矩阵的定义方式 - mamazi   2019-04-22 10:56
tensorflow有稀疏tensor。python里也有稀疏矩阵的表达。 - Zealing   2019-04-22 11:45
多谢 - mamazi   2019-04-22 12:22
0

scipy里有相应的稀疏矩阵函数,参见https://docs.scipy.org/doc/scipy/reference/sparse.html

另外,matlab里也有相应的函数。稀疏矩阵的存储有专门的算法,因为稀疏,所以很多值不用存储。

SofaSofa数据科学社区DS面试题库 DS面经

测度空间   2019-04-23 08:21



  相关讨论

新人报道新人报道

小白求教:一样的数据和差不多的代码,线性回归(LinearRegression)为甚麽自己的和书上的准确率差了挺多

央视新闻《秒速飞艇高手公式》新闻频道-央视网

知识图谱Knowledge Graph构建与应用研修班线上课程的通知

央视新闻《快三下注稳赚技巧与分析》新闻频道-央视网

out of core是什么意思?

关于node.js的问题

央视新闻《快速回血上岸》新闻频道-央视网

新人报道新人报道

企鹅智投|开户找永华证券|配资排行|股市融资|股票扛杆

  随便看看

怎么在jupyter notebook里查看python的版本?

为什么过拟合不好?

为什么神经网络模型不用交叉验证?

sklearn可以用gpu加速吗?

软聚类,硬聚类?