当前位置:
首页
文章
后端
详情

R稀疏矩阵转化稠密矩阵|使用as.matrix()报错:Cholmod error 'problem too large'

在进行一些数据分析是经常会需要将一个数据对象转化为矩阵,以及稀疏矩阵(sparse matrix)和稠密矩阵之间的互化。

问题&报错

在R环境中,用的非常普遍的函数就是as.matrix(),但是,当转化的稀疏矩阵对象非常巨大的时候,例如细胞数目非常多的单细胞数据,R就会报如下类似的错误:

Error in asMethod(object) :
  Cholmod error 'problem too large' at file ../Core/cholmod_dense.c

原因&解决

这是因为as.matrix这个函数本身不支持大体量的稀疏矩阵转换为稠密矩阵(也就是我们常规的矩阵),但如果采取用高级语言(例如R或python)循环填进去的方法的话,极其耗费资源,所以可以选择直接修改该函数的底层C++语言,来解决这个问题:

library(Rcpp)
Rcpp::sourceCpp(code='
#include <Rcpp.h>
using namespace Rcpp;
// [[Rcpp::export]]
IntegerMatrix asMatrix(NumericVector rp,
                       NumericVector cp,
                       NumericVector z,
                       int nrows,
                       int ncols){
  int k = z.size() ;
  IntegerMatrix  mat(nrows, ncols);
  for (int i = 0; i < k; i++){
      mat(rp[i],cp[i]) = z[i];
  }
  return mat;
}
' )

as_matrix <- function(mat){
  row_pos <- mat@i
  col_pos <- findInterval(seq(mat@x)-1,mat@p[-1])
  tmp <- asMatrix(rp = row_pos, cp = col_pos, z = mat@x,
                  nrows =  mat@Dim[1], ncols = mat@Dim[2])
  row.names(tmp) <- mat@Dimnames[[1]]
  colnames(tmp) <- mat@Dimnames[[2]]
  return(tmp)
}
as_matirx() #接下来调用即可

PS,如果数据是浮点型需要把上述的IntegerMatrix替代为NumericMatrix,不然会强制转化为整型的矩阵。

构建稀疏矩阵

此外,如果需要将稠密矩阵转化成为稀疏矩阵,方法很多,介绍一种使用

library("Matrix")
dg <- as(matrix_object,"dgCMatrix")

具体关于构建和解释稀疏矩阵,可以参照:https://blog.csdn.net/jeffery0207/article/details/122507934

题外

最后,其实如果不想这么麻烦,又不想去sample随机取样缩减数据量,大家也不用那么死板,那就先把大矩阵拆分成几个小的,转完之后再合并就行了,效果是一样的,不是非得一次性转完才算好,曲线救国的方式很多,bug自然就消失了。

免责申明:本站发布的内容(图片、视频和文字)以转载和分享为主,文章观点不代表本站立场,如涉及侵权请联系站长邮箱:xbc-online@qq.com进行反馈,一经查实,将立刻删除涉嫌侵权内容。

同类热门文章

深入了解C++中的new操作符:使用具体实例学习

C++中的new操作符是动态分配内存的主要手段之一。在程序运行时,我们可能需要动态地创建和销毁对象,而new就是为此提供了便利。但是,使用new也常常会引发一些问题,如内存泄漏、空指针等等。因此,本文将通过具体的示例,深入介绍C++中的new操作符,帮助读者更好地掌握其使用。


深入了解C++中的new操作符:使用具体实例学习

怎么用Java反射获取包下所有类? 详细代码实例操作

Java的反射机制就是在运行状态下,对于任何一个类,它能知道这个类的所有属性和方法;对于任何一个对象,都能调用这个对象的任意一个方法。本篇文章将通过具体的代码示例,展示如何通过Java反射来获取包下的所有类。


怎么用Java反射获取包下所有类? 详细代码实例操作

员工线上学习考试系统

有点播,直播,在线支付,三级分销等功能,可以对学员学习情况的监督监控,有源码,可二次开发。支持外网和局域网私有化部署,经过测试源码完整可用!1、视频点播:视频播放,图文资料,课件下载,章节试学,限时免

员工线上学习考试系统

了解Java中的volati关键字的作用 以及具体使用方法

本篇文章将和大家分享一下Java当中的volatile关键字,下面将为各位小伙伴讲述volatile关键字的作用以及它的具体使用方法。


了解Java中的volati关键字的作用 以及具体使用方法

Java Map 所有的值转为String类型

可以使用 Java 8 中的 Map.replaceAll() 方法将所有的值转为 String 类型: 上面的代码会将 map 中所有的值都转为 String 类型。 HashMap 是 Java

Java Map 所有的值转为String类型