a***r
发帖数: 420 | 1 有个n*n的matrix（result），有col和row name，我想保留这个matrix中大于5的值，
并且保留这些值对应的colname和rowname，因为这个是这些值的来源信息。
不知道有没有专门的语句，发挥主观能动性写了一个：
threshold<-matrix(,ncol=4,nrow=n*n)
for (i in 1:(n-1)){
for (j in (i+1):n) {
if (result[i,j]>5)
threshold[((i-1)*n+j),1] <-rownames(result)[i]
threshold[((i-1)*n+j),2] <-colnames(result)[j]
threshold[((i-1)*n+j),3] <-as.numeric(result[i,j])
}
}
threshold <- threshold[complete.cases(threshold),]
总觉得有点笨哪，有没有语句直接能实现的呢？
谢谢大家！ |
s*****n
发帖数: 2174 | 2 MM还是要继续磨练啊, 这样写R程序可不太成.
这件事情, 在 library(gdata) 里面有个unmatrix()函数可以很容易就实现.
即使不用现成函数, 自己去写, 也完全不需要循环就可以搞定. |
a***r
发帖数: 420 | 3 谢谢~~~><~~~
圡人磨练中。。。
【在 s*****n 的大作中提到】
: MM还是要继续磨练啊, 这样写R程序可不太成.
: 这件事情, 在 library(gdata) 里面有个unmatrix()函数可以很容易就实现.
: 即使不用现成函数, 自己去写, 也完全不需要循环就可以搞定.
|
s*****n
发帖数: 2174 | 4 给你写个example, 抛砖引玉吧
假设你的矩阵叫做 A, 目标data frame叫做 result.
result <- data.frame(
RowName = rep(dimnames(A)[[1]], dim(A)[2]),
ColName = rep(dimnames(A)[[2]], each = dim(A)[1]),
Value = as.vector(A))
result <- result[result$Value > 5, ]
在R里面, 要尽量避免循环啦.
【在 a***r 的大作中提到】
: 谢谢~~~><~~~
: 圡人磨练中。。。
|
a***r
发帖数: 420 | 5 many thanks~
【在 s*****n 的大作中提到】
: 给你写个example, 抛砖引玉吧
: 假设你的矩阵叫做 A, 目标data frame叫做 result.
: result <- data.frame(
: RowName = rep(dimnames(A)[[1]], dim(A)[2]),
: ColName = rep(dimnames(A)[[2]], each = dim(A)[1]),
: Value = as.vector(A))
: result <- result[result$Value > 5, ]
: 在R里面, 要尽量避免循环啦.
|
b*****n
发帖数: 685 | |
D******n
发帖数: 2836 | 7 xixi，
which(A>5,arr.ind=T)
【在 b*****n 的大作中提到】
: 我晕，which不就行了？
|
s*****n
发帖数: 2174 | 8 which 怎么满足楼主的要求, 要保留行列的名字和值的对应关系?
【在 D******n 的大作中提到】
: xixi，
: which(A>5,arr.ind=T)
|
b*****n
发帖数: 685 | |
s*****n
发帖数: 2174 | 10 你这不是等于没说吗? 你看楼主那个意思, 就是要做到保留行列名的那个对应关系.
【在 b*****n 的大作中提到】
: which完了，行列的名字一查不就有了
|
|
|
D******n
发帖数: 2836 | 11 r=which(A>5,arr.ind=T);
result<-cbind(dimnames(A)[[1]][r[,1]],dimnames(A)[[2]][r[,2]])
【在 s*****n 的大作中提到】
: 你这不是等于没说吗? 你看楼主那个意思, 就是要做到保留行列名的那个对应关系.
|
b*****n
发帖数: 685 | 12 DaSha写的就是我说的意思。
【在 s*****n 的大作中提到】
: 你这不是等于没说吗? 你看楼主那个意思, 就是要做到保留行列名的那个对应关系.
|
s*****n
发帖数: 2174 | 13 对啊, 那不就和我之前写的那个差不多了吗.
这问题不在于选出来, 关键是怎么handle好了dimnames.
【在 b*****n 的大作中提到】
: DaSha写的就是我说的意思。
|
D******n
发帖数: 2836 | 14 都差不多。
【在 s*****n 的大作中提到】
: 对啊, 那不就和我之前写的那个差不多了吗.
: 这问题不在于选出来, 关键是怎么handle好了dimnames.
|
l*******d
发帖数: 101 | 15 跟DaShagen写的大同小异。把找出来的值加进去。
> n = 4
> threshhold = 5
> X = matrix (1:16, byrow=TRUE, ncol=n, dimnames=list(1:4, c("A", "B", "C",
"D")))
> X
A B C D
1 1 2 3 4
2 5 6 7 8
3 9 10 11 12
4 13 14 15 16
> ind = which (X>threshhold, arr.ind=TRUE)
> findNames = data.frame (ind, rowName=rownames(X)[ind[,1]], colName=
colnames(X)[ind[,2]], value=as.vector(X)[(ind[,2]-1)*n+ind[,1]], row.names=
NULL)
> findNames
row col rowName colName value
1 3 1 3 A 9
2 4 1 4 |
b*****n
发帖数: 685 | 16 是的，差不多，不过都比aquar的C版本效率高，呵呵 |
a***r
发帖数: 420 | 17 我怀着景仰和激动的心情一个个读下来
最后读到这一条，情何以堪啊我！
唉，蹲墙角去了。。。
【在 b*****n 的大作中提到】
: 是的，差不多，不过都比aquar的C版本效率高，呵呵
|
a***r
发帖数: 420 | 18 刚用自己的数据试了，两个都可以run（废话。。。）
个人感觉songkun的方法思路比较简明，而且放之四海而皆准
左外野的方法需要多写几句把通过which得到的r，c指定进去，但是这样得到的
findname这个matrix要短得多，不知在数据很多的时候会不会是显著优势
谢谢大家！！
现在的老板总是说，R cannot handle too large a matrix...一直比较不以为然，不
过有一次我试图做1500个pairwise的LRT，然后把chisq放到一个1500*1500的matrix里
，5个小时还没跑出来。。。大家觉得R能handle多大的database?
,
【在 l*******d 的大作中提到】
: 跟DaShagen写的大同小异。把找出来的值加进去。
: > n = 4
: > threshhold = 5
: > X = matrix (1:16, byrow=TRUE, ncol=n, dimnames=list(1:4, c("A", "B", "C",
: "D")))
: > X
: A B C D
: 1 1 2 3 4
: 2 5 6 7 8
: 3 9 10 11 12
|
D******n
发帖数: 2836 | 19 程序没死就是能handle。
【在 a***r 的大作中提到】
: 刚用自己的数据试了，两个都可以run（废话。。。）
: 个人感觉songkun的方法思路比较简明，而且放之四海而皆准
: 左外野的方法需要多写几句把通过which得到的r，c指定进去，但是这样得到的
: findname这个matrix要短得多，不知在数据很多的时候会不会是显著优势
: 谢谢大家！！
: 现在的老板总是说，R cannot handle too large a matrix...一直比较不以为然，不
: 过有一次我试图做1500个pairwise的LRT，然后把chisq放到一个1500*1500的matrix里
: ，5个小时还没跑出来。。。大家觉得R能handle多大的database?
:
: ,
|
A*****n
发帖数: 243 | 20 R的内存占用确实是挺高的，不过1500*1500的矩阵应该不算很大，可能和你做LRT的部分
有很大关系吧。
我曾经处理过的一个数据有个对象是60*14M的矩阵，作了一个简单的变换也要20分钟的
时间，内存的使用最高差不多要20多G。
【在 a***r 的大作中提到】
: 刚用自己的数据试了，两个都可以run（废话。。。）
: 个人感觉songkun的方法思路比较简明，而且放之四海而皆准
: 左外野的方法需要多写几句把通过which得到的r，c指定进去，但是这样得到的
: findname这个matrix要短得多，不知在数据很多的时候会不会是显著优势
: 谢谢大家！！
: 现在的老板总是说，R cannot handle too large a matrix...一直比较不以为然，不
: 过有一次我试图做1500个pairwise的LRT，然后把chisq放到一个1500*1500的matrix里
: ，5个小时还没跑出来。。。大家觉得R能handle多大的database?
:
: ,
|
|
|
b*****n
发帖数: 685 | 21 左外野who啊？
你还没试过60000*60000的矩阵操作，呵呵，我在干这个活，没法用R搞，只能用C了。
【在 a***r 的大作中提到】
: 刚用自己的数据试了，两个都可以run（废话。。。）
: 个人感觉songkun的方法思路比较简明，而且放之四海而皆准
: 左外野的方法需要多写几句把通过which得到的r，c指定进去，但是这样得到的
: findname这个matrix要短得多，不知在数据很多的时候会不会是显著优势
: 谢谢大家！！
: 现在的老板总是说，R cannot handle too large a matrix...一直比较不以为然，不
: 过有一次我试图做1500个pairwise的LRT，然后把chisq放到一个1500*1500的matrix里
: ，5个小时还没跑出来。。。大家觉得R能handle多大的database?
:
: ,
|
l*******d
发帖数: 101 | 22 同样问题。想了5秒后发现原来是我自己。
【在 b*****n 的大作中提到】
: 左外野who啊？
: 你还没试过60000*60000的矩阵操作，呵呵，我在干这个活，没法用R搞，只能用C了。
|
l*******d
发帖数: 101 | 23 songkun是先整理数据格式再查找，我的是直接查找再整理查找结果的格式。
你算矩阵的LRT会不会用了两层的循环？在R里直接用循环是很慢。可以考虑尽量写成
vector的形式后再做计算。
【在 a***r 的大作中提到】
: 刚用自己的数据试了，两个都可以run（废话。。。）
: 个人感觉songkun的方法思路比较简明，而且放之四海而皆准
: 左外野的方法需要多写几句把通过which得到的r，c指定进去，但是这样得到的
: findname这个matrix要短得多，不知在数据很多的时候会不会是显著优势
: 谢谢大家！！
: 现在的老板总是说，R cannot handle too large a matrix...一直比较不以为然，不
: 过有一次我试图做1500个pairwise的LRT，然后把chisq放到一个1500*1500的matrix里
: ，5个小时还没跑出来。。。大家觉得R能handle多大的database?
:
: ,
|
a***r
发帖数: 420 | 24 你的头像和名字加起来，很直观啊~
【在 l*******d 的大作中提到】
: 同样问题。想了5秒后发现原来是我自己。
|
a***r
发帖数: 420 | 25 是。。。
我也正在想怎么改成vector算，现在就不把原来那个拿来恶心大家了：）
不懂再来请教
【在 l*******d 的大作中提到】
: songkun是先整理数据格式再查找，我的是直接查找再整理查找结果的格式。
: 你算矩阵的LRT会不会用了两层的循环？在R里直接用循环是很慢。可以考虑尽量写成
: vector的形式后再做计算。
|
a***r
发帖数: 420 | 26 呵呵，这个思路贡献的人比较多，我就写了最完整一个
【在 b*****n 的大作中提到】
: 左外野who啊？
: 你还没试过60000*60000的矩阵操作，呵呵，我在干这个活，没法用R搞，只能用C了。
|
l*******d
发帖数: 101 | 27 呵呵，我以前不知道leftfield的中文翻译。
【在 a***r 的大作中提到】
: 你的头像和名字加起来，很直观啊~
|
s*****n
发帖数: 2174 | 28 你打棒球吗?
【在 l*******d 的大作中提到】
: 呵呵，我以前不知道leftfield的中文翻译。
|
l*******d
发帖数: 101 | 29 没事儿。慢慢来。这些都是些技巧性的东西，多用用，多问问，渐渐的就熟了。
【在 a***r 的大作中提到】
: 是。。。
: 我也正在想怎么改成vector算，现在就不把原来那个拿来恶心大家了：）
: 不懂再来请教
|
l*******d
发帖数: 101 | 30 ？ 你如果可以写C程序然后用R调用的话，算LRT的问题就可以用这个方法。不过有可能
我没明白你什么意思。
【在 a***r 的大作中提到】
: 呵呵，这个思路贡献的人比较多，我就写了最完整一个
|
|
|
l*******d
发帖数: 101 | 31 Softball (垒球)。
为了确保与统计版的主题一致，各位如有兴趣，不妨看看Michael Lewis的Moneyball.
讲如何运用合适的统计量帮助一个
排名倒数的棒球队跃至前列的。
BTW, I actually met someone hired by the Boston Red Sox to do data analysis
(some simple stuff I guess;
because that person was not a statistician).
Statistics in sports is an extremely intriguing topic :)
【在 s*****n 的大作中提到】
: 你打棒球吗?
|
a********e
发帖数: 9 | 32 maybe you can do:
resultp*(resultp>5)
I try it in R
aa=matrix(c(1:4), nrow=2)
aa*(aa>2)
and it work.
【在 a***r 的大作中提到】
: 有个n*n的matrix（result），有col和row name，我想保留这个matrix中大于5的值，
: 并且保留这些值对应的colname和rowname，因为这个是这些值的来源信息。
: 不知道有没有专门的语句，发挥主观能动性写了一个：
: threshold<-matrix(,ncol=4,nrow=n*n)
: for (i in 1:(n-1)){
: for (j in (i+1):n) {
: if (result[i,j]>5)
: threshold[((i-1)*n+j),1] <-rownames(result)[i]
: threshold[((i-1)*n+j),2] <-colnames(result)[j]
: threshold[((i-1)*n+j),3] <-as.numeric(result[i,j])
|
a***r
发帖数: 420 | 33 啊，原来是jj~~
小声说，在你的头像和名字的组合下，我默认成了壮汉，还是强打。。。
你在国内打么？还是过来打的？
这边美国mm长得好壮，不敢跟她们玩。。。
.
analysis
【在 l*******d 的大作中提到】
: Softball (垒球)。
: 为了确保与统计版的主题一致，各位如有兴趣，不妨看看Michael Lewis的Moneyball.
: 讲如何运用合适的统计量帮助一个
: 排名倒数的棒球队跃至前列的。
: BTW, I actually met someone hired by the Boston Red Sox to do data analysis
: (some simple stuff I guess;
: because that person was not a statistician).
: Statistics in sports is an extremely intriguing topic :)
|
a***r
发帖数: 420 | 34 这边一个教data analysis的PI，期中考试的database是Dodgers的统计数据，哈哈
可惜我没赶上上他教的这门课：（
.
analysis
【在 l*******d 的大作中提到】
: Softball (垒球)。
: 为了确保与统计版的主题一致，各位如有兴趣，不妨看看Michael Lewis的Moneyball.
: 讲如何运用合适的统计量帮助一个
: 排名倒数的棒球队跃至前列的。
: BTW, I actually met someone hired by the Boston Red Sox to do data analysis
: (some simple stuff I guess;
: because that person was not a statistician).
: Statistics in sports is an extremely intriguing topic :)
|
a***r
发帖数: 420 | 35 嗯，我觉得我们貌似说的不是一个东西。。。
【在 l*******d 的大作中提到】
: ？ 你如果可以写C程序然后用R调用的话，算LRT的问题就可以用这个方法。不过有可能
: 我没明白你什么意思。
|
a***r
发帖数: 420 | 36 谢谢~我明白你的意思了
不过我的主要问题其实是要把一个matrix里的数值和相应信息extract出来，成为一个
简明的list，因为原来的matrix很大，不可能直接看
【在 a********e 的大作中提到】
: maybe you can do:
: resultp*(resultp>5)
: I try it in R
: aa=matrix(c(1:4), nrow=2)
: aa*(aa>2)
: and it work.
|
s*****n
发帖数: 2174 | 37 你在国内打垒球?
【在 a***r 的大作中提到】
: 啊，原来是jj~~
: 小声说，在你的头像和名字的组合下，我默认成了壮汉，还是强打。。。
: 你在国内打么？还是过来打的？
: 这边美国mm长得好壮，不敢跟她们玩。。。
:
: .
: analysis
|
a***r
发帖数: 420 | 38 嗯，以前也有个这样的id，叫secondbase,有时也左外。。。
其实你的nick更显眼了，呵呵，为什么要告别呢?
【在 s*****n 的大作中提到】
: 你在国内打垒球?
|
s*****n
发帖数: 2174 | 39 出国以后没机会打了啊.
【在 a***r 的大作中提到】
: 嗯，以前也有个这样的id，叫secondbase,有时也左外。。。
: 其实你的nick更显眼了，呵呵，为什么要告别呢?
|
a***r
发帖数: 420 | 40 这倒是真的。。。
【在 s*****n 的大作中提到】
: 出国以后没机会打了啊.
|
|
|
l*******d
发帖数: 101 | 41 我是到美国之后才开始打垒球的。以前只听说过棒球。
aquar, songkun, 你们说的“国内”是哪儿啊？
在美国打垒球时是intramural sports, 娱乐休闲为主，比赛为辅。不用长的壮，有兴
趣就行。：） |
l*******d
发帖数: 101 | 42 我觉得比较诡异的倒是做1500个变量的pairwise comparison. 这样的比较可以做，但
是你怎么总结比较结果呢？ unless there are just a handful of significant
pairs... |
a***r
发帖数: 420 | 43 啊，当然是大家都讲我们现在讲的话的地方啊？
nice~~你在哪个州啊？那是学校的俱乐部，还是地区或者公司组织的呢？
【在 l*******d 的大作中提到】
: 我是到美国之后才开始打垒球的。以前只听说过棒球。
: aquar, songkun, 你们说的“国内”是哪儿啊？
: 在美国打垒球时是intramural sports, 娱乐休闲为主，比赛为辅。不用长的壮，有兴
: 趣就行。：）
|
a***r
发帖数: 420 | 44 把结果（p和chisq）分别放到一个上三角matrix里，然后把p小于0.05的导出来，当时
的导出程序见顶楼。。。blush。。。
【在 l*******d 的大作中提到】
: 我觉得比较诡异的倒是做1500个变量的pairwise comparison. 这样的比较可以做，但
: 是你怎么总结比较结果呢？ unless there are just a handful of significant
: pairs...
|
s*****n
发帖数: 2174 | 45 你在国内的时候打垒球啊? 在哪里打?
【在 a***r 的大作中提到】
: 啊，当然是大家都讲我们现在讲的话的地方啊？
: nice~~你在哪个州啊？那是学校的俱乐部，还是地区或者公司组织的呢？
|
D******n
发帖数: 2836 | 46 童梦幻影球。。。厉害。
【在 s*****n 的大作中提到】
: 你在国内的时候打垒球啊? 在哪里打?
|
a***r
发帖数: 420 | 47 呵呵，国内以城市为单位，高校棒垒比较有气候的就两个，我猜你是北京的(如果你原
来是在学校打的话）？因为我们那边好像没有听说这么一位前辈啊~
【在 s*****n 的大作中提到】
: 你在国内的时候打垒球啊? 在哪里打?
|
a***r
发帖数: 420 | 48 虽然我不知道你说的是啥意思，不过好有喜感，哈哈
另外我们是不是歪楼了啊。。。
【在 D******n 的大作中提到】
: 童梦幻影球。。。厉害。
|
D******n
发帖数: 2836 | 49 这是当年日本一个棒球动画片，就是看了它，很想打棒球，可惜那是很多年前，器材都
买不到。
【在 a***r 的大作中提到】
: 虽然我不知道你说的是啥意思，不过好有喜感，哈哈
: 另外我们是不是歪楼了啊。。。
|
a***r
发帖数: 420 | 50 呵呵，google了一下，真的好古老~
我们那时流行看touch，xixi
现在都天各一方了
你跟songkun在一个地方工作么？你们可以传球。。。
【在 D******n 的大作中提到】
: 这是当年日本一个棒球动画片，就是看了它，很想打棒球，可惜那是很多年前，器材都
: 买不到。
|
|
|
l*******d
发帖数: 101 | 51 这样啊。那还不如直接把结果存成如下格式：
Var1 Var2 chisq p
A B ??? ???
A C ??? ???
A D ??? ???
B C ??? ???
B D ??? ???
把这个矩阵叫X. 然后你可以直接查找：
which (X[,4]<0.05)
However, as you're probably already aware, 0.05 wouldn't be suitable here
since you're doing multiple tests.
You need to adjust the p value threshold.
另外，你还可以把Var1, Var2的数据也做成这个格式，这样你算chisq时就是对数列而
不是矩阵操作了。
【在 a***r 的大作中提到】
: 把结果（p和chisq）分别放到一个上三角matrix里，然后把p小于0.05的导出来，当时
: 的导出程序见顶楼。。。blush。。。
|
l*******d
发帖数: 101 | 52 和棒球小子有关系吗？
【在 D******n 的大作中提到】
: 童梦幻影球。。。厉害。
|
l*******d
发帖数: 101 | 53 你在美国的话想打棒球可能难了点儿，垒球应该还是比较容易吧？ 学校，或者city
league？
【在 s*****n 的大作中提到】
: 你在国内的时候打垒球啊? 在哪里打?
|
o**m
发帖数: 828 | 54 我们那时候流行 棒球英豪
【在 a***r 的大作中提到】
: 呵呵，google了一下，真的好古老~
: 我们那时流行看touch，xixi
: 现在都天各一方了
: 你跟songkun在一个地方工作么？你们可以传球。。。
|
a***r
发帖数: 420 | 55 我其实就是用这个格式存的：）在原帖里把问题改了一下，想显得general一点（呃，
似乎有点多余。。。）
不过，你说的把所有结果都导出到这个X矩阵然后再找，其实就是songkun的思路啊~
嗯，我关于那个1500*1500说得不够清楚
数据结构是这样的
obs Y x1 x2 x3... var1500
1 1 1 0 2 ...
2 0 2 1 0 ...
...
Y是0/1 categorical variable
x可以看成numeric variable
然后我想知道的，是对于所有x的pairwise的组合，增加一个interaction term对原
model的improvement，即
nested model： y=x1+x2
full model：y=x1+x2+x1x2
然后对每对做log likelyhood ratio test，得到相应的chisq和P
因为是preliminary study，想得到一个尽量inclusive的list
【在 l*******d 的大作中提到】
: 这样啊。那还不如直接把结果存成如下格式：
: Var1 Var2 chisq p
: A B ??? ???
: A C ??? ???
: A D ??? ???
: B C ??? ???
: B D ??? ???
: 把这个矩阵叫X. 然后你可以直接查找：
: which (X[,4]<0.05)
: However, as you're probably already aware, 0.05 wouldn't be suitable here
|
a***r
发帖数: 420 | 56 呵呵，那就是touch嘛
同时代人，hand
【在 o**m 的大作中提到】
: 我们那时候流行 棒球英豪
|
l*******d
发帖数: 101 | 57 我们前面给的解法建议都是假设你有一个1500乘1500的矩阵。不过从你最近两帖来看，
你不需要建这个矩阵。直接对你
的结果查找就行了。
【在 a***r 的大作中提到】
: 我其实就是用这个格式存的：）在原帖里把问题改了一下，想显得general一点（呃，
: 似乎有点多余。。。）
: 不过，你说的把所有结果都导出到这个X矩阵然后再找，其实就是songkun的思路啊~
: 嗯，我关于那个1500*1500说得不够清楚
: 数据结构是这样的
: obs Y x1 x2 x3... var1500
: 1 1 1 0 2 ...
: 2 0 2 1 0 ...
: ...
: Y是0/1 categorical variable
|
a***r
发帖数: 420 | 58 嗯哪，确实可以，当时没有想到
并且别的情况下，也遇到过需要把matrix里的数据和信息导出来，故有此问~
【在 l*******d 的大作中提到】
: 我们前面给的解法建议都是假设你有一个1500乘1500的矩阵。不过从你最近两帖来看，
: 你不需要建这个矩阵。直接对你
: 的结果查找就行了。
|
l******r
发帖数: 18699 | 59 (threshold>5)*threshold
即可
【在 a***r 的大作中提到】
: 有个n*n的matrix（result），有col和row name，我想保留这个matrix中大于5的值，
: 并且保留这些值对应的colname和rowname，因为这个是这些值的来源信息。
: 不知道有没有专门的语句，发挥主观能动性写了一个：
: threshold<-matrix(,ncol=4,nrow=n*n)
: for (i in 1:(n-1)){
: for (j in (i+1):n) {
: if (result[i,j]>5)
: threshold[((i-1)*n+j),1] <-rownames(result)[i]
: threshold[((i-1)*n+j),2] <-colnames(result)[j]
: threshold[((i-1)*n+j),3] <-as.numeric(result[i,j])
|
