n******7 发帖数: 12463 | 1 平时主要用R,用过几次scipy统计包每次都出点大大小小的问题
最近几次如下
1. fit 一个distribution 参数,搜了一下,stack overflow上一哥们儿怎么都算不对
,后来发现是老版本bug,新版本才fix
2. 做binomial sampling,结果给出超大的数,结果发现是没有正确处理nan
3. 做chisquare,用0.11版发现chisquare([10,10,20,20])可以,
chisquare([10,10,20,20],[10,10,20,20])就不行,必须
chisquare(np.array([10,10,20,20]),np.array([10,10,20,20]))
这叫什么事?这个在0.14版也ok了
最近也开始用numpy,不知道是不是也是怎么buggy? |
M*P 发帖数: 6456 | 2 所以才0.11版。感觉R的用户群要大很多。
★ 发自iPhone App: ChineseWeb 7.8
【在 n******7 的大作中提到】 : 平时主要用R,用过几次scipy统计包每次都出点大大小小的问题 : 最近几次如下 : 1. fit 一个distribution 参数,搜了一下,stack overflow上一哥们儿怎么都算不对 : ,后来发现是老版本bug,新版本才fix : 2. 做binomial sampling,结果给出超大的数,结果发现是没有正确处理nan : 3. 做chisquare,用0.11版发现chisquare([10,10,20,20])可以, : chisquare([10,10,20,20],[10,10,20,20])就不行,必须 : chisquare(np.array([10,10,20,20]),np.array([10,10,20,20])) : 这叫什么事?这个在0.14版也ok了 : 最近也开始用numpy,不知道是不是也是怎么buggy?
|
h*******u 发帖数: 15326 | 3 用 pandas
【在 n******7 的大作中提到】 : 平时主要用R,用过几次scipy统计包每次都出点大大小小的问题 : 最近几次如下 : 1. fit 一个distribution 参数,搜了一下,stack overflow上一哥们儿怎么都算不对 : ,后来发现是老版本bug,新版本才fix : 2. 做binomial sampling,结果给出超大的数,结果发现是没有正确处理nan : 3. 做chisquare,用0.11版发现chisquare([10,10,20,20])可以, : chisquare([10,10,20,20],[10,10,20,20])就不行,必须 : chisquare(np.array([10,10,20,20]),np.array([10,10,20,20])) : 这叫什么事?这个在0.14版也ok了 : 最近也开始用numpy,不知道是不是也是怎么buggy?
|
L***n 发帖数: 6727 | 4 对,同感,我现在都不敢用 scipy了,numpy是建立在scipy基础上的,也不敢用
【在 n******7 的大作中提到】 : 平时主要用R,用过几次scipy统计包每次都出点大大小小的问题 : 最近几次如下 : 1. fit 一个distribution 参数,搜了一下,stack overflow上一哥们儿怎么都算不对 : ,后来发现是老版本bug,新版本才fix : 2. 做binomial sampling,结果给出超大的数,结果发现是没有正确处理nan : 3. 做chisquare,用0.11版发现chisquare([10,10,20,20])可以, : chisquare([10,10,20,20],[10,10,20,20])就不行,必须 : chisquare(np.array([10,10,20,20]),np.array([10,10,20,20])) : 这叫什么事?这个在0.14版也ok了 : 最近也开始用numpy,不知道是不是也是怎么buggy?
|
M*P 发帖数: 6456 | 5 反了,numpy比较早。一般java用什么数值计算库呢?
★ 发自iPhone App: ChineseWeb 7.8
【在 L***n 的大作中提到】 : 对,同感,我现在都不敢用 scipy了,numpy是建立在scipy基础上的,也不敢用
|
n******7 发帖数: 12463 | 6 应该是
我用python 处理数据,用scipy好处是就不用先写成文件再用R来load了
【在 M*P 的大作中提到】 : 所以才0.11版。感觉R的用户群要大很多。 : : ★ 发自iPhone App: ChineseWeb 7.8
|
n******7 发帖数: 12463 | 7 看了一下pandas也是基于scipy的啊
Optional Dependencies:
SciPy: miscellaneous statistical functions
【在 h*******u 的大作中提到】 : 用 pandas
|
w***g 发帖数: 5958 | 8 这就是为什么matlab还这么牛。从长远看python的前途堪忧。要不还是转回matlab和R
算了。
【在 n******7 的大作中提到】 : 平时主要用R,用过几次scipy统计包每次都出点大大小小的问题 : 最近几次如下 : 1. fit 一个distribution 参数,搜了一下,stack overflow上一哥们儿怎么都算不对 : ,后来发现是老版本bug,新版本才fix : 2. 做binomial sampling,结果给出超大的数,结果发现是没有正确处理nan : 3. 做chisquare,用0.11版发现chisquare([10,10,20,20])可以, : chisquare([10,10,20,20],[10,10,20,20])就不行,必须 : chisquare(np.array([10,10,20,20]),np.array([10,10,20,20])) : 这叫什么事?这个在0.14版也ok了 : 最近也开始用numpy,不知道是不是也是怎么buggy?
|
n******7 发帖数: 12463 | 9 恩,numpy是基础,数据结构,矩阵操作什么的
scipy感觉是基于numpy应用扩展
【在 M*P 的大作中提到】 : 反了,numpy比较早。一般java用什么数值计算库呢? : : ★ 发自iPhone App: ChineseWeb 7.8
|
L***n 发帖数: 6727 | 10 哦,记错了,反正我只用C++和matlab, java没用过,我不用
scipy是因为算得结果和matlab不一致,我对python没什么信心了
【在 M*P 的大作中提到】 : 反了,numpy比较早。一般java用什么数值计算库呢? : : ★ 发自iPhone App: ChineseWeb 7.8
|
|
|
n******7 发帖数: 12463 | 11 我是准备放弃了,没时间瞎折腾
本来是yy了一下scikit-learn,numpy+scipy+matplotlib 的组合
R
【在 w***g 的大作中提到】 : 这就是为什么matlab还这么牛。从长远看python的前途堪忧。要不还是转回matlab和R : 算了。
|
n******7 发帖数: 12463 | 12 matlab版权比较蛋疼
我有两台电脑,账号只能授权一个机器用,总是有点蛋疼
我看那个哥们儿也是去问为啥scipy跟matlab的结果不一致,不会是你吧
【在 L***n 的大作中提到】 : 哦,记错了,反正我只用C++和matlab, java没用过,我不用 : scipy是因为算得结果和matlab不一致,我对python没什么信心了
|
M*P 发帖数: 6456 | 13 这个是挺新的,我也在鼓捣。
★ 发自iPhone App: ChineseWeb 7.8
【在 n******7 的大作中提到】 : 我是准备放弃了,没时间瞎折腾 : 本来是yy了一下scikit-learn,numpy+scipy+matplotlib 的组合 : : R
|
M*P 发帖数: 6456 | 14 我想从python跳出来,受不了c++那些词不达意的错误信息。所以想看看java如何。
★ 发自iPhone App: ChineseWeb 7.8
【在 L***n 的大作中提到】 : 哦,记错了,反正我只用C++和matlab, java没用过,我不用 : scipy是因为算得结果和matlab不一致,我对python没什么信心了
|
L***n 发帖数: 6727 | 15 不是,我没问过,我的问题和他的不一样,我是计算一个矩阵
的特征值,矩阵阶低了还可以,高了到5万左右python就不行了。
我还是用的anaconda,号称转为科学计算用的,我对matlab有
信心, 工作上还是用matlab, python只是玩玩,不一致就算了。
本来是觉得python用起来比matlab方便,现在看起来open source
的东西用起来还是要小心
【在 n******7 的大作中提到】 : matlab版权比较蛋疼 : 我有两台电脑,账号只能授权一个机器用,总是有点蛋疼 : 我看那个哥们儿也是去问为啥scipy跟matlab的结果不一致,不会是你吧
|
m********5 发帖数: 17667 | 16 Scipy和numpy的小bug确实比较多,但是也还没有到不堪用的地步
你说的这种类型转换bug,一般的numpy用户根本不会注意到,因为numpy用户大多喜欢
越早转为numpy.array越好,很少直接使用python native数据类型
你用的python list不接受其实很正常,只要有err throw出来很容易理解
R和matlab用习惯的人,特别是以前没有重头学过数值计算的人的确不适合使用现阶段
的numpy,不过我们正在逐步改进,目前来说主要还是数值计算的人在用,傻瓜化的关
注可能不是很高。
你说的算不正确的问题
1. 其实是因为很多矩阵,特别是大型矩阵需要有预处理,matlab和R很多时候已经在内
部隐含地处理了。而scipy和numpy需要你自己预处理。
2. 其次是精度问题,这方面numpy不是傻瓜的,为了速度所有都需要手动干预。用个最
简单的例子来说,mean(A),如果A很长,即使A全是1, numpy直到很近期的版本也得不到
正确数值,近期版的matlab就可以。这是因为numpy.mean用纯累加方式求均数,如果想
得到正确数字需要预处理,或者用更smart的mean函数。
这对经常做数值计算的人来说也许是常识,但是对matlab用户来说就未必,这就是目前
的问题,因此我建议各位R/Matlab用户在这个阶段5年以内还是不要使用numpy
【在 n******7 的大作中提到】 : 平时主要用R,用过几次scipy统计包每次都出点大大小小的问题 : 最近几次如下 : 1. fit 一个distribution 参数,搜了一下,stack overflow上一哥们儿怎么都算不对 : ,后来发现是老版本bug,新版本才fix : 2. 做binomial sampling,结果给出超大的数,结果发现是没有正确处理nan : 3. 做chisquare,用0.11版发现chisquare([10,10,20,20])可以, : chisquare([10,10,20,20],[10,10,20,20])就不行,必须 : chisquare(np.array([10,10,20,20]),np.array([10,10,20,20])) : 这叫什么事?这个在0.14版也ok了 : 最近也开始用numpy,不知道是不是也是怎么buggy?
|
n******7 发帖数: 12463 | 17 我一般都是转成array来用的
今天发现这个问题是因为我看scipy的chisquare文档里面直接用的python list
就试了一下,发现在0.11不完全work
我本来以为都是要np.array的
你是scipy的contributor?
【在 m********5 的大作中提到】 : Scipy和numpy的小bug确实比较多,但是也还没有到不堪用的地步 : 你说的这种类型转换bug,一般的numpy用户根本不会注意到,因为numpy用户大多喜欢 : 越早转为numpy.array越好,很少直接使用python native数据类型 : 你用的python list不接受其实很正常,只要有err throw出来很容易理解 : R和matlab用习惯的人,特别是以前没有重头学过数值计算的人的确不适合使用现阶段 : 的numpy,不过我们正在逐步改进,目前来说主要还是数值计算的人在用,傻瓜化的关 : 注可能不是很高。 : 你说的算不正确的问题 : 1. 其实是因为很多矩阵,特别是大型矩阵需要有预处理,matlab和R很多时候已经在内 : 部隐含地处理了。而scipy和numpy需要你自己预处理。
|
n******7 发帖数: 12463 | 18 我也想试试java
好像weka很多人推荐,但是看了看不就是一个java写的工具包吗
跟java本身关系不大似乎
【在 M*P 的大作中提到】 : 我想从python跳出来,受不了c++那些词不达意的错误信息。所以想看看java如何。 : : ★ 发自iPhone App: ChineseWeb 7.8
|
m********5 发帖数: 17667 | 19 java里面我觉得没有太好的包,问题会比numpy更多
开源的,重视速度的项目始终会有傻瓜化不足的问题,即使ROOT也常有类似问题
对于你们我建议还是只用Matlab
【在 n******7 的大作中提到】 : 我也想试试java : 好像weka很多人推荐,但是看了看不就是一个java写的工具包吗 : 跟java本身关系不大似乎
|
n******7 发帖数: 12463 | 20 好吧,不折腾了
【在 m********5 的大作中提到】 : java里面我觉得没有太好的包,问题会比numpy更多 : 开源的,重视速度的项目始终会有傻瓜化不足的问题,即使ROOT也常有类似问题 : 对于你们我建议还是只用Matlab
|
|
|
L***n 发帖数: 6727 | 21 如果有时间写代码不是急着实现算法还是C++最靠谱,
直接调用大量成熟的库,或者用成熟的framework
trilinos或者PETSc作科学计算,scipy还差不少
在 mitbbs2715 (好吃不懒做) 的大作中提到: 】 |
m********5 发帖数: 17667 | 22 对于任何开源包,你都要很清楚你的程序底层到底在干什么,不是仅仅数学上的。
我的建议是使用matlab进行prototyping. 当差不多知道你需要使用哪些具体的计算以
后,如果你希望速度有提升,可以使用numpy,ROOT等
因为知道需要哪些具体计算步骤之后,你可以有针对性得对这些算符进行彻底的测试,
比较在相同的矩阵大小下,matlab和他们的差异。
【在 n******7 的大作中提到】 : 好吧,不折腾了
|
m********5 发帖数: 17667 | 23 手工写预处理代码逃不掉的
这方面只有matlab可以傻瓜化
因为matlab速度是次要的,主要是傻瓜化和正确性
它的很多元操作都有很复杂的condition判断,然后自动选择最优方法,overhead非常高
numpy应该是不会做成这样,因为并不是要做成matlab替代品
【在 L***n 的大作中提到】 : 如果有时间写代码不是急着实现算法还是C++最靠谱, : 直接调用大量成熟的库,或者用成熟的framework : trilinos或者PETSc作科学计算,scipy还差不少 : 在 mitbbs2715 (好吃不懒做) 的大作中提到: 】
|
L***n 发帖数: 6727 | 24 预处理如果是数学上的matlab也逃不掉,如果
纯粹是从底层的预处理基本上科学计算包的界面
也不需要,matlab wrap了一个统一的界面,但是
其他包的界面并不更复杂,比如我的例子算稀疏矩
阵的特征值,matlab和其他 scipy, SLEPc, ARPACK,
要求的参数都差不多,当然安装和使用SLEPc, ARPACK
本身就比用matlab, scipy麻烦多了
【在 m********5 的大作中提到】 : 手工写预处理代码逃不掉的 : 这方面只有matlab可以傻瓜化 : 因为matlab速度是次要的,主要是傻瓜化和正确性 : 它的很多元操作都有很复杂的condition判断,然后自动选择最优方法,overhead非常高 : numpy应该是不会做成这样,因为并不是要做成matlab替代品
|
L***n 发帖数: 6727 | 25 matlab速度并不慢,它底层调用的还是C, fortran写的包,
上面的overhead在科学计算上可以忽略不计,基本上起码
一个问题算几个小时到几天,那点overhead太少了
常高
【在 m********5 的大作中提到】 : 手工写预处理代码逃不掉的 : 这方面只有matlab可以傻瓜化 : 因为matlab速度是次要的,主要是傻瓜化和正确性 : 它的很多元操作都有很复杂的condition判断,然后自动选择最优方法,overhead非常高 : numpy应该是不会做成这样,因为并不是要做成matlab替代品
|
m********5 发帖数: 17667 | 26 我承认,SLEPc, ARPACK的确预处理上干预较少
但是他们只处理特征值问题
【在 L***n 的大作中提到】 : 预处理如果是数学上的matlab也逃不掉,如果 : 纯粹是从底层的预处理基本上科学计算包的界面 : 也不需要,matlab wrap了一个统一的界面,但是 : 其他包的界面并不更复杂,比如我的例子算稀疏矩 : 阵的特征值,matlab和其他 scipy, SLEPc, ARPACK, : 要求的参数都差不多,当然安装和使用SLEPc, ARPACK : 本身就比用matlab, scipy麻烦多了
|
m********5 发帖数: 17667 | 27 大量重复的元操作的overhead那就是很大问题
numpy在很多时候的提速是明显的
当然,如果你只循环几百次,肯定不是问题,或者元操作本来就要进行好几分钟,那更
不是问题
这种情况下,所有都是底层BLAS等的速度,用numpy已经失去意义了
【在 L***n 的大作中提到】 : matlab速度并不慢,它底层调用的还是C, fortran写的包, : 上面的overhead在科学计算上可以忽略不计,基本上起码 : 一个问题算几个小时到几天,那点overhead太少了 : : 常高
|
L***n 发帖数: 6727 | 28 在我看来numpy的意义就是方便使用啊,我是把它作为matlab替代品
使用的,numpy吸引我的地方就是命令行处理比matlab方便多了,但
是如果成熟和稳定上做的不够,那现阶段只能玩玩,还是不敢在关键
的地方用,
【在 m********5 的大作中提到】 : 大量重复的元操作的overhead那就是很大问题 : numpy在很多时候的提速是明显的 : 当然,如果你只循环几百次,肯定不是问题,或者元操作本来就要进行好几分钟,那更 : 不是问题 : 这种情况下,所有都是底层BLAS等的速度,用numpy已经失去意义了
|
m********5 发帖数: 17667 | 29 永远不可能,本来就不是它的目的
MATLAB在10年内绝对还是行业标准,多少大牛给MATLAB的正确性把关啊
况且scipy的贡献者很多都在领mathworks的咨询费 :D, 大家不会和自己钱包过不去的 |
P**H 发帖数: 1897 | 30 scipy那么不堪?我一直在用numpy/scipy解eigen和方程。目前没发现什么重大问题。 |
|
|
L***n 发帖数: 6727 | 31 我倒是觉得可能,哈哈,但是需要时间让scipy的bug收敛到比较低的水平,
我希望你的五年的预言可以实现,其实基本的数值线性代数大家都用BLAS
LAPACK, blabla,这部分做好了起码我会转向Scipy,毕竟调用方式比MATLAB
方便多了。python作为语言也比matlab感觉强多了,哈哈
【在 m********5 的大作中提到】 : 永远不可能,本来就不是它的目的 : MATLAB在10年内绝对还是行业标准,多少大牛给MATLAB的正确性把关啊 : 况且scipy的贡献者很多都在领mathworks的咨询费 :D, 大家不会和自己钱包过不去的
|
L***n 发帖数: 6727 | 32 多大矩阵啊?我很感兴趣这个问题,几千行数的矩阵两个数值解确实很一致,
其实公平的说不是scipy的问题,是底下调用库的问题,我用的是MKL,按说
还行...
【在 P**H 的大作中提到】 : scipy那么不堪?我一直在用numpy/scipy解eigen和方程。目前没发现什么重大问题。
|
P**H 发帖数: 1897 | 33 一般都是10k左右的sparse system,底层用的arpack。多了pc也算不过来。
【在 L***n 的大作中提到】 : 多大矩阵啊?我很感兴趣这个问题,几千行数的矩阵两个数值解确实很一致, : 其实公平的说不是scipy的问题,是底下调用库的问题,我用的是MKL,按说 : 还行...
|
L***n 发帖数: 6727 | 34 恩,我的python数值解在5万这个数量级开始有奇怪的现象,我用mkl是因为
ananconda缺省配置,我自己不会设置python怎么链接底层的库,你是怎么
在python里用arpack的?
【在 P**H 的大作中提到】 : 一般都是10k左右的sparse system,底层用的arpack。多了pc也算不过来。
|
P**H 发帖数: 1897 | 35 matlab和scipy解sparse eigen都是用的arpack。目前我没发现例外的。
我就是用的numpy/scipy/matplot。至于dense的,对我没有多大用。linux下底层用的
gotoblas/openblas,win下用mkl。
【在 L***n 的大作中提到】 : 恩,我的python数值解在5万这个数量级开始有奇怪的现象,我用mkl是因为 : ananconda缺省配置,我自己不会设置python怎么链接底层的库,你是怎么 : 在python里用arpack的?
|
L***n 发帖数: 6727 | 36 哦,anaconda可以用mkl作选项,matlab我不知道,你安装scipy的时候
自动装arpack吗?还是要链接到自己编译的库?
【在 P**H 的大作中提到】 : matlab和scipy解sparse eigen都是用的arpack。目前我没发现例外的。 : 我就是用的numpy/scipy/matplot。至于dense的,对我没有多大用。linux下底层用的 : gotoblas/openblas,win下用mkl。
|
P**H 发帖数: 1897 | 37 好像scipy自己就有arpack的源码。算自带了。
【在 L***n 的大作中提到】 : 哦,anaconda可以用mkl作选项,matlab我不知道,你安装scipy的时候 : 自动装arpack吗?还是要链接到自己编译的库?
|
L***n 发帖数: 6727 | 38 呵呵,也许我是吃了追求fancy的亏了?你是用的哪个scipy distribution啊?
【在 P**H 的大作中提到】 : 好像scipy自己就有arpack的源码。算自带了。
|
m********5 发帖数: 17667 | 39 Scipy sparse自动就是arpack
【在 L***n 的大作中提到】 : 哦,anaconda可以用mkl作选项,matlab我不知道,你安装scipy的时候 : 自动装arpack吗?还是要链接到自己编译的库?
|
L***n 发帖数: 6727 | 40 哪个distribution啊?我用anaconda,印象中好像让我选,我没多想就选了
mkl
【在 m********5 的大作中提到】 : Scipy sparse自动就是arpack
|
|
|
m********5 发帖数: 17667 | 41 没用distro,源码直接编的
【在 L***n 的大作中提到】 : 哪个distribution啊?我用anaconda,印象中好像让我选,我没多想就选了 : mkl
|
L***n 发帖数: 6727 | 42 靠,我们一般用户哪干的了这个,anyway, interesting,我有时间了
当个不用mkl的distribution再实验一下,完了报告一下结果
【在 m********5 的大作中提到】 : 没用distro,源码直接编的
|
j****x 发帖数: 943 | 43 有人知道为什么numpy没有wrap LAPACK 和 ScaLAPACK吗? license问题吗?
【在 L***n 的大作中提到】 : 不是,我没问过,我的问题和他的不一样,我是计算一个矩阵 : 的特征值,矩阵阶低了还可以,高了到5万左右python就不行了。 : 我还是用的anaconda,号称转为科学计算用的,我对matlab有 : 信心, 工作上还是用matlab, python只是玩玩,不一致就算了。 : 本来是觉得python用起来比matlab方便,现在看起来open source : 的东西用起来还是要小心
|
V*********r 发帖数: 666 | 44
你确认自己弄清楚lapack是什么了吗?
这就跟说“水果没有香蕉好吃”一样
【在 j****x 的大作中提到】 : 有人知道为什么numpy没有wrap LAPACK 和 ScaLAPACK吗? license问题吗?
|
j****x 发帖数: 943 | 45 LAPACK has driver routines that can solve standard eigenvalue problem or
singular value problem. The previous posts are discussing the eigenvalue
problem in numpy. What's your point?
【在 V*********r 的大作中提到】 : : 你确认自己弄清楚lapack是什么了吗? : 这就跟说“水果没有香蕉好吃”一样
|
N******K 发帖数: 10202 | 46 求一个均值 还能有多种方法? 茴香豆吃多了
【在 m********5 的大作中提到】 : Scipy和numpy的小bug确实比较多,但是也还没有到不堪用的地步 : 你说的这种类型转换bug,一般的numpy用户根本不会注意到,因为numpy用户大多喜欢 : 越早转为numpy.array越好,很少直接使用python native数据类型 : 你用的python list不接受其实很正常,只要有err throw出来很容易理解 : R和matlab用习惯的人,特别是以前没有重头学过数值计算的人的确不适合使用现阶段 : 的numpy,不过我们正在逐步改进,目前来说主要还是数值计算的人在用,傻瓜化的关 : 注可能不是很高。 : 你说的算不正确的问题 : 1. 其实是因为很多矩阵,特别是大型矩阵需要有预处理,matlab和R很多时候已经在内 : 部隐含地处理了。而scipy和numpy需要你自己预处理。
|
j****x 发帖数: 943 | 47 sparse:dense vs ARPACK:LAPACK vs orange:apple ?
【在 V*********r 的大作中提到】 : : 你确认自己弄清楚lapack是什么了吗? : 这就跟说“水果没有香蕉好吃”一样
|
M*P 发帖数: 6456 | 48 这是因为numpy.mean用纯累加方式求均数,如果想得到正确数字需要预处理,或者用更
smart的mean函数
Please teach me master!
【在 m********5 的大作中提到】 : Scipy和numpy的小bug确实比较多,但是也还没有到不堪用的地步 : 你说的这种类型转换bug,一般的numpy用户根本不会注意到,因为numpy用户大多喜欢 : 越早转为numpy.array越好,很少直接使用python native数据类型 : 你用的python list不接受其实很正常,只要有err throw出来很容易理解 : R和matlab用习惯的人,特别是以前没有重头学过数值计算的人的确不适合使用现阶段 : 的numpy,不过我们正在逐步改进,目前来说主要还是数值计算的人在用,傻瓜化的关 : 注可能不是很高。 : 你说的算不正确的问题 : 1. 其实是因为很多矩阵,特别是大型矩阵需要有预处理,matlab和R很多时候已经在内 : 部隐含地处理了。而scipy和numpy需要你自己预处理。
|
w***g 发帖数: 5958 | 49 浮点数大数+小数会导致精度丧失。加到后来就加不上去了。
【在 M*P 的大作中提到】 : 这是因为numpy.mean用纯累加方式求均数,如果想得到正确数字需要预处理,或者用更 : smart的mean函数 : Please teach me master!
|
N******K 发帖数: 10202 | 50 M_new = alpha* M_old + beta* mean(N个新数字)
这不就行了么
【在 w***g 的大作中提到】 : 浮点数大数+小数会导致精度丧失。加到后来就加不上去了。
|
|
|
w***g 发帖数: 5958 | 51 不明觉历
【在 N******K 的大作中提到】 : M_new = alpha* M_old + beta* mean(N个新数字) : 这不就行了么
|
M*P 发帖数: 6456 | 52 does it matter?
【在 w***g 的大作中提到】 : 浮点数大数+小数会导致精度丧失。加到后来就加不上去了。
|
t****t 发帖数: 6806 | 53 当然...
【在 M*P 的大作中提到】 : does it matter?
|
M*P 发帖数: 6456 | 54 举个例子吧。
★ 发自iPhone App: ChineseWeb 7.8
【在 t****t 的大作中提到】 : 当然...
|
t****t 发帖数: 6806 | 55 这是最基本的数值计算知识, 加法要从小数开始加到大数
【在 M*P 的大作中提到】 : 举个例子吧。 : : ★ 发自iPhone App: ChineseWeb 7.8
|
c****t 发帖数: 19049 | 56 赞!这跟统计版月经sas/r有得一比了
自己开小consulting就上python;有人出钱就上matlab;真要做大型计算还是得上C++
。python的用处是numpy的array可以直接在c里call。python的那些包包就是做前处理
方便。prototype用r,python还是matlab都差不多。看哪个顺手 |
N******K 发帖数: 10202 | 57 应该是绝对值靠近0的先加
【在 t****t 的大作中提到】 : 这是最基本的数值计算知识, 加法要从小数开始加到大数
|
h***j 发帖数: 51 | |
t****t 发帖数: 6806 | 59 小就是绝对值小的意思...好吧, 这是数值计算101, 我以为所有人都懂的.
【在 N******K 的大作中提到】 : 应该是绝对值靠近0的先加
|
t*****n 发帖数: 4908 | 60 马工和搞数值是两类不同的人。。。。
【在 t****t 的大作中提到】 : 小就是绝对值小的意思...好吧, 这是数值计算101, 我以为所有人都懂的.
|
|
|
T*****u 发帖数: 7103 | 61 matlab node lock license,可以lock到一个电脑上,无数人用;也可以lock给一个人
,最多可以分装在四台电脑上。没交年费的交钱让他给你改一下就好。
【在 n******7 的大作中提到】 : matlab版权比较蛋疼 : 我有两台电脑,账号只能授权一个机器用,总是有点蛋疼 : 我看那个哥们儿也是去问为啥scipy跟matlab的结果不一致,不会是你吧
|
r****t 发帖数: 10904 | 62 小心被打。。
【在 M*P 的大作中提到】 : 举个例子吧。 : : ★ 发自iPhone App: ChineseWeb 7.8
|
M*P 发帖数: 6456 | 63 我觉得即使丧失精度,小数点后面很多位在我所处理的问题里意义不大.
比如你算 一个 100 加上 1e10 个 1e-10 级别的小数, 那后面那些加起来有多准意义
不大。即使精确结果是101,这个跟100 区别就在1%里面,根本没关系。
真心求教在什么情况下这种精度丧失会成为问题。给本书让我看也成。
【在 t****t 的大作中提到】 : 这是最基本的数值计算知识, 加法要从小数开始加到大数
|
l*******m 发帖数: 1096 | 64 an array a[] is assumed to be like a[0] = hugh, a[1,..., N-1] = tiny, where
tiny * (N -1) = -hugh
sum(a) should be 0
【在 M*P 的大作中提到】 : 我觉得即使丧失精度,小数点后面很多位在我所处理的问题里意义不大. : 比如你算 一个 100 加上 1e10 个 1e-10 级别的小数, 那后面那些加起来有多准意义 : 不大。即使精确结果是101,这个跟100 区别就在1%里面,根本没关系。 : 真心求教在什么情况下这种精度丧失会成为问题。给本书让我看也成。
|
M*P 发帖数: 6456 | 65 I thought if you use float32, that should not be a problem.
where
【在 l*******m 的大作中提到】 : an array a[] is assumed to be like a[0] = hugh, a[1,..., N-1] = tiny, where : tiny * (N -1) = -hugh : sum(a) should be 0
|
V*********r 发帖数: 666 | 66 >>> import numpy
>>> numpy.__config__.show()
【在 L***n 的大作中提到】 : 哪个distribution啊?我用anaconda,印象中好像让我选,我没多想就选了 : mkl
|
z****s 发帖数: 192 | 67
lightroom给的例子很好。你如果用float32会使得程序运行很慢。
推荐你一个很经典的小册子:
Numerical Computing with IEEE Floating Point Airthmetic,
Michael L Overton
SIAM 2001
This book should address your issue.
【在 M*P 的大作中提到】 : I thought if you use float32, that should not be a problem. : : where
|
M*P 发帖数: 6456 | 68 thank you!
【在 z****s 的大作中提到】 : : lightroom给的例子很好。你如果用float32会使得程序运行很慢。 : 推荐你一个很经典的小册子: : Numerical Computing with IEEE Floating Point Airthmetic, : Michael L Overton : SIAM 2001 : This book should address your issue.
|