由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - 有没有觉得scipy很稀烂的?
相关主题
请不要盲目崇拜FP语言pandas 作者:Apache Arrow and the "10 Things I Hate About pandas"
大侠们说说C(C++)或Fortran比较Matlab到底优点在哪儿?有人用过octave吗?
Python的问题易写性,易维护和执行效率综合来看
[合集] scipy还是matlab如何自学python
也谈谈语言之争请教python中如何向文件写入矩阵
虚心请教 如何成为Python 大牛[合集] Python下面如何进行numeric analysis and statistical analysis
[bssd]汇报一下Julia进展有matplotlib或numpy/scipy的同学帮我试试
data.table谁用过? 有那么神吗?SciPy and NumPy
相关话题的讨论汇总
话题: scipy话题: matlab话题: numpy话题: python话题: arpack
进入Programming版参与讨论
1 (共1页)
n******7
发帖数: 12463
1
平时主要用R,用过几次scipy统计包每次都出点大大小小的问题
最近几次如下
1. fit 一个distribution 参数,搜了一下,stack overflow上一哥们儿怎么都算不对
,后来发现是老版本bug,新版本才fix
2. 做binomial sampling,结果给出超大的数,结果发现是没有正确处理nan
3. 做chisquare,用0.11版发现chisquare([10,10,20,20])可以,
chisquare([10,10,20,20],[10,10,20,20])就不行,必须
chisquare(np.array([10,10,20,20]),np.array([10,10,20,20]))
这叫什么事?这个在0.14版也ok了
最近也开始用numpy,不知道是不是也是怎么buggy?
M*P
发帖数: 6456
2
所以才0.11版。感觉R的用户群要大很多。

★ 发自iPhone App: ChineseWeb 7.8

【在 n******7 的大作中提到】
: 平时主要用R,用过几次scipy统计包每次都出点大大小小的问题
: 最近几次如下
: 1. fit 一个distribution 参数,搜了一下,stack overflow上一哥们儿怎么都算不对
: ,后来发现是老版本bug,新版本才fix
: 2. 做binomial sampling,结果给出超大的数,结果发现是没有正确处理nan
: 3. 做chisquare,用0.11版发现chisquare([10,10,20,20])可以,
: chisquare([10,10,20,20],[10,10,20,20])就不行,必须
: chisquare(np.array([10,10,20,20]),np.array([10,10,20,20]))
: 这叫什么事?这个在0.14版也ok了
: 最近也开始用numpy,不知道是不是也是怎么buggy?

h*******u
发帖数: 15326
3
用 pandas

【在 n******7 的大作中提到】
: 平时主要用R,用过几次scipy统计包每次都出点大大小小的问题
: 最近几次如下
: 1. fit 一个distribution 参数,搜了一下,stack overflow上一哥们儿怎么都算不对
: ,后来发现是老版本bug,新版本才fix
: 2. 做binomial sampling,结果给出超大的数,结果发现是没有正确处理nan
: 3. 做chisquare,用0.11版发现chisquare([10,10,20,20])可以,
: chisquare([10,10,20,20],[10,10,20,20])就不行,必须
: chisquare(np.array([10,10,20,20]),np.array([10,10,20,20]))
: 这叫什么事?这个在0.14版也ok了
: 最近也开始用numpy,不知道是不是也是怎么buggy?

L***n
发帖数: 6727
4
对,同感,我现在都不敢用 scipy了,numpy是建立在scipy基础上的,也不敢用

【在 n******7 的大作中提到】
: 平时主要用R,用过几次scipy统计包每次都出点大大小小的问题
: 最近几次如下
: 1. fit 一个distribution 参数,搜了一下,stack overflow上一哥们儿怎么都算不对
: ,后来发现是老版本bug,新版本才fix
: 2. 做binomial sampling,结果给出超大的数,结果发现是没有正确处理nan
: 3. 做chisquare,用0.11版发现chisquare([10,10,20,20])可以,
: chisquare([10,10,20,20],[10,10,20,20])就不行,必须
: chisquare(np.array([10,10,20,20]),np.array([10,10,20,20]))
: 这叫什么事?这个在0.14版也ok了
: 最近也开始用numpy,不知道是不是也是怎么buggy?

M*P
发帖数: 6456
5
反了,numpy比较早。一般java用什么数值计算库呢?

★ 发自iPhone App: ChineseWeb 7.8

【在 L***n 的大作中提到】
: 对,同感,我现在都不敢用 scipy了,numpy是建立在scipy基础上的,也不敢用
n******7
发帖数: 12463
6
应该是
我用python 处理数据,用scipy好处是就不用先写成文件再用R来load了

【在 M*P 的大作中提到】
: 所以才0.11版。感觉R的用户群要大很多。
:
: ★ 发自iPhone App: ChineseWeb 7.8

n******7
发帖数: 12463
7
看了一下pandas也是基于scipy的啊
Optional Dependencies:
SciPy: miscellaneous statistical functions

【在 h*******u 的大作中提到】
: 用 pandas
w***g
发帖数: 5958
8
这就是为什么matlab还这么牛。从长远看python的前途堪忧。要不还是转回matlab和R
算了。

【在 n******7 的大作中提到】
: 平时主要用R,用过几次scipy统计包每次都出点大大小小的问题
: 最近几次如下
: 1. fit 一个distribution 参数,搜了一下,stack overflow上一哥们儿怎么都算不对
: ,后来发现是老版本bug,新版本才fix
: 2. 做binomial sampling,结果给出超大的数,结果发现是没有正确处理nan
: 3. 做chisquare,用0.11版发现chisquare([10,10,20,20])可以,
: chisquare([10,10,20,20],[10,10,20,20])就不行,必须
: chisquare(np.array([10,10,20,20]),np.array([10,10,20,20]))
: 这叫什么事?这个在0.14版也ok了
: 最近也开始用numpy,不知道是不是也是怎么buggy?

n******7
发帖数: 12463
9
恩,numpy是基础,数据结构,矩阵操作什么的
scipy感觉是基于numpy应用扩展

【在 M*P 的大作中提到】
: 反了,numpy比较早。一般java用什么数值计算库呢?
:
: ★ 发自iPhone App: ChineseWeb 7.8

L***n
发帖数: 6727
10
哦,记错了,反正我只用C++和matlab, java没用过,我不用
scipy是因为算得结果和matlab不一致,我对python没什么信心了

【在 M*P 的大作中提到】
: 反了,numpy比较早。一般java用什么数值计算库呢?
:
: ★ 发自iPhone App: ChineseWeb 7.8

相关主题
虚心请教 如何成为Python 大牛pandas 作者:Apache Arrow and the "10 Things I Hate About pandas"
[bssd]汇报一下Julia进展有人用过octave吗?
data.table谁用过? 有那么神吗?易写性,易维护和执行效率综合来看
进入Programming版参与讨论
n******7
发帖数: 12463
11
我是准备放弃了,没时间瞎折腾
本来是yy了一下scikit-learn,numpy+scipy+matplotlib 的组合

R

【在 w***g 的大作中提到】
: 这就是为什么matlab还这么牛。从长远看python的前途堪忧。要不还是转回matlab和R
: 算了。

n******7
发帖数: 12463
12
matlab版权比较蛋疼
我有两台电脑,账号只能授权一个机器用,总是有点蛋疼
我看那个哥们儿也是去问为啥scipy跟matlab的结果不一致,不会是你吧

【在 L***n 的大作中提到】
: 哦,记错了,反正我只用C++和matlab, java没用过,我不用
: scipy是因为算得结果和matlab不一致,我对python没什么信心了

M*P
发帖数: 6456
13
这个是挺新的,我也在鼓捣。

★ 发自iPhone App: ChineseWeb 7.8

【在 n******7 的大作中提到】
: 我是准备放弃了,没时间瞎折腾
: 本来是yy了一下scikit-learn,numpy+scipy+matplotlib 的组合
:
: R

M*P
发帖数: 6456
14
我想从python跳出来,受不了c++那些词不达意的错误信息。所以想看看java如何。

★ 发自iPhone App: ChineseWeb 7.8

【在 L***n 的大作中提到】
: 哦,记错了,反正我只用C++和matlab, java没用过,我不用
: scipy是因为算得结果和matlab不一致,我对python没什么信心了

L***n
发帖数: 6727
15
不是,我没问过,我的问题和他的不一样,我是计算一个矩阵
的特征值,矩阵阶低了还可以,高了到5万左右python就不行了。
我还是用的anaconda,号称转为科学计算用的,我对matlab有
信心, 工作上还是用matlab, python只是玩玩,不一致就算了。
本来是觉得python用起来比matlab方便,现在看起来open source
的东西用起来还是要小心

【在 n******7 的大作中提到】
: matlab版权比较蛋疼
: 我有两台电脑,账号只能授权一个机器用,总是有点蛋疼
: 我看那个哥们儿也是去问为啥scipy跟matlab的结果不一致,不会是你吧

m********5
发帖数: 17667
16
Scipy和numpy的小bug确实比较多,但是也还没有到不堪用的地步
你说的这种类型转换bug,一般的numpy用户根本不会注意到,因为numpy用户大多喜欢
越早转为numpy.array越好,很少直接使用python native数据类型
你用的python list不接受其实很正常,只要有err throw出来很容易理解
R和matlab用习惯的人,特别是以前没有重头学过数值计算的人的确不适合使用现阶段
的numpy,不过我们正在逐步改进,目前来说主要还是数值计算的人在用,傻瓜化的关
注可能不是很高。
你说的算不正确的问题
1. 其实是因为很多矩阵,特别是大型矩阵需要有预处理,matlab和R很多时候已经在内
部隐含地处理了。而scipy和numpy需要你自己预处理。
2. 其次是精度问题,这方面numpy不是傻瓜的,为了速度所有都需要手动干预。用个最
简单的例子来说,mean(A),如果A很长,即使A全是1, numpy直到很近期的版本也得不到
正确数值,近期版的matlab就可以。这是因为numpy.mean用纯累加方式求均数,如果想
得到正确数字需要预处理,或者用更smart的mean函数。
这对经常做数值计算的人来说也许是常识,但是对matlab用户来说就未必,这就是目前
的问题,因此我建议各位R/Matlab用户在这个阶段5年以内还是不要使用numpy

【在 n******7 的大作中提到】
: 平时主要用R,用过几次scipy统计包每次都出点大大小小的问题
: 最近几次如下
: 1. fit 一个distribution 参数,搜了一下,stack overflow上一哥们儿怎么都算不对
: ,后来发现是老版本bug,新版本才fix
: 2. 做binomial sampling,结果给出超大的数,结果发现是没有正确处理nan
: 3. 做chisquare,用0.11版发现chisquare([10,10,20,20])可以,
: chisquare([10,10,20,20],[10,10,20,20])就不行,必须
: chisquare(np.array([10,10,20,20]),np.array([10,10,20,20]))
: 这叫什么事?这个在0.14版也ok了
: 最近也开始用numpy,不知道是不是也是怎么buggy?

n******7
发帖数: 12463
17
我一般都是转成array来用的
今天发现这个问题是因为我看scipy的chisquare文档里面直接用的python list
就试了一下,发现在0.11不完全work
我本来以为都是要np.array的
你是scipy的contributor?

【在 m********5 的大作中提到】
: Scipy和numpy的小bug确实比较多,但是也还没有到不堪用的地步
: 你说的这种类型转换bug,一般的numpy用户根本不会注意到,因为numpy用户大多喜欢
: 越早转为numpy.array越好,很少直接使用python native数据类型
: 你用的python list不接受其实很正常,只要有err throw出来很容易理解
: R和matlab用习惯的人,特别是以前没有重头学过数值计算的人的确不适合使用现阶段
: 的numpy,不过我们正在逐步改进,目前来说主要还是数值计算的人在用,傻瓜化的关
: 注可能不是很高。
: 你说的算不正确的问题
: 1. 其实是因为很多矩阵,特别是大型矩阵需要有预处理,matlab和R很多时候已经在内
: 部隐含地处理了。而scipy和numpy需要你自己预处理。

n******7
发帖数: 12463
18
我也想试试java
好像weka很多人推荐,但是看了看不就是一个java写的工具包吗
跟java本身关系不大似乎

【在 M*P 的大作中提到】
: 我想从python跳出来,受不了c++那些词不达意的错误信息。所以想看看java如何。
:
: ★ 发自iPhone App: ChineseWeb 7.8

m********5
发帖数: 17667
19
java里面我觉得没有太好的包,问题会比numpy更多
开源的,重视速度的项目始终会有傻瓜化不足的问题,即使ROOT也常有类似问题
对于你们我建议还是只用Matlab

【在 n******7 的大作中提到】
: 我也想试试java
: 好像weka很多人推荐,但是看了看不就是一个java写的工具包吗
: 跟java本身关系不大似乎

n******7
发帖数: 12463
20
好吧,不折腾了

【在 m********5 的大作中提到】
: java里面我觉得没有太好的包,问题会比numpy更多
: 开源的,重视速度的项目始终会有傻瓜化不足的问题,即使ROOT也常有类似问题
: 对于你们我建议还是只用Matlab

相关主题
如何自学python有matplotlib或numpy/scipy的同学帮我试试
请教python中如何向文件写入矩阵SciPy and NumPy
[合集] Python下面如何进行numeric analysis and statistical analysis求python大牛指路
进入Programming版参与讨论
L***n
发帖数: 6727
21
如果有时间写代码不是急着实现算法还是C++最靠谱,
直接调用大量成熟的库,或者用成熟的framework
trilinos或者PETSc作科学计算,scipy还差不少
在 mitbbs2715 (好吃不懒做) 的大作中提到: 】
m********5
发帖数: 17667
22
对于任何开源包,你都要很清楚你的程序底层到底在干什么,不是仅仅数学上的。
我的建议是使用matlab进行prototyping. 当差不多知道你需要使用哪些具体的计算以
后,如果你希望速度有提升,可以使用numpy,ROOT等
因为知道需要哪些具体计算步骤之后,你可以有针对性得对这些算符进行彻底的测试,
比较在相同的矩阵大小下,matlab和他们的差异。

【在 n******7 的大作中提到】
: 好吧,不折腾了
m********5
发帖数: 17667
23
手工写预处理代码逃不掉的
这方面只有matlab可以傻瓜化
因为matlab速度是次要的,主要是傻瓜化和正确性
它的很多元操作都有很复杂的condition判断,然后自动选择最优方法,overhead非常高
numpy应该是不会做成这样,因为并不是要做成matlab替代品

【在 L***n 的大作中提到】
: 如果有时间写代码不是急着实现算法还是C++最靠谱,
: 直接调用大量成熟的库,或者用成熟的framework
: trilinos或者PETSc作科学计算,scipy还差不少
: 在 mitbbs2715 (好吃不懒做) 的大作中提到: 】

L***n
发帖数: 6727
24
预处理如果是数学上的matlab也逃不掉,如果
纯粹是从底层的预处理基本上科学计算包的界面
也不需要,matlab wrap了一个统一的界面,但是
其他包的界面并不更复杂,比如我的例子算稀疏矩
阵的特征值,matlab和其他 scipy, SLEPc, ARPACK,
要求的参数都差不多,当然安装和使用SLEPc, ARPACK
本身就比用matlab, scipy麻烦多了

【在 m********5 的大作中提到】
: 手工写预处理代码逃不掉的
: 这方面只有matlab可以傻瓜化
: 因为matlab速度是次要的,主要是傻瓜化和正确性
: 它的很多元操作都有很复杂的condition判断,然后自动选择最优方法,overhead非常高
: numpy应该是不会做成这样,因为并不是要做成matlab替代品

L***n
发帖数: 6727
25
matlab速度并不慢,它底层调用的还是C, fortran写的包,
上面的overhead在科学计算上可以忽略不计,基本上起码
一个问题算几个小时到几天,那点overhead太少了

常高

【在 m********5 的大作中提到】
: 手工写预处理代码逃不掉的
: 这方面只有matlab可以傻瓜化
: 因为matlab速度是次要的,主要是傻瓜化和正确性
: 它的很多元操作都有很复杂的condition判断,然后自动选择最优方法,overhead非常高
: numpy应该是不会做成这样,因为并不是要做成matlab替代品

m********5
发帖数: 17667
26
我承认,SLEPc, ARPACK的确预处理上干预较少
但是他们只处理特征值问题

【在 L***n 的大作中提到】
: 预处理如果是数学上的matlab也逃不掉,如果
: 纯粹是从底层的预处理基本上科学计算包的界面
: 也不需要,matlab wrap了一个统一的界面,但是
: 其他包的界面并不更复杂,比如我的例子算稀疏矩
: 阵的特征值,matlab和其他 scipy, SLEPc, ARPACK,
: 要求的参数都差不多,当然安装和使用SLEPc, ARPACK
: 本身就比用matlab, scipy麻烦多了

m********5
发帖数: 17667
27
大量重复的元操作的overhead那就是很大问题
numpy在很多时候的提速是明显的
当然,如果你只循环几百次,肯定不是问题,或者元操作本来就要进行好几分钟,那更
不是问题
这种情况下,所有都是底层BLAS等的速度,用numpy已经失去意义了

【在 L***n 的大作中提到】
: matlab速度并不慢,它底层调用的还是C, fortran写的包,
: 上面的overhead在科学计算上可以忽略不计,基本上起码
: 一个问题算几个小时到几天,那点overhead太少了
:
: 常高

L***n
发帖数: 6727
28
在我看来numpy的意义就是方便使用啊,我是把它作为matlab替代品
使用的,numpy吸引我的地方就是命令行处理比matlab方便多了,但
是如果成熟和稳定上做的不够,那现阶段只能玩玩,还是不敢在关键
的地方用,

【在 m********5 的大作中提到】
: 大量重复的元操作的overhead那就是很大问题
: numpy在很多时候的提速是明显的
: 当然,如果你只循环几百次,肯定不是问题,或者元操作本来就要进行好几分钟,那更
: 不是问题
: 这种情况下,所有都是底层BLAS等的速度,用numpy已经失去意义了

m********5
发帖数: 17667
29
永远不可能,本来就不是它的目的
MATLAB在10年内绝对还是行业标准,多少大牛给MATLAB的正确性把关啊
况且scipy的贡献者很多都在领mathworks的咨询费 :D, 大家不会和自己钱包过不去的
P**H
发帖数: 1897
30
scipy那么不堪?我一直在用numpy/scipy解eigen和方程。目前没发现什么重大问题。
相关主题
python3还是python?大侠们说说C(C++)或Fortran比较Matlab到底优点在哪儿?
vert.x就是脚本语言们的企业版Python的问题
请不要盲目崇拜FP语言[合集] scipy还是matlab
进入Programming版参与讨论
L***n
发帖数: 6727
31
我倒是觉得可能,哈哈,但是需要时间让scipy的bug收敛到比较低的水平,
我希望你的五年的预言可以实现,其实基本的数值线性代数大家都用BLAS
LAPACK, blabla,这部分做好了起码我会转向Scipy,毕竟调用方式比MATLAB
方便多了。python作为语言也比matlab感觉强多了,哈哈

【在 m********5 的大作中提到】
: 永远不可能,本来就不是它的目的
: MATLAB在10年内绝对还是行业标准,多少大牛给MATLAB的正确性把关啊
: 况且scipy的贡献者很多都在领mathworks的咨询费 :D, 大家不会和自己钱包过不去的

L***n
发帖数: 6727
32
多大矩阵啊?我很感兴趣这个问题,几千行数的矩阵两个数值解确实很一致,
其实公平的说不是scipy的问题,是底下调用库的问题,我用的是MKL,按说
还行...

【在 P**H 的大作中提到】
: scipy那么不堪?我一直在用numpy/scipy解eigen和方程。目前没发现什么重大问题。
P**H
发帖数: 1897
33
一般都是10k左右的sparse system,底层用的arpack。多了pc也算不过来。

【在 L***n 的大作中提到】
: 多大矩阵啊?我很感兴趣这个问题,几千行数的矩阵两个数值解确实很一致,
: 其实公平的说不是scipy的问题,是底下调用库的问题,我用的是MKL,按说
: 还行...

L***n
发帖数: 6727
34
恩,我的python数值解在5万这个数量级开始有奇怪的现象,我用mkl是因为
ananconda缺省配置,我自己不会设置python怎么链接底层的库,你是怎么
在python里用arpack的?

【在 P**H 的大作中提到】
: 一般都是10k左右的sparse system,底层用的arpack。多了pc也算不过来。
P**H
发帖数: 1897
35
matlab和scipy解sparse eigen都是用的arpack。目前我没发现例外的。
我就是用的numpy/scipy/matplot。至于dense的,对我没有多大用。linux下底层用的
gotoblas/openblas,win下用mkl。

【在 L***n 的大作中提到】
: 恩,我的python数值解在5万这个数量级开始有奇怪的现象,我用mkl是因为
: ananconda缺省配置,我自己不会设置python怎么链接底层的库,你是怎么
: 在python里用arpack的?

L***n
发帖数: 6727
36
哦,anaconda可以用mkl作选项,matlab我不知道,你安装scipy的时候
自动装arpack吗?还是要链接到自己编译的库?

【在 P**H 的大作中提到】
: matlab和scipy解sparse eigen都是用的arpack。目前我没发现例外的。
: 我就是用的numpy/scipy/matplot。至于dense的,对我没有多大用。linux下底层用的
: gotoblas/openblas,win下用mkl。

P**H
发帖数: 1897
37
好像scipy自己就有arpack的源码。算自带了。

【在 L***n 的大作中提到】
: 哦,anaconda可以用mkl作选项,matlab我不知道,你安装scipy的时候
: 自动装arpack吗?还是要链接到自己编译的库?

L***n
发帖数: 6727
38
呵呵,也许我是吃了追求fancy的亏了?你是用的哪个scipy distribution啊?

【在 P**H 的大作中提到】
: 好像scipy自己就有arpack的源码。算自带了。
m********5
发帖数: 17667
39
Scipy sparse自动就是arpack

【在 L***n 的大作中提到】
: 哦,anaconda可以用mkl作选项,matlab我不知道,你安装scipy的时候
: 自动装arpack吗?还是要链接到自己编译的库?

L***n
发帖数: 6727
40
哪个distribution啊?我用anaconda,印象中好像让我选,我没多想就选了
mkl

【在 m********5 的大作中提到】
: Scipy sparse自动就是arpack
相关主题
[合集] scipy还是matlab[bssd]汇报一下Julia进展
也谈谈语言之争data.table谁用过? 有那么神吗?
虚心请教 如何成为Python 大牛pandas 作者:Apache Arrow and the "10 Things I Hate About pandas"
进入Programming版参与讨论
m********5
发帖数: 17667
41
没用distro,源码直接编的

【在 L***n 的大作中提到】
: 哪个distribution啊?我用anaconda,印象中好像让我选,我没多想就选了
: mkl

L***n
发帖数: 6727
42
靠,我们一般用户哪干的了这个,anyway, interesting,我有时间了
当个不用mkl的distribution再实验一下,完了报告一下结果

【在 m********5 的大作中提到】
: 没用distro,源码直接编的
j****x
发帖数: 943
43
有人知道为什么numpy没有wrap LAPACK 和 ScaLAPACK吗? license问题吗?

【在 L***n 的大作中提到】
: 不是,我没问过,我的问题和他的不一样,我是计算一个矩阵
: 的特征值,矩阵阶低了还可以,高了到5万左右python就不行了。
: 我还是用的anaconda,号称转为科学计算用的,我对matlab有
: 信心, 工作上还是用matlab, python只是玩玩,不一致就算了。
: 本来是觉得python用起来比matlab方便,现在看起来open source
: 的东西用起来还是要小心

V*********r
发帖数: 666
44

你确认自己弄清楚lapack是什么了吗?
这就跟说“水果没有香蕉好吃”一样

【在 j****x 的大作中提到】
: 有人知道为什么numpy没有wrap LAPACK 和 ScaLAPACK吗? license问题吗?
j****x
发帖数: 943
45
LAPACK has driver routines that can solve standard eigenvalue problem or
singular value problem. The previous posts are discussing the eigenvalue
problem in numpy. What's your point?

【在 V*********r 的大作中提到】
:
: 你确认自己弄清楚lapack是什么了吗?
: 这就跟说“水果没有香蕉好吃”一样

N******K
发帖数: 10202
46
求一个均值 还能有多种方法? 茴香豆吃多了

【在 m********5 的大作中提到】
: Scipy和numpy的小bug确实比较多,但是也还没有到不堪用的地步
: 你说的这种类型转换bug,一般的numpy用户根本不会注意到,因为numpy用户大多喜欢
: 越早转为numpy.array越好,很少直接使用python native数据类型
: 你用的python list不接受其实很正常,只要有err throw出来很容易理解
: R和matlab用习惯的人,特别是以前没有重头学过数值计算的人的确不适合使用现阶段
: 的numpy,不过我们正在逐步改进,目前来说主要还是数值计算的人在用,傻瓜化的关
: 注可能不是很高。
: 你说的算不正确的问题
: 1. 其实是因为很多矩阵,特别是大型矩阵需要有预处理,matlab和R很多时候已经在内
: 部隐含地处理了。而scipy和numpy需要你自己预处理。

j****x
发帖数: 943
47
sparse:dense vs ARPACK:LAPACK vs orange:apple ?

【在 V*********r 的大作中提到】
:
: 你确认自己弄清楚lapack是什么了吗?
: 这就跟说“水果没有香蕉好吃”一样

M*P
发帖数: 6456
48
这是因为numpy.mean用纯累加方式求均数,如果想得到正确数字需要预处理,或者用更
smart的mean函数
Please teach me master!

【在 m********5 的大作中提到】
: Scipy和numpy的小bug确实比较多,但是也还没有到不堪用的地步
: 你说的这种类型转换bug,一般的numpy用户根本不会注意到,因为numpy用户大多喜欢
: 越早转为numpy.array越好,很少直接使用python native数据类型
: 你用的python list不接受其实很正常,只要有err throw出来很容易理解
: R和matlab用习惯的人,特别是以前没有重头学过数值计算的人的确不适合使用现阶段
: 的numpy,不过我们正在逐步改进,目前来说主要还是数值计算的人在用,傻瓜化的关
: 注可能不是很高。
: 你说的算不正确的问题
: 1. 其实是因为很多矩阵,特别是大型矩阵需要有预处理,matlab和R很多时候已经在内
: 部隐含地处理了。而scipy和numpy需要你自己预处理。

w***g
发帖数: 5958
49
浮点数大数+小数会导致精度丧失。加到后来就加不上去了。

【在 M*P 的大作中提到】
: 这是因为numpy.mean用纯累加方式求均数,如果想得到正确数字需要预处理,或者用更
: smart的mean函数
: Please teach me master!

N******K
发帖数: 10202
50
M_new = alpha* M_old + beta* mean(N个新数字)
这不就行了么

【在 w***g 的大作中提到】
: 浮点数大数+小数会导致精度丧失。加到后来就加不上去了。
相关主题
有人用过octave吗?请教python中如何向文件写入矩阵
易写性,易维护和执行效率综合来看[合集] Python下面如何进行numeric analysis and statistical analysis
如何自学python有matplotlib或numpy/scipy的同学帮我试试
进入Programming版参与讨论
w***g
发帖数: 5958
51
不明觉历

【在 N******K 的大作中提到】
: M_new = alpha* M_old + beta* mean(N个新数字)
: 这不就行了么

M*P
发帖数: 6456
52
does it matter?

【在 w***g 的大作中提到】
: 浮点数大数+小数会导致精度丧失。加到后来就加不上去了。
t****t
发帖数: 6806
53
当然...

【在 M*P 的大作中提到】
: does it matter?
M*P
发帖数: 6456
54
举个例子吧。

★ 发自iPhone App: ChineseWeb 7.8

【在 t****t 的大作中提到】
: 当然...
t****t
发帖数: 6806
55
这是最基本的数值计算知识, 加法要从小数开始加到大数

【在 M*P 的大作中提到】
: 举个例子吧。
:
: ★ 发自iPhone App: ChineseWeb 7.8

c****t
发帖数: 19049
56
赞!这跟统计版月经sas/r有得一比了
自己开小consulting就上python;有人出钱就上matlab;真要做大型计算还是得上C++
。python的用处是numpy的array可以直接在c里call。python的那些包包就是做前处理
方便。prototype用r,python还是matlab都差不多。看哪个顺手
N******K
发帖数: 10202
57
应该是绝对值靠近0的先加

【在 t****t 的大作中提到】
: 这是最基本的数值计算知识, 加法要从小数开始加到大数
h***j
发帖数: 51
58
我们平时用的很多,用多就顺手了
t****t
发帖数: 6806
59
小就是绝对值小的意思...好吧, 这是数值计算101, 我以为所有人都懂的.

【在 N******K 的大作中提到】
: 应该是绝对值靠近0的先加
t*****n
发帖数: 4908
60
马工和搞数值是两类不同的人。。。。

【在 t****t 的大作中提到】
: 小就是绝对值小的意思...好吧, 这是数值计算101, 我以为所有人都懂的.
相关主题
SciPy and NumPyvert.x就是脚本语言们的企业版
求python大牛指路请不要盲目崇拜FP语言
python3还是python?大侠们说说C(C++)或Fortran比较Matlab到底优点在哪儿?
进入Programming版参与讨论
T*****u
发帖数: 7103
61
matlab node lock license,可以lock到一个电脑上,无数人用;也可以lock给一个人
,最多可以分装在四台电脑上。没交年费的交钱让他给你改一下就好。

【在 n******7 的大作中提到】
: matlab版权比较蛋疼
: 我有两台电脑,账号只能授权一个机器用,总是有点蛋疼
: 我看那个哥们儿也是去问为啥scipy跟matlab的结果不一致,不会是你吧

r****t
发帖数: 10904
62
小心被打。。

【在 M*P 的大作中提到】
: 举个例子吧。
:
: ★ 发自iPhone App: ChineseWeb 7.8

M*P
发帖数: 6456
63
我觉得即使丧失精度,小数点后面很多位在我所处理的问题里意义不大.
比如你算 一个 100 加上 1e10 个 1e-10 级别的小数, 那后面那些加起来有多准意义
不大。即使精确结果是101,这个跟100 区别就在1%里面,根本没关系。
真心求教在什么情况下这种精度丧失会成为问题。给本书让我看也成。

【在 t****t 的大作中提到】
: 这是最基本的数值计算知识, 加法要从小数开始加到大数
l*******m
发帖数: 1096
64
an array a[] is assumed to be like a[0] = hugh, a[1,..., N-1] = tiny, where
tiny * (N -1) = -hugh
sum(a) should be 0

【在 M*P 的大作中提到】
: 我觉得即使丧失精度,小数点后面很多位在我所处理的问题里意义不大.
: 比如你算 一个 100 加上 1e10 个 1e-10 级别的小数, 那后面那些加起来有多准意义
: 不大。即使精确结果是101,这个跟100 区别就在1%里面,根本没关系。
: 真心求教在什么情况下这种精度丧失会成为问题。给本书让我看也成。

M*P
发帖数: 6456
65
I thought if you use float32, that should not be a problem.

where

【在 l*******m 的大作中提到】
: an array a[] is assumed to be like a[0] = hugh, a[1,..., N-1] = tiny, where
: tiny * (N -1) = -hugh
: sum(a) should be 0

V*********r
发帖数: 666
66
>>> import numpy
>>> numpy.__config__.show()

【在 L***n 的大作中提到】
: 哪个distribution啊?我用anaconda,印象中好像让我选,我没多想就选了
: mkl

z****s
发帖数: 192
67

lightroom给的例子很好。你如果用float32会使得程序运行很慢。
推荐你一个很经典的小册子:
Numerical Computing with IEEE Floating Point Airthmetic,
Michael L Overton
SIAM 2001
This book should address your issue.

【在 M*P 的大作中提到】
: I thought if you use float32, that should not be a problem.
:
: where

M*P
发帖数: 6456
68
thank you!

【在 z****s 的大作中提到】
:
: lightroom给的例子很好。你如果用float32会使得程序运行很慢。
: 推荐你一个很经典的小册子:
: Numerical Computing with IEEE Floating Point Airthmetic,
: Michael L Overton
: SIAM 2001
: This book should address your issue.

1 (共1页)
进入Programming版参与讨论
相关主题
SciPy and NumPy也谈谈语言之争
求python大牛指路虚心请教 如何成为Python 大牛
python3还是python?[bssd]汇报一下Julia进展
vert.x就是脚本语言们的企业版data.table谁用过? 有那么神吗?
请不要盲目崇拜FP语言pandas 作者:Apache Arrow and the "10 Things I Hate About pandas"
大侠们说说C(C++)或Fortran比较Matlab到底优点在哪儿?有人用过octave吗?
Python的问题易写性,易维护和执行效率综合来看
[合集] scipy还是matlab如何自学python
相关话题的讨论汇总
话题: scipy话题: matlab话题: numpy话题: python话题: arpack