由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
History版 - 海日懂不懂为什么信息熵要定义成-Σp*log(p)?
相关主题
据说古代人蓝绿都不分中国无法现代化的原因
何为信息熵版主为什么怕这篇文章,以为删了就不怕邓公显灵?
一本历史小说会让人愤青。 懂不懂fiction和non-fiction的区别。海日,你雄文已经转帖党史俱乐部
说朱镕基懂经济的海日你刷屏好歹也刷几个奔脚的,刷水贴算什么
文科生基本难以读懂理科教材海日碰见毛邓 (转载)
基督教成功的一些因素海日说得对,悲愤也没用:
图灵在二战中的作用一提大饥荒海日就high的不行
华夏文摘】老钱:硅谷传奇:计算机发展简史林副统帅为什么不逃往台湾?
相关话题的讨论汇总
话题: 香农话题: 信息熵话题: 天才话题: p10话题: 图灵
进入History版参与讨论
1 (共1页)
P****R
发帖数: 22479
1
其实越看这东西越佩服香农,这式子什么意思呢?架设有两件事各有50%的可能发生,
那么根据这式子算出来信息熵是1bit,而现在我们很容易理解,最优的编码是用0和1各
表示一个事件。如果有四件事各有25%的发生几率,那么信息熵是2bit,我们知道这个
时候用00,01,10,11各表示一个事件就可以完全表示出这个随机事件。也就是说这个
事件的信息量是2bit。推而广之……我觉得现在这东西一点也不难理解,尤其是习惯了
数字时代和bit的我们。然而,这些都是香农定义的,那个时候可不是数字计算机的时
代。看过他的访谈就知道——图灵是天才,图灵机是天才的想法,用算法来描述所有人
类的思考行为是天才的。然而,同样的东西,也逐渐在他的美国同行,例如冯诺伊曼,
例如香农,的脑海中成型了。然而香农,用bit描述世界上所有的信息和交流,即便在
当时,当他在午餐时和图灵提起时,都被图灵认为是不切实际的。很多技术和理论都是
历史发展的产物,但信息论的提出却超出了时代——这个本来应该是在数字时代出现之
后从实践中逐渐总结出的理论,却因为香农的天才,提前了至少10年。
美国人因为香农就此在计算机领域领先10年。
m***n
发帖数: 12188
2
还是有其来龙去脉的。
要说个人创造力,欧拉公式才是当之无愧的第一。
e^ix=cosx+i*sinx
e,虚数,三角,直接联系到一起去
号称是上帝公式,当之无愧
m***n
发帖数: 12188
3
另外,好像也不是香农定义的,而是玻尔兹曼。
T*******x
发帖数: 8565
4
你这个是知乎上抄的吧?

【在 P****R 的大作中提到】
: 其实越看这东西越佩服香农,这式子什么意思呢?架设有两件事各有50%的可能发生,
: 那么根据这式子算出来信息熵是1bit,而现在我们很容易理解,最优的编码是用0和1各
: 表示一个事件。如果有四件事各有25%的发生几率,那么信息熵是2bit,我们知道这个
: 时候用00,01,10,11各表示一个事件就可以完全表示出这个随机事件。也就是说这个
: 事件的信息量是2bit。推而广之……我觉得现在这东西一点也不难理解,尤其是习惯了
: 数字时代和bit的我们。然而,这些都是香农定义的,那个时候可不是数字计算机的时
: 代。看过他的访谈就知道——图灵是天才,图灵机是天才的想法,用算法来描述所有人
: 类的思考行为是天才的。然而,同样的东西,也逐渐在他的美国同行,例如冯诺伊曼,
: 例如香农,的脑海中成型了。然而香农,用bit描述世界上所有的信息和交流,即便在
: 当时,当他在午餐时和图灵提起时,都被图灵认为是不切实际的。很多技术和理论都是

P****R
发帖数: 22479
5
华为P10一到店,所有喝酒的人便都看着他笑,有的叫道,“华为P10,你又偷工减料了
!”华为P10睁大眼睛说,“你怎么这样凭空污人清白……”“什么清白?我亲眼见你
把闪存偷工减料,EMMC和UFS混着用。”华为P10便涨红了脸,额上的青筋条条绽出,争
辩道,“闪存速度不一样不能算偷工减料……,要读写速度这么快做什么?”接连便是
难懂的话,什么“人像摄影大师”,什么“徕卡三镜头”、“18个月不卡顿”之类,引
得众人都哄笑起来:店内外充满了快活的空气。

【在 m***n 的大作中提到】
: 还是有其来龙去脉的。
: 要说个人创造力,欧拉公式才是当之无愧的第一。
: e^ix=cosx+i*sinx
: e,虚数,三角,直接联系到一起去
: 号称是上帝公式,当之无愧

d****z
发帖数: 9503
6
熵的统计定义早就被物理学搞出来了。他们几个直接抄的。
m*****n
发帖数: 3575
7
这个东西中国老祖宗几千年前就用易经说明了,二进制也算大发明?
1 (共1页)
进入History版参与讨论
相关主题
林副统帅为什么不逃往台湾?文科生基本难以读懂理科教材
党对武装真是绝对指挥 啊基督教成功的一些因素
海日马甲上访记图灵在二战中的作用
taishici 封 kirklook 在 History 版 (转载)华夏文摘】老钱:硅谷传奇:计算机发展简史
据说古代人蓝绿都不分中国无法现代化的原因
何为信息熵版主为什么怕这篇文章,以为删了就不怕邓公显灵?
一本历史小说会让人愤青。 懂不懂fiction和non-fiction的区别。海日,你雄文已经转帖党史俱乐部
说朱镕基懂经济的海日你刷屏好歹也刷几个奔脚的,刷水贴算什么
相关话题的讨论汇总
话题: 香农话题: 信息熵话题: 天才话题: p10话题: 图灵