k*******d
发帖数: 1340 | 1 我不是faculty，是学生，在首页看到置顶贴
信息论的确不是那么好做的，需要比较扎实的数学基础，还有，一些智商。不知道你做
信息论的哪个方向，信息论现在也很杂。不知道你老板要求你发什么水平的paper，
Trans on IT还是ISIT，前者是很不容易的，我也没发过。ISIT倒是不难。
我老板给了我不少指导，我感觉如果没有老板的话，我做不出现在这种quality的东西
，老板总是在关键的地方推了我一把，让我能够走下去。
学好概率论和统计，去统计系或者数学系修这些课。你老板是做信息论出身的吗？还是
说只是funding是和信息论有关的？如果只是funding有关，你可以选一些不是太偏理论
的题目啊 |
|
b*******n
发帖数: 1267 | 2 道升随笔829：信息论鼻祖香农的投资手法 (2008-10-05 21:43:03)
标签：人生感悟 哲学 炒股 市场感悟 道升随笔 杂谈 分类：道升随笔(600帖开
始)
香农作为信息论的鼻祖在信息处理界和计算机界都是非常出名的大师。有些书把香农翻
译成仙农或者申农，但在信息论的文献中几乎毫无例外地翻译成香农。香农是位天才式
的科研人物，具有传奇色彩，他的生平很独特，科研之路非常顺利。
1916年4月30日克劳德·香农出生在美国密歇根州彼得斯基市。
1936年在他20岁时，在密歇根大学完成了学士学位的学习，专业不详。
1937年在他21岁时，在麻省理理工学院当微分差动仪的维修工，并进行了硕士学位的学
习。微分差动仪就是模拟计算机，使用起来非常不方便，计算一次数学题一般需要准备
一天的时间。在工作中，香农在密歇根大学里选修过布尔代数，通过布尔代数提出了数
字计算机实现方式，并作为优秀的硕士论文一鸣惊人，在当时的美国学术界震动不小。
应该说，香农是几位数字计算机的鼻祖之一，可惜后来没有在计算机研究上进一步发展
。香农的数字计算机体系比模拟计算机系统先进多了，在他21岁时已经成为 |
|
S*******D
发帖数: 47 | 3 最近比较困惑，因为研究进展不顺。看到版上的faculty还是比较热心的，所以想请教
一下老师们。
本人的背景是国内硕士，期间主要做项目，以数字接收机的硬件实现算法为主，对调制
，编码还比较熟悉吧，但是毕竟理论分析做得少。
充满研究热情地来美读PhD，快两年了，第一年老板休假去了，被放羊，research基本
没有，因为老板的一些funding跟信息论相关，于是看了一些经典的信息论文章；但第
二年老板回来了，就催着要我自己确定thesis的topic，催着要publication，说我是硕
士毕业过来，应该要为组里做些贡献了；我于是乎乱了阵脚，东看西看，也没有焦点；
因为老板本身不是做这行出身的，所以感觉蛮多时候meeting，都是瞎指挥；我一扎进
去，然后做到后面发现得不到什么insights，跟老板汇报，老板又不高兴，反问我到底
想做点什么；于是乎，我又乱了阵脚，直到现在也没有找到一个很好的topic，只是在
打一些擦边球的感觉。
我觉得自己陷在这个恶性循环中，可能是没有找对在信息论领域做研究的方法，毕竟自
己原来做的都是一些实现工作，数学理论推导不算很多，现在的老板对自己这方面的 |
|
S*******D
发帖数: 47 | 4 非常感谢您的分享和意见。
老板不是做信息论出身的，但有这方面的funding，我想应该是这方面比较容易拿钱吧
我主要做多用户信息论（其实也很广），老板的意思是在哪个点做得出来就做哪个点。
我只能自己努力，把态度端正一点，按你所说的把概率与统计学扎实了，还有多读经典
的文献来寻找合适的topic了。像你那样，有老板的指点还是会进展快点的。 |
|
b***e
发帖数: 269 | 5 这个公式的涵意(please correct me if I am wrong):
C是信道容量；
W是带宽；
S和N分别是信号和噪声的强度；
公式表明信道容量不可能无限增大，必需服从一定的
限制，比如噪声和误码率等等，就象物质的能量也要
服从一定的限制。
这是信息论的基础。所以他们认为这个公式和老爱的
那个质能方程一样重要，:-) |
|
d*****n
发帖数: 9 | 6 小弟想向网络信息论方向发展，请前辈们推荐些好的书和这方向牛人的一些Paper,初来
乍道，请多指教. |
|
z***m
发帖数: 1602 | 7 看大家讨论的热火朝天，一致意见就是通信的惨，火坑，我还是搞信息论的，岂不是更
惨～～。毕业又不想当faculty，前辈，指条活路吧555555 |
|
g****t
发帖数: 31659 | 8 我先开个头，无论GooG/Bing/FB,..
既然这几家这两年来，开始使用的历史搜索记录，
来给用户订制最新的搜索记录。
那肯定会造成结果的延迟，本质上就是在搜索结果上，再加了个低通滤波。
如果一个用户非常依赖于web来学习知识，那一定会造成对用户学习新知识的
速度的衰减。
有个搞文科的说，信息论新算法会有帮助，专家们怎么看？
我老直觉的人为，算法可以提高，但本质上这个问题是无解的，是不是有什么
上下界之类的定理或者守恒量在？
虎肉,这个问题你怎么看? |
|
L********r
发帖数: 758 | 9 好像不需要信息论，信号处理就够了。人的学习过程本身就是一个innovation process
，近似就是低通过的随机过程。没有人学到的知识会不基于他的knowledge base。所以
只需要search engine的低通带宽>>你的更新过程低通带宽，就可以几乎没有loss的
track你的学习过程。当然，如果算法好的话，也许可以根据你的输入，估测你学习
filter的bandwidth从而优化search engine的tracking bandwidth来提高SNR，也即你
更容易在最初几页能hit到想查的link。更甚者，因为知识库的可预见性（这和信号世
界里的大多数变量预测不一样），search engine的滤波器可以是non-causal的，这样
就几乎可以做到0延迟。 |
|
c****n
发帖数: 21367 | 10 【 以下文字转载自 EE 讨论区 】
发信人: cocoon (青虫※茧成心止), 信区: EE
标 题: 【求助】信息论小问题
发信站: BBS 未名空间站 (Wed Jan 24 14:40:59 2007), 转信
a_i b_i 都是二进制字符串，长度为n
每个a_i之间是相互独立的，每个b_i之间也是
H(a_i | b_i) > c (c is a constant)
求
H(a_1 XOR a_2 XOR ... XOR a_k | b_1, b_2, ... , b_k) > ?
XOR 是 bitwise XOR
多谢多谢 //thx & bow |
|
t********n
发帖数: 1524 | 11 这是我们当年学习信息论时候开场第一个列子
真够经典的 |
|
g****t
发帖数: 31659 | 12 李明那本描述复杂性,里面好像有个习题就是这个的一般情况.
这是我们当年学习信息论时候开场第一个列子
真够经典的 |
|
d**e
发帖数: 6098 | 13 ☆─────────────────────────────────────☆
marius (youyou) 于 (Fri May 25 17:57:14 2012, 美东) 提到:
amfgl的中的两个onsite 在即， 一直觉得自己不笨，算法很来势，可今天看了网上的题库，都
快哭出来了。没几个会的， 更别提在5分钟内做出来了。感觉自己的脑子，已近被
wired成 EE了， 什么变换，去燥，自适应。。。什么问题都能很有得心应手， 但一碰
到permutation, sort, heap, tree, 一点思路都没有，绝对一个低智商的学生。
数学， 信号处理多学了没用， 最重要的就是那门离散数学只当了选修， 编译原理没
有深入。
啊， 很郁闷。。
☆─────────────────────────────────────☆
lclclclc (home) 于 (Fri May 25 18:13:58 2012, 美东) 提到:
amfgl like smart elementary school level candidates, you are over q... 阅读全帖 |
|
t******l
发帖数: 10908 | 14 楼主所说的 “天才 vs 天柴”，其实是 8 billion 猴子的眼睛里看到的虚妄。
从现代体育老师的现代热力学和现代信息论角度看，从理论角度，“天才 vs 天柴”
并不是在于滚滚红尘、沧海一粟的世俗角度，而是在于是不是基于现代信息论的对热力
学第二定律的局部违反。。。也就是说，是不是于基于信息论使得局部的熵减少，而熵
减少则产生更多信息。而世俗把这种局部违反热力学第二定律的信息论的过程称做：
The sense of purpose. The meaning of life.
或者现代体育老师用一个实例，比如个体腿长、比如个体速度肌比例高，这些（从群体
角度看）都没有违反热力学第二定律，俗话说：stochastic process。。。既然是
stochastic process，所以这些显然仅仅是“天柴”，俗称 “character”。。。而
4x100 接力队在场上的 60 秒，世间俗人只看到了赢还是输，但是没看到更重要：“基
于现代信息论的对热力学第二定律的局部违反”。而正是这个违反，从理论上造就了
sense of purpose 和 meaning of life，那这个... 阅读全帖 |
|
u********e
发帖数: 4950 | 15 ☆─────────────────────────────────────☆
bobcat2010 (bobcat2010) 于 (Tue Jul 12 10:27:18 2011, 美东) 提到:
熵增加是宇宙中的一个普遍原理，很多人觉得很玄。下面的表格可看成熵增加原理在股
市中的
见证。表格中的数据是我用信息论的方法得到的，恕我不能披露所用模型的构造。
Entropy
S&P500 SIRI
1/2/98 97.54 95.44
1/7/99 97.85 96.49
1/2/01 98.37 97.65
1/2/08 98.87 98.43
1/4/10 99.04 98.29
1/7/11 99.12 98.42
表格中包含了S&P500 与 SIRI 在不同日期的熵值。最大值规整为100。
定性地说，熵值越高，TA的效果越差，熵值若真达到100，所有TA方法都将失效。
SIRI的熵值显然低于指数的熵值。而在我的套利交易中SIRI算是盈利较多的。一般来说
个股的熵值低于股指的熵值，这是做个股的优势。SIRI的熵值曾一度下降，... 阅读全帖 |
|
H**7
发帖数: 8624 | 16 顺便复习一下“熵”的概念 ---
熵
科技名词
中文名称：熵
英文名称：entropy
定义1：表示物质系统状态的一个物理量(记为S)，它表示该状态可能出现的程度。在热
力学中，是用以说明热学过程不可逆性的一个比较抽象的物理量。孤立体系中实际发生
的过程必然要使它的熵增加。 所属学科：大气科学（一级学科）；动力气象学（二级
学科）
定义2：热力系中工质的热力状态参数之一。在可逆微变化过程中，熵的变化等于系统
从热源吸收的热量与热源的热力学温度之比，可用于度量热量转变为功的程度。 所属
学科：电力（一级学科）；通论（二级学科）
定义3：系统中无序或无效能状态的度量。熵在信息系统中作为事物不确定性的表征。
所属学科：生态学（一级学科）；数学生态学（二级学科） 本内容由全国科学技术名
词审定委员会审定公布。
熵（entropy）
指的是体系的混乱的程度，它在控制论、概率论、数论、天体物理、生命科学等领域都
有重要应用，在不同的学科中也有引申出的更为具体的定义，是各领域十分重要的参量
。熵由鲁道夫·克劳修斯（Rudolf Clausius）提出，并应用在热力学中。后来在，克
劳德·艾尔伍德·香... 阅读全帖 |
|
s*******e
发帖数: 60 | 17 郭光灿院士：甘坐冷板凳的研究生(转)
做学问正应该如此，兴趣是最好的老师！
国际学术刊物《物理评论通讯》最近发表了以我们实验室（中科院量子信息重点实验室
）研究生李科为第一作者的论文，题目为《量子信道私密容量不可加》。
该篇论文解决了包括权威专家在内的国际学者10多年来未能解决的量子信息论研究中的
一个难题——“量子信道私密容量不可加性”。我们知道，量子信息论是量子信息科学
的理论基础。信道容量是通信领域中最基本的理论问题，它刻画通信信道在噪声环境中
可靠地传输信息的能力。著名数学家、信息论创立者香农（Shannon）精确而漂亮地解
决了经典信道的容量问题，这就是著名的香农第二定理。在创建量子信息论过程中，人
们必然要研究量子信息容量问题。比起经典信道容量，这个问题更加深刻、更加复杂。
量子信道是指基于量子纠缠的信息通道，它不仅可用来传输通常意义下的经典信息，而
且能够传输保密的经典信息和神秘的量子信息。因此，这三种信息的容量（即经典容量
、私密容量和量子容量）便成为量子信息领域的核心理论问题，吸引着国际学术界众多
科学家开展研究，并取得了很大的进展。令人震惊的事情发生在2008年，来... 阅读全帖 |
|
n****l
发帖数: 3375 | 18 首先要承认标题只是个噱头，语言学一般认为语言没有先进落后之分。大家都有自己的
看法，见仁见智吧。但是总看到有人在争论到底汉语是先进还是落后。虽然我不 是专
业人士，但是就用点通讯和存储上的概念来聊聊为什么汉语是一种非常先进的语言。需
要注意的是，虽然以下的论证都是基于实际的实验数据，但是计算都很粗 糙，而且实
验的规模都不大。换句话说就是，虽然在这里汉语占优，但是换一批实验参与者，可能
就倒过来了。现在实在没有什么特别全面的测试。所以下面的数字 大家看看就行，不
必太过认真。世界主要语言的效率其实都已经达到当前人脑的一个瓶颈了，总体看差异
不大。我的目的也主要是打击一下逆向民族主义者。
一、语言水平高低的评判准则
口语，放在今天来分析，实际上是一种通讯协议。就是说，语言实际上是把人的思想通
过发音器官变成一串频率不同、波形不同的声波，然后有另一个个体的听觉器官和相关
的脑部组织重新转变回思想。通讯协议，就是一个规则，一个规定了应该如何把思想/
信息转变为易于传输的信号的规则。计算机上，通讯协议基本上有这么两个评判标准：
传输效率和抗噪能力。所谓传输效率，是说，在单位时间里，按照该通讯协... 阅读全帖 |
|
g***j
发帖数: 40861 | 19 【 以下文字转载自 Military 讨论区 】
发信人: ntkrnl (ntkrnl), 信区: Military
标 题: 为什么汉语是世界上最先进的语言之一
发信站: BBS 未名空间站 (Tue Feb 3 10:19:07 2015, 美东)
首先要承认标题只是个噱头，语言学一般认为语言没有先进落后之分。大家都有自己的
看法，见仁见智吧。但是总看到有人在争论到底汉语是先进还是落后。虽然我不 是专
业人士，但是就用点通讯和存储上的概念来聊聊为什么汉语是一种非常先进的语言。需
要注意的是，虽然以下的论证都是基于实际的实验数据，但是计算都很粗 糙，而且实
验的规模都不大。换句话说就是，虽然在这里汉语占优，但是换一批实验参与者，可能
就倒过来了。现在实在没有什么特别全面的测试。所以下面的数字 大家看看就行，不
必太过认真。世界主要语言的效率其实都已经达到当前人脑的一个瓶颈了，总体看差异
不大。我的目的也主要是打击一下逆向民族主义者。
一、语言水平高低的评判准则
口语，放在今天来分析，实际上是一种通讯协议。就是说，语言实际上是把人的思想通
过发音器官变成一串频率不同、波形不同的声... 阅读全帖 |
|
c***s
发帖数: 70028 | 20 2006年，会议五十年后，当事人重聚达特茅斯。左起：摩尔，麦卡锡，明斯基，赛弗里奇，所罗门诺夫
背景
现在一说起人工智能的起源，公认是1956年的达特茅斯会议。殊不知还有个前戏：1955年，美国西部计算机联合大会（Western Joint Computer Conference）在洛杉矶召开，会中还套了个小会：“学习机讨论会”（Session on Learning Machine）。讨论会的参加者中有两个人参加了第二年的达特茅斯会议，他们是塞弗里奇（Oliver Selfridge）和纽厄尔（Allen Newell），塞弗里奇发表了一篇模式识别的文章，而纽厄尔则探讨了计算机下棋，他们分别代表两派观点。讨论会的主持人是神经网络的鼻祖之一皮茨（Pitts），他最后总结时说：“（一派人）企图模拟神经系统，而纽厄尔则企图模拟心智（mind）……但殊途同归。”皮茨眼可真毒，这预示了人工智能随后几十年关于“结构与功能”两个阶级、两条路线的斗争。
开聊达特茅斯会议之前，先说六个最相关的人。首先，会议的召集者麦卡锡（John McCarthy）当时是达特茅斯学院的数学系助理教授。两年前（1954... 阅读全帖 |
|
w*********g
发帖数: 30882 | 21 此处信息密度是通过计算每个音节所包含的义项数量来获得的，由于义项的数量是
从原始文本——英文版里统计的，翻译之后有可能会增加或减少义项，为防止翻译过程
中的扭曲造成数据标准不统一，各个语言的文本都被单独翻译为越南语，然后与各自越
南语文本中每个音节所包含的义项数量相除，最终得到比较公平的数据
这让我不由地想到，经过大规模注水的现代汉语信息密度还是这么高，那么文言文
究竟已经高到了何种地步？很遗憾没有这方面的研究
不过，根据使用频率进行加权平均，现代汉语平均每个词中的字数差不多是1.5左
右，在文言文中，其中很多都是用单音节词表达的，折中一下，我猜想文言文的信息密
度达到现代汉语的1.25倍应该是不成问题的，这在古代更是个恐怖的数字
因为拉丁语可不是比现代欧洲各主要语言简单，受到古代文字记录空间的限制，汉
语的显然在文字记录方面更加占优，这也许就是我国古代文字记录非常丰富的原因所在
有人说，音节不能作为衡量信息密度的单位，因为不同的音节，发音长度很不一样
。这个问题提的非常好，事实上，我下一节就要讲到【英语】与【汉语】发音长度的问
题，英语单音节平均发音长度比汉语长，因此在口语的信息密度... 阅读全帖 |
|
发帖数: 1 | 22 无线通信产业已经发展了四代，目前正处于5G产业化前夕，是当下到一个最热的话题，
5G如何发展，前景如何，是各个方面包括学术界、产业界、投资界以及政府都非常关心
的。另外，中国已经启动6G研究的消息也见诸报端，未来无线通信产业如何发展，是不
是会继续有6、7、8、9G，也引起了大家的关切。为了回答这些问题，我们首先简单地
回顾一下无线通信产业发展的历史。
无线通信产业是由需求和技术两个轮子驱动前进的。早在1947年，贝尔实验室的科学家
就提出了蜂窝通信的概念，其中的核心技术是频率复用和切换。基于这一概念，贝尔实
验室于1978年研制出先进移动电话系统（Advanced Mobile Phone Service，AMPS），
这就是第一代移动通信系统。AMPS是一个模拟通信系统，采用频分多址（FDMA）的复用
技术，主要技术手段是滤波器，容易受噪声的干扰，语音质量较差。
随着集成电路技术的发展，第二代移动通信系统采用了数字技术，并采用TDMA和信道编
码技术，使得通信系统向宽带化发展，语音质量得到了较大的改善。 其中欧洲制定的
GSM系统非常成功，至今仍在广泛使用。
20世纪9... 阅读全帖 |
|
M******8
发帖数: 10589 | 23 https://www.iyiou.com/p/93766.html
产业综合
塬上草
杨学志
[ 亿欧导读 ] 5G是无线通信的下一代技术，也是当前最热的话题。不过，对于5G的价
值也有一些质疑之声。
【编者按】5G是无线通信的下一代技术，也是当前最热的话题。不过，对于5G的价值也
有一些质疑之声。近日，《通信之道》作者、技术大牛杨学志在通信人家园发文，从技
术角度论证5G是“失败的技术”。内容比较新颖，还请读者自行评判。
文章来源塬上草，作者，杨学志，经亿欧编辑发布，供业内人士参考。
各工作岗位将被AI取代的概率
无线通信产业已经发展了四代，目前正处于5G产业化前夕，是当下到一个最热的话题，
5G如何发展，前景如何，是各个方面包括学术界、产业界、投资界以及政府都非常关心
的。另外，中国已经启动6G研究的消息也见诸报端，未来无线通信产业如何发展，是不
是会继续有6、7、8、9G，也引起了大家的关切。为了回答这些问题，我们首先简单地
回顾一下无线通信产业发展的历史。
无线通信产业是由需求和技术两个轮子驱动前进的。早在1947年，贝尔实验室的科学家
就提出了蜂窝通信的概念，其中的核心技... 阅读全帖 |
|
b*******k
发帖数: 1761 | 24 【 以下文字转载自 USTC 讨论区 】
发信人: tenghl (答案只有风知道), 信区: USTC
标 题: 郭光灿院士：甘坐冷板凳的研究生
发信站: BBS 未名空间站 (Wed Oct 21 10:47:09 2009, 美东)
国际学术刊物《物理评论通讯》最近发表了以我们实验室（中科院量子信息重点实验室
）研究生李科为第一作者的论文，题目为《量子信道私密容量不可加》。
该篇论文解决了包括权威专家在内的国际学者10多年来未能解决的量子信息论研究中的
一个难题——“量子信道私密容量不可加性”。我们知道，量子信息论是量子信息科学
的理论基础。信道容量是通信领域中最基本的理论问题，它刻画通信信道在噪声环境中
可靠地传输信息的能力。著名数学家、信息论创立者香农（Shannon）精确而漂亮地解
决了经典信道的容量问题，这就是著名的香农第二定理。在创建量子信息论过程中，人
们必然要研究量子信息容量问题。比起经典信道容量，这个问题更加深刻、更加复杂。
量子信道是指基于量子纠缠的信息通道，它不仅可用来传输通常意义下的经典信息，而
且能够传输保密的经典信息和神秘的量子信息。因此，这三种信息的 |
|
s**********e
发帖数: 33562 | 25 我已经说了，俺教过信息论的课，信息论的教科书里面没啥Shannon's law。而且香浓
的结论是定理，因为是从逻辑演绎出来的，而不是从经验里归纳出来的定律。虽然俺不
是信息论牛人，但是在信息论的transactions上面好歹还是发了几篇文章，打你的脸，
没问题。呵呵。
夜深了，俺也懒得打脸了。上次在旅行者号的问题上你都被抽肿了，我多打一耳光也不
会怎么增加您的脸皮厚度。呵呵。
Law的
准来 |
|
h*d
发帖数: 19309 | 26 发信人: leefox (奋斗中), 信区: DP.THU
标 题: 【转载】郭光灿院士：甘坐冷板凳的研究生
发信站: 水木社区 (Fri Dec 4 17:21:33 2009), 站内
国际学术刊物《物理评论通讯》最近发表了以我们实验室（中科院量子信息重点实验室
）研究生李科为第一作者的论文，题目为《量子信道私密容量不可加》。
该篇论文解决了包括权威专家在内的国际学者10多年来未能解决的量子信息论研究中的
一个难题——“量子信道私密容量不可加性”。我们知道，量子信息论是量子信息科学
的理论基础。信道容量是通信领域中最基本的理论问题，它刻画通信信道在噪声环境中
可靠地传输信息的能力。著名数学家、信息论创立者香农（Shannon）精确而漂亮地解
决了经典信道的容量问题，这就是著名的香农第二定理。在创建量子信息论过程中，人
们必然要研究量子信息容量问题。比起经典信道容量，这个问题更加深刻、更加复杂。
量子信道是指基于量子纠缠的信息通道，它不仅可用来传输通常意义下的经典信息，而
且能够传输保密的经典信息和神秘的量子信息。因此，这三种信息的容量（即经典容量
、私密容量和量子容量）便成为量 |
|
F********y
发帖数: 543 | 27 ☆─────────────────────────────────────☆
tenghl (答案只有风知道) 于 (Wed Oct 21 10:47:09 2009, 美东) 提到:
国际学术刊物《物理评论通讯》最近发表了以我们实验室（中科院量子信息重点实验室
）研究生李科为第一作者的论文，题目为《量子信道私密容量不可加》。
该篇论文解决了包括权威专家在内的国际学者10多年来未能解决的量子信息论研究中的
一个难题——“量子信道私密容量不可加性”。我们知道，量子信息论是量子信息科学
的理论基础。信道容量是通信领域中最基本的理论问题，它刻画通信信道在噪声环境中
可靠地传输信息的能力。著名数学家、信息论创立者香农（Shannon）精确而漂亮地解
决了经典信道的容量问题，这就是著名的香农第二定理。在创建量子信息论过程中，人
们必然要研究量子信息容量问题。比起经典信道容量，这个问题更加深刻、更加复杂。
量子信道是指基于量子纠缠的信息通道，它不仅可用来传输通常意义下的经典信息，而
且能够传输保密的经典信息和神秘的量子信息。因此，这三种信息的容量（即经典容量
、私密容量和量子容量）便成 |
|
b********n
发帖数: 38600 | 28 来源: Frankie1211 于 2018-05-17 13:35:59
最近做一个有关乙烯厂蒸汽透平机的项目，稍微深钻了一些相关的背景知识，回到了二
十多年前大学上工程热力学时学过的焓熵热的概念，特别读到当时学的似懂非懂而又有
点着迷以及后来在控制论信息论课程甚至自己老本行故障诊断领域时常碰到的并喜欢借
此搞点唬人文章的熵的概念的时候，就越看越带劲了。昨天下午和公司里面两个朋友打
乒乓球，席间休息时看他们俩把乒乓球在台上打来打去，回想到最近我们三个之间的状
态变化，突然意识到那种结果就是熵增的现象。晚上下班回家吃晚饭，是大家都喜欢的
面条，正看女儿吃的津津有味，突然间她问我要吃独头蒜，那个连我嚼起来都辣的流眼
泪的家伙，我不禁好笑，看来她的口味肠胃已经和我们陕西人非常相像了。然后又听说
Teddy在我回来之前已经美美吃完了一大碗西红柿鸡蛋面，而自己盆里的牛肉狗食已经
三天三夜没理睬了。联想到最近Teddy越来越爱吃面食，什么面包，面条，蒸馍，烧饼
等的只要是我们爱吃的，他都爱吃，反而自己的牛肉鸡肉狗食不那么喜欢了。我突然又
意识到这一切的变化也正是书本上所描述的熵增原理的结果。我想... 阅读全帖 |
|
x****6
发帖数: 4339 | 29 香农的信息论，算不算信号处理的一部分？
信息论是可以影响世界观的学问。现在生物里很多信息论的应用 |
|
发帖数: 1 | 30 算是信道容量计算，就是现在编码方式，有噪声的情况下，信道容量多少，完全的工程
技术。
生物也可以看成信号系统，但是和我们完全不同，所以不能用现在技术思路去套，这也
是我说的井底之蛙的视角
: 香农的信息论，算不算信号处理的一部分？
: 信息论是可以影响世界观的学问。现在生物里很多信息论的应用
|
|
z*******3
发帖数: 13709 | 31 lol
就反问了句ee也学过数学就鸡动成这样
难怪了
看来说对了嘛
举了半天例子
原来最难的是信息论
牛逼哥那句意味深远啊，说了半天例子就是信息论
信息论都学得这么苦逼，那还真不好说自己搞过数学
难怪phd要努力补课
然来 |
|
r*********n
发帖数: 4553 | 32 感觉信息论遇到瓶颈了，特别是信息论在通信理论里面的引用遇到了瓶颈。cover做的
东西面很宽，他把信息论用在很多领域，不仅仅局限于通信，能和他谈谈或者受他指导
那是一生的荣欣啊。最后我送上一句：入行需谨慎:-) |
|
s*****y
发帖数: 1974 | 33 我对网络信息论一直持保留意见
point to point的信息论可以说对EE里的通信物理层设计还有指导意义，
但是企图用网络信息论来改变CS的传统设计方式，个人认为困难太大
CS领域网络的发展从来就不是通过数学公式的方式进行的，更多的类似于一种实验科学
，经验科学，而且更头疼的是dynamic情况的处理
换句话说，关注的重点本来就不一样，也就不可能有共同语言
个人观点，欢迎讨论
a
strictly
approach |
|
t******5
发帖数: 47 | 34 我们老板做的比较杂，他博士的时候是做信号处理相关的，现在貌似主要兴趣转到
information theory了，研究主要有三个PROJECT，一个通信的，一个信息论的还有一
个SPEECH的。
通信主要是研究LTE standard 的resource allocation， modulation算法，然后声称
要把network coding 的东西用在里面；
Information theory主要是计算性质的，计算量比较大，主要就是搞出来一些优化的算
法（LRS, Double description...），然后用比较POWERFUL的机器实现出来，我们实验
室还专门有人搞CUDA和CPU的平行计算的。
Machine learning主要是用来做speaker verification的，不过最近他也一直念叨着想
搞个和cloud storage相关的项目，应该是这些都相关吧。
我现在其实主要是做和概率统计相关的东西，所以信息论和SPEECH的项目我都能上手，
如果做信息论的话主要就是ISIT, IEEE Trans on Information Theory之类的会议期刊... 阅读全帖 |
|
t******5
发帖数: 47 | 35 我们老板做的比较杂，他博士的时候是做信号处理相关的，现在貌似主要兴趣转到
information theory了，研究主要有三个PROJECT，一个通信的，一个信息论的还有一
个SPEECH的。
通信主要是研究LTE standard 的resource allocation， modulation算法，然后声称
要把network coding 的东西用在里面；
Information theory主要是计算性质的，计算量比较大，主要就是搞出来一些优化的算
法（LRS, Double description...），然后用比较POWERFUL的机器实现出来，我们实验
室还专门有人搞CUDA和CPU的平行计算的。
Machine learning主要是用来做speaker verification的，不过最近他也一直念叨着想
搞个和cloud storage相关的项目，应该是这些都相关吧。
我现在其实主要是做和概率统计相关的东西，所以信息论和SPEECH的项目我都能上手，
如果做信息论的话主要就是ISIT, IEEE Trans on Information Theory之类的会议期刊... 阅读全帖 |
|
S**b
发帖数: 1883 | 36 而一些人拼命地舔美国人屁眼，说美国国会的那种经常反对票很多，甚至提案不通过的
现象多，叫作民主，而大多数人甚至全体人一致通过的提案或选举，那就一定叫不民主。
一个好的民主制度，首先在信息论上就要有充分的信息交流，如果信息交流得少了，那
就不叫好的民主制度。
而另一方面，科学的学术交流，必然导致对自然规律和社会规律的认识的趋于统一，因
此不会为反对而反对，因此科学家长期组成不同的学派，忠于自己的学派，这样的现象
其实是少的，因为实践才是检验真理的标准，辩论则不是。
但是辩论起到了信息的充分传播的作用。而中国的政治制度具有相当的科学性，因此也
就不存在象美国的两党竞争那样一种长期的派别斗争。
在中国的政治制度中，所有的人都是可以提反对意见，甚至中华人民共和国的敌人，也
可以在一定程度上提出自己的敌对意见。因为不管是什么人，只要你说的对，你的办法
对人民有好处，我们就照你的办，这是毛泽东在《为人民服务》一文中指出的。
但是，反对意见不等于投反对票。对某一提案或者候选人的表决方式也有美国式和中国
式。美国式就是在远没有很好的学术争论的前提下，强行对一个提案或者候选人进行表
决，当然导致反对票多... 阅读全帖 |
|
H****g
发帖数: 14447 | 37 【 以下文字转载自 Military 讨论区 】
发信人: Herzog (singularity), 信区: Military
标 题: 从提高信息熵的角度来说，人大代表不应重复大家都知道的信息
发信站: BBS 未名空间站 (Sun Nov 11 15:44:42 2012, 美东)
信息论有一个概念，就是熵，反映信息的不确定性。如果一个事情的结果不确定，熵值
就高；如果结果众所周知，熵值就低。从信息论出发，将冗余数据压缩后，每个bit的
数据的熵值就较压缩前提高了。换而言之，熵乘以信息的长度，就是信息含量。
考虑到五年开一次人大会，开会的时间也只有几天，所以说，从提高效率的角度说，熵
值越高，传达的信息也就越多，大会的产出也就越多了。在社会主义市场经济的情况下
，一直是强调发展优先，也就是效率第一。要提高效率，自然就要不说或者少说大家都
知道的那些信息了。
举一个例子吧。什么信息是大家都知道的呢？就是”社会主义好“。如果人大代表去开
人大会，只是重复这句话，然后很感动，这其实就是冗余信息，大家都知道嘛。因为10
多亿人都生活在有中国特色的社会主义制度里，自然是知道这个制度很好。... 阅读全帖 |
|
h*i
发帖数: 3446 | 38 这儿都讨论过了。
这个文明西来的假说可以解释很多现象，我个人感觉是大致靠铺的。要搞清细节，得出
一个完整有力的理论，有很多工作可做。比如可以自己研究古埃及文，按古中文来翻译
对照。西方埃及学完全是按rosetta stone一篇文章来破解埃及文，这完全可能导致错
误的解读。比如说，假设汉语被遗忘了，后人仅找到联合国的一个提案文本的中英法对
照版，想用这个来完全复原破解汉语？这是完全不可能的。搞信息论的可以从信息论来
推导一下，我看发science没有问题，呵呵。
最重要的，就是根据这个假说提出些可验证的结论，再找证据来验证。这样就有很强的
说服力。而不仅仅拿已经有的现象来说和理论一致。这些民科可能没想到这点？
这些问题都很有意思，等退休了可以来研究研究。呵呵。 |
|
t******t
发帖数: 15246 | 39 http://blog.sina.com.cn/s/blog_5004d5cb01007zzh.html
作者：常山 提交日期：2006-8-19 23:54:00
月球探险者通讯系统使用所谓的S波段与地球通讯联络，通讯地面站使用所谓的深
层空间网，由一个七十米天线阵组成，所谓的S波段频率约两千多兆，信道容量能力最
高仅为每秒三千六百比特。这么低的信道通讯能力，大大出乎我的预料。于是我作了一
番计算，估算在理想状况之下，从热力学原理出发，理论上可以达到的最高通讯信道容
量是多少。稍懂点普通物理的朋友都知道，信息即是负熵，中间只差了一个波尔之曼常
数，而熵乘以温度即是能量。信息的传播，必须通过传送最低需要的能量来达成，温度
越低，携带同等信息所需能量越少。这就是为什么许多高灵敏度的物理实验都必须在超
低温下做，许多的高灵敏接收天线都要降到超低温来提高灵敏度。天线阵是不可能泡入
液氮里的，所以我们用常温来进行计算，为了方便，假设环境温度是绝对300度，乘以
波儿之慢常数，得出要传送一个波特信息所需要的最低能量为百万分之四皮焦耳... 阅读全帖 |
|
S*********4
发帖数: 5125 | 40 (一)引 言
正当ACT网络论坛争论美国阿波罗登月真伪吵得不可开交，反对哈姆雷特的声势四
起之时，哈姆雷特贴出了一份出乎人们意料的回帖， 他提出：“阿姆斯特朗说"鹰
已着陆"时，是在地面录音棚里说的”。
并声称他找到了“最最确凿的证据”。他
说：
前一段我还在研究登月照片，对其中种种造假的珠丝马迹提出疑问，还有
对其工程技术方面提出疑问。现在，我可以抛弃所有这些证据不谈了，我可以
抛弃所有这些技术细节不谈了。
因为我已经找到了最最确凿的证据，可以毫不犹豫地，不容丝毫怀疑地确
证，阿波罗登月是美国宇航局导演的一出空前绝后的一场好戏。美国根本没有
上过月亮。阿姆斯特郎说“鹰已着陆”时，是在地面录音棚里说的。
我不想把我这个铁的证据说穿，留着还有用呢。再说我一但说破了，明天
联邦调查局就该来找我了。我还准备留着写书呢。再说，我一但说破了，所有
持怀疑态度者不就马上接受我的结论了吗？那太便宜了。中文牛矢铺里好不容
易有了一样大家都感兴趣的话题，可以各舒己见进行辩论，不能轻易把结果说
出来嘛！
(哈姆雷特，Re:阿波罗登月是大骗局，ACT19971206)
很遗憾的是哈姆雷特的这个回帖没有把“这... 阅读全帖 |
|
S**b
发帖数: 1883 | 41 而一些人拼命地舔美国人屁眼，说美国国会的那种经常反对票很多，甚至提案不通过的
现象多，叫作民主，而大多数人甚至全体人一致通过的提案或选举，那就一定叫不民主。
一个好的民主制度，首先在信息论上就要有充分的信息交流，如果信息交流得少了，那
就不叫好的民主制度。
而另一方面，科学的学术交流，必然导致对自然规律和社会规律的认识的趋于统一，因
此不会为反对而反对，因此科学家长期组成不同的学派，忠于自己的学派，这样的现象
其实是少的，因为实践才是检验真理的标准，辩论则不是。
但是辩论起到了信息的充分传播的作用。而中国的政治制度具有相当的科学性，因此也
就不存在象美国的两党竞争那样一种长期的派别斗争。
在中国的政治制度中，所有的人都是可以提反对意见，甚至中华人民共和国的敌人，也
可以在一定程度上提出自己的敌对意见。因为不管是什么人，只要你说的对，你的办法
对人民有好处，我们就照你的办，这是毛泽东在《为人民服务》一文中指出的。
但是，反对意见不等于投反对票。对某一提案或者候选人的表决方式也有美国式和中国式。美
国式就是在远没有很好的学术争论的前提下，强行对一个提案或者候选人进行表决，当然导致
反对票多... 阅读全帖 |
|
H****g
发帖数: 14447 | 42 信息论有一个概念，就是熵，反映信息的不确定性。如果一个事情的结果不确定，熵值
就高；如果结果众所周知，熵值就低。从信息论出发，将冗余数据压缩后，每个bit的
数据的熵值就较压缩前提高了。换而言之，熵乘以信息的长度，就是信息含量。
考虑到五年开一次人大会，开会的时间也只有几天，所以说，从提高效率的角度说，熵
值越高，传达的信息也就越多，大会的产出也就越多了。在社会主义市场经济的情况下
，一直是强调发展优先，也就是效率第一。要提高效率，自然就要不说或者少说大家都
知道的那些信息了。
举一个例子吧。什么信息是大家都知道的呢？就是”社会主义好“。如果人大代表去开
人大会，只是重复这句话，然后很感动，这其实就是冗余信息，大家都知道嘛。因为10
多亿人都生活在有中国特色的社会主义制度里，自然是知道这个制度很好。所以人大代
表如果要称赞，其实可以增加一些具体的数据，一些很多人未必知道的数据，这样就可
以提高信息熵了。比如说，如果是我，我也许会说，30多年前，中国只有10%的人能享
受到公费医疗，近乎免费的住房，近乎免费的教育。而今天呢，中国超过10%的人能享
受到公费医疗，近乎免费的住房，近乎免费的... 阅读全帖 |
|
m********d
发帖数: 502 | 43 告诉我你看没通电的电脑显示器会看出人生感悟么？可是你看通电的接上主机电脑正在
播放阿甘正传的显示器你却能看出人生百态，嬉笑怒骂。你能说说同样是在看一个显示
器，为什么会有这么大的不同？信息论和信息论的物理承载者是什么关系？ |
|
m*******e
发帖数: 1598 | 44 【 以下文字转载自 EE 讨论区 】
发信人: zhizunbao123 (你在红楼我在西游), 信区: EE
标 题: 怎样看待华为前工程师杨学志关于4G核心专利的看法？ (转载)
发信站: BBS 未名空间站 (Wed Jun 10 09:23:41 2015, 美东)
发信人: baodiao (钓鱼岛), 信区: PDA
标 题: 怎样看待华为前工程师杨学志关于4G核心专利的看法？
发信站: BBS 未名空间站 (Tue Jun 9 14:03:22 2015, 美东)
从网上看到一篇华为前工程师杨学志关于4G核心专利的看法， 不知各位有何高见？
当事人揭秘4G核心专利：高通没那么多，中国没那么少！
http://www.c114.net/news/41/a886875.html
1985年，在美国硅谷成立了一家叫Qualcomm(高通)的公司。这家公司把军用的CDMA技术
用于民用通信，推出了IS-95标准，成为与欧洲的GSM竞争的第二代移动通信系统。
在第二代的商业竞争当中，GSM还是取得了的胜利。但是在高通公司的创始人当中有一
位世界级的科学家，叫做Andrew V... 阅读全帖 |
|
c*****g
发帖数: 21627 | 45 杨学志_5G创新
2016-06-02
阅读数：659
2016年5月30日上午，全国科技创新大会、中国科学院第十八次院士大会和中国工程院
第十三次院士大会、中国科学技术协会第九次全国代表大会在京召开。习近平主席发表
讲话，李克强总理主持会议。
在这两院院士济济一堂的大会上，任正非作汇报发言，对于华为的现状、未来道路的思
考预判，他逐一详述。
“华为现在的水平尚停留在工程数学、物理算法等工程科学的创新层面，尚未真正进入
基础理论研究。随着逐步逼近香农定理、摩尔定律的极限，而对大流量、低时延的理论
还未创造出来，华为已感到前途茫茫，找不到方向。华为已前进在迷航中。”
这不仅是任正非和华为的迷茫，也是整个通信界的迷茫。 早在2009年的IEEE VTC会议
上，学界的诸多大牛聚在一起举行了一个panel discussion “Is the PHY dead?”，
认为通信技术的发展已经撞到墙了。 确实，随着OFDM、Turbo／LDPC code的应用，香
农限已经被充分接近，已经难以找到发展空间。 MIMO是通信界最后一块待开发的领域
，但是从1995年Telata的MIMO信息论到现... 阅读全帖 |
|
m**a
发帖数: 1840 | 46 【 以下文字转载自 EE 讨论区 】
发信人: mola (Super Baby), 信区: EE
标 题: 为极解密：如何看待华为拿下5G“短码”方案？
发信站: BBS 未名空间站 (Thu Dec 8 12:21:31 2016, 美东)
朋友大作，发在知乎。欢迎点赞和转发。
https://www.zhihu.com/question/52732376
美国当地时间11月17日凌晨0点45分，在刚刚结束的3GPP RAN1 87次会议的5G信道编码
方案讨论中，经过艰苦卓绝的努力和万分残酷的竞争，以中国华为公司主推的Polar
Code（极化码）方案，成为5G控制信道eMBB场景编码方案。
编者按
“华为极化码事件”内幕：
极化码获得的并非之前大肆炒作的“短码”。
极化码打败的对手并不是LDPC，而是在控制信道上取代4G现有技术TBCC。
若非极化码最终靠非技术手腕挤进控制信道，华为投资几十亿的5G“三神器”在5G NR
第一阶段业已全部打水漂。
整个5G信道编码又经历一番怎样波澜壮阔的争斗，这背后又隐藏着多少暗流汹涌的阴谋
诡计。“为极解密” 为您最全方位的解析。
为极解... 阅读全帖 |
|
N**G
发帖数: 392 | 47 这个跟用的多不多有关，我家领导学过抽象代数的课，主要他们做信息论的要用，域论
啊什么的，就学得很好，习题都会做，因为信息论整天就鼓捣这玩意，循环群也是。但
一到对称群论啊，环论，模论就蒙了，学得是非常努力，作业都好好做，看书，一考起
来还是懵逼，啥也不会了，都有心理阴影了。主要还是用的少。反过来，环论模论这种
，我自己天天用，非常熟悉，随便你什么题，就算不能马上想出来，也有正确思路，至
少心理上没畏难情绪 |
|
x****6
发帖数: 4339 | 48 为什么信息论在EE里不受待见？
亏得我当年以生物屁挨着地的文科背景，还去学了信息论，觉得蛮有意思的呀 |
|
发帖数: 1 | 49 cs 知道茴香豆有好几种写法
其实
ee打底子的这些东西 的确理论很漂亮。尤其是信息论 信号处理
[在 xiao86 (xiao86) 的大作中提到：]
:为什么？
:人家EE四大力学基本都学了，然后信息论、控制论都学了点。难道不比 操作系统、数
:据结构solid吗？ |
|
s******m
发帖数: 1154 | 50
基站密度大了，切换就会过于频繁，尤其是在高速移动的情况下
物联网，就更扯了，万物互联，十前年就已经开始在吹了，但是根本就找不到一个合适
的网络结构来处理互联数据的传输，从信息论的角度来看，其实是无解的，N年前已经
有人从纯信息论的角度论证过了
5G里面宣传的那些场景，其实就和现在的AI一样，是个不切实际的远景
最终尘埃落定后，你会发现，现实当中的5G，不过就是比现在的4G速度快一些而已 |
|
