| 罗夫·兰道尔 在人类文明史上，存在一些基本的理论概念。一旦弄清这些基本概念之间的联系，科技乃至人类文明就将出现飞跃。比如爱因斯坦搞清楚了质量与能量的关系后，人类就制造出了原子弹，爱因斯坦也成为科学史上巨人。 那么，如果有人阐明了信息与能量的关系，他是否也会青史留名？答案是肯定的，这个人就是罗夫·兰道尔（Rolf Landauer）。 撰文 | 张华 来自IBM公司的一篇论文 1927年，兰道尔出生在德国斯图加特的一个犹太人家庭。1934年，兰道尔的父亲去世后，母亲带着他迁居到美国纽约。1945年，18岁的兰道尔从哈佛大学毕业后，在美国海军服了18个月的兵役。兵役结束后，兰道尔返回哈佛大学攻读博士，1950年拿到博士学位。 1952年，兰道尔加入IBM公司工作，成为一个上班族。他从来没跳过槽，生活看上去波澜不惊。但到了1961年，兰道尔在《IBM研究通讯》上发表了一篇令他青史留名的论文，这篇论文的题目是《不可逆性与计算过程中的热量产生问题》。在这篇论文中，兰道尔指出了一件以前从来没人发现的事情：经典计算机要擦除一个经典比特的信息，其所消耗的最小能量是kT ln2（k 是玻尔兹曼常数，T是经典计算机所处的外界物理环境的温度）。 兰道尔是怎么得到这个结论的？为了搞清楚这个问题，我们需要对信息多一些了解。 什么是信息？ 在信息论的鼻祖香农看来，信息其实是对不确定性的消除。比如一个女生不确定一个男生是不是喜欢自己，而这男生对女生说：“今天晚上我请你看电影吧？”这句话里面就是包含信息的，因为这句话在一定程度上消除了不确定性。 但是，如何度量信息的多少呢？这就需要用到一些数学了。 1948年，香农提出了“信息熵”的概念，信息熵解决了信息的度量问题。信息熵的定义如下（其中pi为每种可能性的概率）： 这个公式可以对照物理学中著名的热力学熵公式： 这两个公式的区别有两点：首先是两者差了一个玻尔兹曼常数K；其次是求对数的时候，信息熵是以2为底的，而热力学熵是以自然常数e为底的。 我们可以用以下例子来理解信息熵：考试时，有一道选择题，你对4个选项ABCD都不确定。那么，这时每个选项正确的概率是25%。于是，这时的信息熵就可以这样用以上提到的信息熵公式来计算。 把四个pi都等于25%代入以上那个公式，就可以算出这个时候的信息熵等于2比特。 这个时候，考场里进来一个人，这个人是你非常信任的张老师。张老师突然告诉你说：“选项A与选项B肯定不对，不用选了。”张老师说的话是给你信息了。那么，老师的话里包含了多少信息呢？ 现在对你来说，选项AB可以排除，那么只剩下选项C与D了。对你来说，C与D各自正确的概率是50%。 所以，这时你把两个pi都等于50%代入，可以得到的信息熵等于1比特。你会发现，信息熵减少了。 所以，对你来说，张老师的话包含的信息量是1比特，因为2-1=1（这里涉及到一个信任问题，如果你不相信张老师的话，那么张老师的话对你来说并不包含信息）。 从信息熵到热力学熵 有了香农的信息熵以后，可以把它与物理学中的热力学熵联系起来。 在这里，需要使用高中数学中求对数的换底公式，在求对数的时候，信息熵是以2为底的，而热力学熵是以自然常数为底的，统一换成以自然常数为底，两者相差一个ln2。 所以，按照物理学的理解，3比特的信息熵，对应的热力学熵就是3kln2 。在这里K是玻尔兹曼常数，这个常数给出了信息熵与热力学熵的转化。用公式表示就是： 这其实也是当年香农考虑信息熵的时候的出发点，他正是通过玻尔兹曼的热力学熵来类比信息论中的熵的。只不过在信息论中不需要玻尔兹曼常数，所以他当年在定义信息熵的时候，把玻尔兹曼常数省略了。 而兰道尔要考虑的问题则更进了一步，他需要考虑一个真实的物理过程。在这个过程中如果想要用物理的手段擦除1比特的信息，需要多少能量呢？ 物理图像 兰道尔是用热力学与统计力学的来思考这个擦除信息的过程。他的思考本质上，就是物理学家非常熟悉的麦克斯韦妖。 英国物理学家麦克斯韦假设有一个密闭的容器，由一个没有摩擦力的隔板分成左右两部分，隔板上是一个由麦克斯韦妖控制的阀门。起初，箱子两侧温度相同，当高速分子由左向右运动或慢速分子由右向左运动时，小妖就打开阀门令其通过；而当高速分子由右向左运动或慢速分子由左向右运动时，小妖就关闭阀门。 久而久之，高速分子都跑到了右区，慢速分子都跑到了左区，于是左边的温度明显降低，而右区的温度明显升高。这样，因为麦克斯韦妖的存在，这个系统内出现了温度差，其有序性大大增加，熵就大大减少了。 很明显，如果麦克斯韦妖存在，那么它可以使得热力学系统由温度的平衡态转变成了不平衡态。但这是有代价的。麦克斯韦妖需要付出什么代价呢？麦克斯韦妖需要获得信息，它必须读取每个气体分子的速度，然后做出判断，判断这个分子的速度是快还是慢（这是一个典型的是非判断）。这个过程要求麦克斯韦妖必须具有智商（也就是具有信息处理的能力）。 所以，从这个物理图像中很容易看出，信息熵与热力学熵本质上是等价的。换句话说就是，气体热力学熵的减少，其实是以麦克斯韦妖自身的信息熵增加为代价的。麦克斯韦妖每读取一个分子的速度快慢，气体分子的信息熵降低1比特，而麦克斯韦妖自身信息熵就会增加1比特，最后麦克斯韦妖的大脑就会很累，因为它的大脑储存了大量的信息熵。 信息与能量的联系 上面的讨论可以让兰道尔洞察出信息与能量的关系。 在物理上，能量对热力学熵（内含玻尔兹曼常数）的导数等于温度 道尔构造了一个模型，来解释这个问题。为了叙述方便，我们把兰道尔的思想翻译为如下模型。 首先，我们构造一个盒子，把这个盒子分为左右两部分。然后假设有一个气体分子，如果我们不确定它到底是在左边还是右边，那么与本文一开始写到的做选择题的情况类似，相当于有两个选项（选左边或者右边），这时的信息熵是1比特。 现在，假设在箱子的右边有一个活塞，活塞可以通过等温压缩把气体分子推到左边。在这个过程结束后，我们能够确定气体分子一定处于盒子的左边，所以，气体分子的信息熵就等于0。 因此，从信息论的角度来说，在活塞运动的过程中，相当于擦除了1比特的信息。而从物理学的角度来说，活塞的运动是需要消耗能量的，在等温压缩的过程中，可以通过本小节的微分公式算出，活塞做了kT ln2 的功。这就是兰道尔原理的基本思想：经典计算机要擦除一个经典比特，其所消耗的最小能量是kT ln2。当然兰道尔用了比较长的篇幅来论证这个能量是最小的，我们在这里就不展开论证了。 信息熵是香农在1948年提出来的，而且很快就成了信息科学的主流科学术语。目前5G时代的计算网速的理论依据也是以信息熵为基础的，香农的公式刻画了信息传递的效率与带宽以及噪声的关系。毫无疑问，香农奠定了信息论的基础。 而1960年兰道尔需要考虑的问题是本质上是信息熵与能量到底是什么关系。他考虑的问题看起来很奇怪，在他之前确实没有人考虑过这个问题：如果我们想要擦除1比特的信息，最少需要消耗多少能量？从信息论的角度来说，比如给你一个U盘，U盘里存了一张照片，你要删除这张照片（不能毁灭U盘），你肯定要给U盘接上电脑，那么电脑肯定要花电费，必须要消耗能量才能把这个照片删除。因此，兰道尔原理也解释了电脑在工作的时候为什么会发热，因为电脑一直在擦除信息。其实，对于人脑也一样，人脑也是一个内存，如果要忘记某件事某个人，也必须要消耗能量。因此，兰道尔的思想还是很有价值的。 原始论文： https://ieeexplore.ieee.org/abstract/document/5392446/ 参考链接： http://www.sohu.com/a/224458314_100115417
编辑：Tim |
相关文章
小编分享移动端建站需要关注哪些指标。
在2022年，移动端是一个重要的侧重点，这是不争的事实，随着PC端流量向移动端大量转移的过程中，它变得格外的重要。 因此，在做移动端快速建站的时候，我们除了要保持站点的搜索引擎友好，还需要重点关注网站的各项运营。 根据以往手机网站制作的经历，小编认为，我们移动端建站，重点需要关注如下5...
拥抱全渠道营销时代
在经过一系列漫长的谈判之后，特朗普突然又宣告要对中国产品征收25%的关税。这位特立独行的美国总统，其行事风格和价值判断大概也折射出今天的全球环境复杂多变的样貌——不只是双边贸易关系，在几乎所有商业领域，一些既有规则被打破，原有发挥作用的规律和法则不再奏效，新的挑战者和覆颠者...
稳定关键词排名在首页的方法无非就是原创文章和友情链接的支持。
许多企业可能已经尝试或甚至找到其他外包公司将其核心业务词优化到主页上，但效果将大幅波动。如果理想的核心业务词没有上升，即使是长尾关键词也不一定稳定，而竞争对手则稳定在第一页。 与其担心它，不如让我们看看SEO优化中心seo优化如何提高和稳定SEO关键词在主页上的排名。 1、定期更新文章 文章的...
百度信息流广告，到底值不值得做？
信息流广告市场的格局，大佬们早就纷纷入场，从微博、今日头条、腾讯这些流量巨头的率先入场，到网易新闻、凤凰新闻的亦步亦趋，在2016年年底，又一个巨头入场了，百度。 新渠道，大家当然都纷纷摩拳擦掌，既想做那个先入场抢红利的人，又害怕没有经验借鉴，效果不好不敢冒险，犹豫踌躇间，半年...
导致网络营销失败的原因是因为没有找到网络营销的密钥。
对于中小企业网站，主要推广的平台大多数都是属于B2B或者B2C平台，比如阿里巴巴，环球资源等等，当然通过搜索引擎优化的方式自然也是不可缺少的，还有就是视频，论坛，博客等传统方式的营销平台。下面看下导致失败的原因都有哪些吧。 一、定位准确目标 对于网络营销首先就要关注目标用户，要学...
新媒体时代的整合营销你真的了解吗
新媒体最主要的特征就是信息传播载体为数字网络，完全不受时间、空间的限制，并且传输速度快，覆盖面极广，一条信息或新闻很快就可以传遍整个世界。新媒体时代的到来，对个各个企业来说都是一个大的机遇，而不管是微博、微信，还是知乎,任何新媒体平台的高覆盖及高渗透是很多传统媒体无法比拟的...