| 罗夫·兰道尔 在人类文明史上，存在一些基本的理论概念。一旦弄清这些基本概念之间的联系，科技乃至人类文明就将出现飞跃。比如爱因斯坦搞清楚了质量与能量的关系后，人类就制造出了原子弹，爱因斯坦也成为科学史上巨人。 那么，如果有人阐明了信息与能量的关系，他是否也会青史留名？答案是肯定的，这个人就是罗夫·兰道尔（Rolf Landauer）。 撰文 | 张华 来自IBM公司的一篇论文 1927年，兰道尔出生在德国斯图加特的一个犹太人家庭。1934年，兰道尔的父亲去世后，母亲带着他迁居到美国纽约。1945年，18岁的兰道尔从哈佛大学毕业后，在美国海军服了18个月的兵役。兵役结束后，兰道尔返回哈佛大学攻读博士，1950年拿到博士学位。 1952年，兰道尔加入IBM公司工作，成为一个上班族。他从来没跳过槽，生活看上去波澜不惊。但到了1961年，兰道尔在《IBM研究通讯》上发表了一篇令他青史留名的论文，这篇论文的题目是《不可逆性与计算过程中的热量产生问题》。在这篇论文中，兰道尔指出了一件以前从来没人发现的事情：经典计算机要擦除一个经典比特的信息，其所消耗的最小能量是kT ln2（k 是玻尔兹曼常数，T是经典计算机所处的外界物理环境的温度）。 兰道尔是怎么得到这个结论的？为了搞清楚这个问题，我们需要对信息多一些了解。 什么是信息？ 在信息论的鼻祖香农看来，信息其实是对不确定性的消除。比如一个女生不确定一个男生是不是喜欢自己，而这男生对女生说：“今天晚上我请你看电影吧？”这句话里面就是包含信息的，因为这句话在一定程度上消除了不确定性。 但是，如何度量信息的多少呢？这就需要用到一些数学了。 1948年，香农提出了“信息熵”的概念，信息熵解决了信息的度量问题。信息熵的定义如下（其中pi为每种可能性的概率）： 这个公式可以对照物理学中著名的热力学熵公式： 这两个公式的区别有两点：首先是两者差了一个玻尔兹曼常数K；其次是求对数的时候，信息熵是以2为底的，而热力学熵是以自然常数e为底的。 我们可以用以下例子来理解信息熵：考试时，有一道选择题，你对4个选项ABCD都不确定。那么，这时每个选项正确的概率是25%。于是，这时的信息熵就可以这样用以上提到的信息熵公式来计算。 把四个pi都等于25%代入以上那个公式，就可以算出这个时候的信息熵等于2比特。 这个时候，考场里进来一个人，这个人是你非常信任的张老师。张老师突然告诉你说：“选项A与选项B肯定不对，不用选了。”张老师说的话是给你信息了。那么，老师的话里包含了多少信息呢？ 现在对你来说，选项AB可以排除，那么只剩下选项C与D了。对你来说，C与D各自正确的概率是50%。 所以，这时你把两个pi都等于50%代入，可以得到的信息熵等于1比特。你会发现，信息熵减少了。 所以，对你来说，张老师的话包含的信息量是1比特，因为2-1=1（这里涉及到一个信任问题，如果你不相信张老师的话，那么张老师的话对你来说并不包含信息）。 从信息熵到热力学熵 有了香农的信息熵以后，可以把它与物理学中的热力学熵联系起来。 在这里，需要使用高中数学中求对数的换底公式，在求对数的时候，信息熵是以2为底的，而热力学熵是以自然常数为底的，统一换成以自然常数为底，两者相差一个ln2。 所以，按照物理学的理解，3比特的信息熵，对应的热力学熵就是3kln2 。在这里K是玻尔兹曼常数，这个常数给出了信息熵与热力学熵的转化。用公式表示就是： 这其实也是当年香农考虑信息熵的时候的出发点，他正是通过玻尔兹曼的热力学熵来类比信息论中的熵的。只不过在信息论中不需要玻尔兹曼常数，所以他当年在定义信息熵的时候，把玻尔兹曼常数省略了。 而兰道尔要考虑的问题则更进了一步，他需要考虑一个真实的物理过程。在这个过程中如果想要用物理的手段擦除1比特的信息，需要多少能量呢？ 物理图像 兰道尔是用热力学与统计力学的来思考这个擦除信息的过程。他的思考本质上，就是物理学家非常熟悉的麦克斯韦妖。 英国物理学家麦克斯韦假设有一个密闭的容器，由一个没有摩擦力的隔板分成左右两部分，隔板上是一个由麦克斯韦妖控制的阀门。起初，箱子两侧温度相同，当高速分子由左向右运动或慢速分子由右向左运动时，小妖就打开阀门令其通过；而当高速分子由右向左运动或慢速分子由左向右运动时，小妖就关闭阀门。 久而久之，高速分子都跑到了右区，慢速分子都跑到了左区，于是左边的温度明显降低，而右区的温度明显升高。这样，因为麦克斯韦妖的存在，这个系统内出现了温度差，其有序性大大增加，熵就大大减少了。 很明显，如果麦克斯韦妖存在，那么它可以使得热力学系统由温度的平衡态转变成了不平衡态。但这是有代价的。麦克斯韦妖需要付出什么代价呢？麦克斯韦妖需要获得信息，它必须读取每个气体分子的速度，然后做出判断，判断这个分子的速度是快还是慢（这是一个典型的是非判断）。这个过程要求麦克斯韦妖必须具有智商（也就是具有信息处理的能力）。 所以，从这个物理图像中很容易看出，信息熵与热力学熵本质上是等价的。换句话说就是，气体热力学熵的减少，其实是以麦克斯韦妖自身的信息熵增加为代价的。麦克斯韦妖每读取一个分子的速度快慢，气体分子的信息熵降低1比特，而麦克斯韦妖自身信息熵就会增加1比特，最后麦克斯韦妖的大脑就会很累，因为它的大脑储存了大量的信息熵。 信息与能量的联系 上面的讨论可以让兰道尔洞察出信息与能量的关系。 在物理上，能量对热力学熵（内含玻尔兹曼常数）的导数等于温度 道尔构造了一个模型，来解释这个问题。为了叙述方便，我们把兰道尔的思想翻译为如下模型。 首先，我们构造一个盒子，把这个盒子分为左右两部分。然后假设有一个气体分子，如果我们不确定它到底是在左边还是右边，那么与本文一开始写到的做选择题的情况类似，相当于有两个选项（选左边或者右边），这时的信息熵是1比特。 现在，假设在箱子的右边有一个活塞，活塞可以通过等温压缩把气体分子推到左边。在这个过程结束后，我们能够确定气体分子一定处于盒子的左边，所以，气体分子的信息熵就等于0。 因此，从信息论的角度来说，在活塞运动的过程中，相当于擦除了1比特的信息。而从物理学的角度来说，活塞的运动是需要消耗能量的，在等温压缩的过程中，可以通过本小节的微分公式算出，活塞做了kT ln2 的功。这就是兰道尔原理的基本思想：经典计算机要擦除一个经典比特，其所消耗的最小能量是kT ln2。当然兰道尔用了比较长的篇幅来论证这个能量是最小的，我们在这里就不展开论证了。 信息熵是香农在1948年提出来的，而且很快就成了信息科学的主流科学术语。目前5G时代的计算网速的理论依据也是以信息熵为基础的，香农的公式刻画了信息传递的效率与带宽以及噪声的关系。毫无疑问，香农奠定了信息论的基础。 而1960年兰道尔需要考虑的问题是本质上是信息熵与能量到底是什么关系。他考虑的问题看起来很奇怪，在他之前确实没有人考虑过这个问题：如果我们想要擦除1比特的信息，最少需要消耗多少能量？从信息论的角度来说，比如给你一个U盘，U盘里存了一张照片，你要删除这张照片（不能毁灭U盘），你肯定要给U盘接上电脑，那么电脑肯定要花电费，必须要消耗能量才能把这个照片删除。因此，兰道尔原理也解释了电脑在工作的时候为什么会发热，因为电脑一直在擦除信息。其实，对于人脑也一样，人脑也是一个内存，如果要忘记某件事某个人，也必须要消耗能量。因此，兰道尔的思想还是很有价值的。 原始论文： https://ieeexplore.ieee.org/abstract/document/5392446/ 参考链接： http://www.sohu.com/a/224458314_100115417
编辑：Tim |
相关文章
西安企业做百度推广，一个月花三千和花三万到底差在哪？
4|最近跟几个西安的老板聊天，发现一个挺有意思的现象：同样做百度推广，有人一个月花三千块，询盘不断；有人一个月砸三万，水花都没见着。问他们区别在哪，大多数人说不清楚，只知道'钱花了，没效果'。 5| 6|百度推广这东西，说复杂也复杂，说简单也简单。核心就一件事：让你的潜在客户搜某个词的时候，你的信息...
我想当策划，大学应该选什么专业?
学，广告，传播，公关，这些专业其实都可以。另外也可以学像汉语言文学，以及一些跟文学相关的一些专业，会对你找工作有帮助。但是，你想从事这个这份职业，除了专业的学习之外，更多的是，你要在上学的时候积极参与一些更营销策划相关的社会实践。比如说你可以做一些兼职，比如说帮别人去写稿，...
服装市场营销策略分析，“定位不慎满盘皆输”
不同的区域需要不同的策略，而不同的营销策略需要不同的销售思路来配合。因此，在研究女装产品销售思路之前，最好先对于市场与营销策略做一次深入地了解。1.市场区域化（market segmentation）：目标营销的第一步，是将整个市场拆分成若干个同性质的小市场。2.目标市场的...
晚间悦读丨你的思维方式，决定你的人生高度！
越长大，越发现，能够决定你人生高度的，往往是你的认知层次。 你的认知在哪个层级，你的人生就处在什么状态。你认知的高度，决定了你人生的高度。 那如何才能升级方式、提升认知能力呢？可以从这三个方面做出改变。 NO. 1 改变态度 有人...
编写项目营销策划方案六大要点
现在商业发展非常迅速，的需求非常的大，但是要做好营销策划是有一定难度的，我把自己做营销策划的一些体会在这里分享给朋友们。营销策划方案六大要点我们先说项目营销策划方案这个话题。大部分的营销策划人都是在企业里工作，大部分项目之初都是来源于一个想法，创始人、老板或者创始团队的一个...
【商场营销策划】如何进行商场营销策划？
商场是策划者们关注的永恒话题，那么究竟该如何作好商场营销策划呢？掌握以下这几点营销策略设计原则，至关重要！1.义利兼顾的原则。商场在获取利润的同时要充分考虑到消费者的合法利益和商场的长远利益。在作商场活动营销策略方案的时候应该将这一点作为首要的原则。对商场有利而对顾客不利的...