10. 信息与熵
1948年香农在Bell System Technical Journal上发表了《A Mathematical Theory
of Communication 》
香农理论的重要特征是熵(entropy)的概念,他证明熵与信息内容的不确定程度
有等价关系。
熵曾经是波尔兹曼在热力学第二定律引入的概念,我们可以把它理解为分子运动
的混乱度。
信息熵就以比特(bit)为单位。今天在电脑和通信中广泛使用的字节(Byte)、KB、
MB、GB等词都是从比特演化而来。“比特”的出现标志着人类知道了如何计量信
息量。
11. 香农对信息的定义
信息量定义为随机不定性程度的减少。
信息是用来减少随机不定性的东西。
或香农逆定义:信息是确定性的增加 。
为何要计量信息量?
不能度量,就无法控制,也就无法管理
—— If you can't measure it, you can neither control nor manage it.
14. 例:兰德公司报告
朝鲜战争与兰德咨询公司故事。朝鲜战争前,兰德公司向美国国防部推销一份秘
密报告,其主题词只有7个字,要价150万美元。
美国国防部认为是敲诈,不予理睬,结果"在错误的时间,在错误的地点,与错
误的敌人进行了一场错误的战争"。
战争结束之后,国防部才想起那份报告,要来一看,追悔莫急。问题:那7个字
是什么?
China will send troops to North Korea