1. 人类行为与最大熵原理
王成军 08深圳新传
Clustering Intelligence Club
http://www.douban.com/group/swarmagents/

2. Outline：常识的介绍
 1、复杂网络
 2、社会科学中的运用：以人类传播行为
为例
 3、最大熵原理
 4、各种概率分布的证明
 5、娜拉出走之后？

3. 1、复杂网络研究
 图论 18世纪 Euler 七桥问题
点、线 规则图
 Erdos & Renyi 1960年代 随机图网络
节点之间的连接是不确定的、依据概率决定的。
 Watts & Stogatz，Cornell university
1998年 小世界网络 small-world networks
小世界网络即具有规则网络的高聚类特征，又具有随机网络的较小
平均路径长度的特征，可以用来描述从完全规则网络到完全随机网
络的转变。 《自然》
 Barabasi & Albert，Notre dame u.
1999年 很多复杂网络符合幂律分布，即无标度网络 scale-free
networks，《科学》

4. Scale-Free Networks

p (k ) ~ k
R. Albert, H. Jeong, and A.-L. Barabási Diameter of the World Wide Web
Nature 401, 130-131 (1999).
Non-homogeneous nature of scale-free network

5. 2、复杂网络在社会科学中的运用
 复杂网络只是复杂性科学的一部分
 《复杂》
 santa fe institute introducion
 《走向统一的社会科学——来自桑塔费学
派的看法》
 演化博弈，实验、计算机模拟
 理性人 强互惠行为——强互惠心理？

6. 2.1在社会学中的运用
 图1.2.6 来自Moody和Race 2001年发表在American Journal of
Sociology上的文章School Integration and Friendship Segregation
in America，该图表示了一个美国中学中不同种族不同年级学生之间的交往
情况。该图由被访者回答“你认为谁是你的朋友”等问题提供的数据绘制，因
此是一个有向网络（direct-network）。其中黄色的点代表白种人，蓝色的
点代表黑种人，绿色的点代表其他人种，位于图上部的是初中生，位于图下
部的是高中生。从图中可以看出，种族和年级深刻地影响着社会交往，其中
前者的影响更明显。

7. 2.2 在经济学中运用
 图1.2.7引自2007年C. A. Hidalgo和A.L.
Barabási等发表在Science上的The Product
Space Conditions the Development of
Nations一文。该图由全世界每个国家的产品进出
口数据绘制，是一个标准模型，不同的国家在具体
产品的分布上有所不同。本文揭示了这样一个事实：
国家间经济的发达程度不同，产业结构也不同，发
展相关产业的能力也不同。因此，一个国家的产业
结构的独特性和比较优势是客观存在的，盲目地进
行产业转型是高成本低收益的行为。

8. 2.3 人类传播行为（强名之为）
 Bruno Gonçalves等，Human dynamics revealed through
Web analytics，2008

9. Why we twitter？Understanding Microblogging Usage and
Communities

11. 针对不同传播行为的文献综述

12. 祝建华:针对个体层次的研究

15. 3、最大熵原理
 Boltzmann
 Shannon
 Jaynes

16. Number of Micro-states
 For given a macro-state (n1,n2,…,nm)
 There are many micro-states to realize it
不同能级大小的分子状态 e1 e2 。。。 ei 。。。 er
该状态下的分子的个数 n1 n2 … ni … nr
N!
W (n1 , n2 ,  , nm ) 
n1!n2 ! nm !

17. 3.1热力学熵 Boltzmann
 For given a macro-state (n1,n2,…,nm)
There are many micro-states to
realize it:
N!
W (n1 , n2 ,  , nm ) 
n1!n2 ! nm !
 S=k ln W
s是物质的热力学熵；
K是玻尔兹曼常数；
w是该物质所处的宏观状态对应的微观状态的个数。

18. m
3.2信息熵 香农 I   S   pi log pi
i 1
lnW  ln[ N !/ (n1 !n2 !...nr !)]
 斯特林公式 ln x!=xlnx-x
 lnW  ( N ln N  N )  [( n1 ln n1  n1 )  ...  ( nr ln nr  nr )]
又  N  n1  n2  ...  nr
 lnW  N ln N  n1 ln n1  ...  nr ln nr
 ( n1  ...  nr ) ln N  n1 ln n1  ...  nr ln nr
n1 n n
  n1 ln  n2 ln 2  ...  nr ln r
N N N
  n1 ln p1  n2 ln p2  ...  nr ln pr
r
  ni ln pi
i 1
r
  N  pi ln pi
i 1

19. 3.3 Jaynes’ Framework
 Another view to
statistical mechanics
 Subjective explanation
of probability
 Subjective statistical
physics

20. MaxEnt Framework
max S   pi log pi
i

  pi  1 粒子守恒
s.t.  i
 pi Eij  E j , j  1,2,...,s 能量守恒
 i
s constraints

21. 最大熵原理 (MEP)
 计算一批离散变量的数据信息熵（以下简
称数据熵）   p log p
S i 2
n
i
 p
其中 i代表在集合中随机取一个个体，具有标志值i的概率= N
i
 对于连续变量，则数据熵公式变为
b
a
（1），代表相对密度分布函数
S    f  x  ln f  x  dx
 最大熵原理是指积分（1）总是达到最大，
在这个条件下，利用拉格朗日方法可以求
我们还不知道的 f  x 

22. Lagrangian Method
欲求n元函数f（x1，x 2，. . . , xn )在如下m个约束条件（m<n）
y1 (x1，x 2，. . . , xn )  0
y2 (x1，x 2，. . . , xn )  0
...
ym (x1，x 2，. . . , xn )  0
下的极值，拉格朗日方法通过构造新的函数F实现：
F(x1，x 2，. . . , xn )  f (x1，x 2，. . . , xn )  C1y1 (x1，x 2，. . . , xn )
C2y2 (x1，x 2，. . . , xn )  ...  Cmy m (x1，x 2，. . . , xn )
求一阶微分 :
F f y y
0  C1 1  ...  Cm m
X 1 X 1 X 1 X 1
...
F f y y
0  C1 1  ...  Cm m
X n X n X n X n

23. 1、均匀分布
 唯一的约束是 1   f  x  dx （2）
b
a
 依照拉格朗日方法，将式（2）乘以未知
常数 C ，加上（1），构造出 F   f  x ln f  x dx  C  f  x dx 1
1
a
b
1
b
a
 令F对f的偏微商=0（改变函数f的形状但
有不变的x使F极大。就是所谓求泛函数的
极值，即变分）
 得到 ln f  x   C1 1
 因此，x 是一个常数，即均匀分布。且利用
f
（2）可得  1
 ,a  x  b
f  b  a
 0, x  a  x  b


24. 2.（负）指数分布——以“斩乱麻”为例
一个数值试验
 约束有两个，分别是
（2）和 u   xf  x  dx
1   f  x  dx
（3）（x算术平均值
b b
 a a
不变，在斩乱麻实验中为 l   Nf ( x)dx ）
 依照拉格朗日方法，将式（2）乘以未知 C2
常数C ，将式（3）乘以未知常数 ，加上
1 C 2
F   f  x  ln f  x  dx  C   f  x  dx  1  C   xf  x  dx  a 
（1），构造出
b b b
a 
 1 a 
 
 2 a 

 令F对f的偏微商=0，
 得到 ln f  x  1 C  C x ，即指数分布，且利用
1 2
（2）、（3）可得 f  x   1 e 
x
u
u

25. 步骤
 一根绳子斩成1000段
 生成随机数
 调整
 作图

26. Hi st ogr am
300 0. 10
0. 08
200
0. 06
Fr equency
FX
0. 04
100
0. 02
0. 00
Mean =10. 00
St d. D ev. =10. 449
N =1, 000
0 0. 00 20. 00 40. 00 60. 00 80. 00 100. 00
0. 00 20. 00 40. 00 60. 00 80. 00 100. 00 VAR00002
VAR00001

27. 3、幂律分布
 约束条件有两个，分别是 1   f  x  dx （2） a
b
和 （4）（x几何平均值不变）
u   f  x  ln xdx
b
 a
 依照拉格朗日方法，将式（2）乘以未知常数 C ， 1
将式（4）乘以未知常数 C ，加上（1），构造出 2
F   f  x  ln f  x  dx  C1   f  x  dx  1  C2   f  x  ln xdx  u 
b b b
a  a
 
  a
 

 令F对f的偏微商=0，
ln f  x   1  C  C ln x , f ( x)  exp  1  C1  x ,即幂律分布
C
 得到 1 2  
2
1
1
 在 1  x  b 的情况下， f  x   1 x ln u
1 ln u
 1 
如果u很大， lnu 就接近于-1，此时f和x的乘积是
常数，也就是f和x是双曲线关系，又称Zipf律，与
词频和分形等研究有关

28. 4.一个推导分布的通用函数
 我们根据这几次使用拉格朗日方法推导的
经验，可以总结出满足最大熵的相对密度
分布函数为 f  x   exp 1  C u  x 
i i  
 其中 C 是第i个未知常数， x  为第i个已经知
i
i u
道的函数，且该函数与分布函数的乘积的
积分为常数 k i
 约束：   ui  x  f  x  dx ， 1 ，2，…，m
ki i

31. 5、最大熵出现之后将会怎样？
 第一推动丛书：《宇宙的琴弦》
 我必须了解自己的无知，
 或许是了解一下统计物理的时候了

32. 最大熵产生原理(MEPP)
 熵原理仅仅告诉我们系统将朝向何方演化
 最大熵产生原理告诉我们系统怎样演化（演化
的路径）
熵产生最快
的路径
最可能路径 一般的路径

33. 最大流现象
流动速度最大的路径是时间最短的那条

34. 蚂蚁觅食实例
最快的路径会被自然选出

35. reference
 祝建华等，Global Regularity and
Individual Variability in Dynamic
Behaviors of Human Communication
 Wulingfei，Maximum Entropy ,
Bayesian Inference and Evolution
 张学文，《组成论》
 张江，秩序从哪里来
 张江，From Statistical Physics to
Maximum Entropy Framework