1. 最大熵模型 与 自然语言处理 MaxEnt Model & NLP laputa [email_address] NLP Group, AI Lab, Tsinghua Univ.

32. 最大熵模型 Maximum Entropy

33. 最大熵模型 Maximum Entropy What is Constraints? -- 模型要与 已知 知识吻合 What is known? -- 训练数据集合 一般模型： P={p|p 是 X 上满足 条件 的概率分布 }

36. 特征与样本 已知： “ 学习”可能是动词，也可能是名词。可以被标为主语、谓语、宾语、定语…… “ 学习”被标为定语的可能性很小，只有 0.05 特征：当“学习”被标作动词的时候，它被标作谓语的概率为 0.95 x 是什么 ? y 是什么 ? 样本是什么 ?

37. 特征与样本 已知： “ 学习”可能是动词，也可能是名词。可以被标为主语、谓语、宾语、定语…… 特征：“学习”被标为定语的可能性很小，只有 0.05 当“学习”被标作动词的时候，它被标作谓语的概率为 0.95 x 是什么 ? y 是什么 ? 样本是什么 ?

38. 特征与样本 特征函数：对于一个特征 (x 0 ,y 0 ) ，定义特征函数： 特征函数期望值： 对于一个特征 (x 0 ,y 0 ) ，在样本中的期望值是： 是 (x,y) 在样本中出现的概率

39. 条件（ Constraints ） 条件： 对每一个特征 (x,y) ，模型所建立的条件概率分布要与训练样本表现出来的分布相同。 假设样本的分布是（已知）： 特征 f 在模型中的期望值：

47. 极值条件 Z: m*(m-n) 常数矩阵 v: m-n 维变量 极值条件： 把 分解成 Z 方向向量和 A 方向向量：

48. 极值条件 Z: m*(m-n) 常数矩阵 v: m-n 维变量

51. 拉格朗日算子 Lagrange Multiplier

52. 拉格朗日函数

53. 可能的最优解（ Exponential ）

55. 最优解形式（ Exponential ）

56. 最优解（ Exponential ）

63. 非线性规划中的对偶问题 拉格朗日函数： 于是： 因此，为了尽量大， p 的选取必须保证 考虑：

64. 对偶问题与拉格朗日函数： 同时： 等价于： 而

65. 对偶问题与拉格朗日函数：

66. 梯度递减法 把 p* 代入 L ，得到： 令：

67. 梯度递减法 求导，计算 -L 的梯度：

68. 梯度递减法 递推公式： 收敛问题……

75. 最大似然率

93. Q&A ？ Thank you!