最大熵模型解决的两个问题

1. What exactly is meant by “uniform”, and how can we measure the uniformity of a model
2. Having determined a suitable answer to these questions, how do we go about finding the most uniform model subject to a set of constrainsts.

当没有足够的信息去判断两个事件的可能性谁更大的时候，最好的策略是将它们认为是相等的。

feature 和 constraint的区别

• feature是指二元的函数
• constraint则是一个等式，也就是特征函数在模型中的期望值和在训练数据中的（经验期望）的等式。