最大似然估计

Abstract

基本思想： 相信当前已经发生的事之所以发生，只因为在所有可能的情况中，它发生的概率最大

离散

连续

这里的目标函数之所以是这样的形式，是因为用了联合概率密度。

抛硬币例子

假设我们抛了 n 次硬币，观察到 h 次正面（Heads）和 t 次反面（Tails），其中

$$n=h+t_0$$

每一次抛硬币可以看作是一次伯努利试验，其概率质量函数为 $f(k\mid \theta )={\theta }^k(1-\theta {)}^{1-k}$，其中 k=1 代表正面，k=0 代表反面。

我们观测到的整个序列的似然函数（Likelihood Function）是所有独立试验概率的乘积：

$$L(\theta \mid \text{data})=P(\text{data}\mid \theta )=\prod _{i=1}^{n}P\left(x_i\mid \theta \right)={\theta }^h(1-\theta {)}^t$$

为了找到使这个似然函数最大化的 θ，我们通常对其取对数（不改变极值点但简化计算），即对数似然函数：

$$\log L(\theta )=h\log (\theta )+t\log (1-\theta )$$

对其求导并令其为 0：

$$\frac{d\log L(\theta )}{d\theta }=\frac{h}{\theta }-\frac{t}{1-\theta }=0$$

解得：

$${\hat{\theta }}_{MLE}=\frac{h}{n}$$

这个结果非常直观：你观察到的正面频率就是对真实概率 θ 的最佳点估计。