MLE和EM算法的學習和閱讀整理

蔣卓莉

摘要：本文通過本人學習過程中對MLE和EM算法的了解情況對兩者的地位及性質做了整理，此外查閱文獻了解EM算法的實現，并用Matlab迭代算法驗證書本中所給例題中參數的收斂性。

關鍵詞：MLE;EM算法;

一.書本學習后的理解概述

參數估計的學習內容已涉及點估計（即用一個具體的數值（樣本觀測函數）去估計一個未知參數）以及評判估計好壞的標準，其中點估計涉及矩估計、最大似然估計（Maximum likelihood estimation），評判標準包括無偏性、有效性、相合性以及漸近正態性。

MLE是點估計的一種，通俗的解釋是看上去“最像”。矩估計有許多缺點如：為充分利用分布已知情況下的分布;矩不存在的情況下矩估計難以適用（如Cauthy分布）;在很多場合不具有唯一性;受極值影響較大等，而MLE則恰好在一定程度上彌補了這些缺陷。MLE是一種非常有效的參數估計方法，其根本目的是求出似然函數取最大值時參數的取值，但當分布中有多余參數、數據缺失或對數似然方程較為復雜難以用傳統的方法求解時求取MLE較為困難。因而提出了EM算法，目的在于解決這些問題。

矩估計與MLE比較，MLE不一定具有無偏性、相合性，有不變性和漸進最優性。一般來說矩估計是相應參數的相合估計。在大多數情況下，MLE較矩估計來說更優。Cauthy分布的參數估計是在使用MLE后又利用矩估計的思想方法對參數做出了最后的估計。這也給我們提供了一種參數估計的方式，可以將多種估計方式聯合起來使用，這與基于MLE的思想提出的EM算法有相似之處。

二.理論層面的具體理解

從理論層面具體說明基于MLE的思想提出EM算法（對數似然方程較為復雜難以用傳統的方法求解的情況下）的具體過程。其中x1...xn是其樣本，P（x;θ）是總體的密度函數，求未知參數θ。MLE是求出似然函數的最大值L（θ），以得到似然估計。由于log函數是單調遞增的，因此logL（θ）與L（θ）最大值有一致性。無法簡單求的其最大值的情況下我們提出了EM算法，首先人為引入不可觀測的潛變量zi，目的是為了簡化對數似然函數，并且已知潛變量分布，qi為其概率密度函數（若其為連續型）qi（zi）=p（xi，zi;θ）/p（xi;θ）其次用時的潛變量zi的數學期望替換使該對數似然函數成為僅關于θi的函數，最后利用多元函數求最大最小值的方法求θi的其取最大值時的取值，課本中基因環模型便是在這個思路下求解的。

三.文獻資料閱讀總結

通過閱讀文獻資料[3]了解到EM算法有很多類型的應用方式，可以看出其使用的難點在于潛變量及其分布的確定和M步計算困難，不過其可以用Matlab等工具實現算法。利用Matlab迭代發現其收斂性與初值的取值相關，當θ≥1時，收斂性較差，說明其收斂與處置相關。由原理可知其還有可能會陷入局部收斂的困境。以上可以知道EM算法還存在許多缺陷需要克服。

除上述說明之外，研究是否收斂[4]以及收斂速度的快慢都是研究人員比較關心的問題。EM算法的三個非常重要的應用，包括EM算法在二元正態分布上的參數估計的應用、混合高斯分布參數估計方面的應用以及EM算法在隱馬爾科夫模型（HMM）參數估計方面的應用，即著名的Baum-Welch算法，一種EM算法的特例。

例題（缺失數據的二元正態分布參數估計）

若數據完整可以由極大似然估計的思想得到參數估計，但在數據缺失的情況下需要使用EM算法來實現參數估計。

與觀察數據構成完全數據，在完全數據下有極大似然原理求得MLE。（完全數據下的均值，μ2求法相同）。可以看出該例題是對書本上關于數據缺失的例題補充，其總體方式是由在k步隨機生成的隨機數補全原來缺失的數據，后相當于在完全數據下求MLE，根據以往的常規方法即可求的結果。

參考文獻：

[1]程興新.EM算法的收斂性[J].北京大學學報（自然科學版），1987（03）.

[2]張宏東. EM算法及其應用[D].山東大學，2014.

[3]王兆軍.EM算法收斂的必要條件[J].南開大學學報（自然科學版），1994（02）.