基于二次光滑上界函數的MM算法研究

本文通過待定系數法構造了基于二次光滑上界函數的MM算法，并將此算法應用于求單變量目標函數的最小值。相對于牛頓法，新算法的適用范圍更廣，能避免矩陣求逆運算，縮短計算時間。

1.簡介

在統計學領域，經常涉及到求函數最小值的問題。有時候，這類問題可以從數學分析的角度得到精確的解，但大多數情形，只能通過數值分析，運用計算機得到近似解。

本文介紹一種在凸集中應用的優化方法，稱之為MM算法。MM算法的一般原理是由數字分析員Ortega和Rheinboldt在1970年的文章中提出的[1]。90年代后期，MM算法引起了統計界的關注。

2.基于二次光滑上界函數的MM算法

2.1. MM算法

MM算法基本思想是用容易求極值的上界函數將一個復雜的目標函數簡單化，通過求解簡單的目標函數得到近似解。對于下列問題

從MM算法與牛頓法的圖像來看，兩種算法有相同之處，都是用易于求解的上界函數來逼近目標函數，但兩者也存在不同之處。MM算法強調全局上界，要求所有的上界函數的圖像都必須在目標函數的圖像上方。而牛頓法只強調局部上界，只要 的圖像在 附近的區域內位于目標函數的圖像上方即可。

3.牛頓法和MM算法的適用范圍

MM算法通過構造上界函數，可避免矩陣求逆，從而提高計算速度。MM算法的困難在于上界函數的構造，本文通過待定系數法構造了基于二次光滑的上界函數，用于求單變量目標函數的最小值。

從牛頓法的迭代公式可以看出，目標函數至少要二階連續可微。如例1中的極值問題，就不能用牛頓法來求解。由于牛頓法需要求函數的梯度，如果目標函數很復雜（函數求導很麻煩）時，求梯度及海瑟矩陣會比較困難，這時牛頓法不是好的選擇。

4.結論

MM算法優點在于適用范圍較廣，能避免矩陣求逆運算，縮短計算時間；牛頓法優點在于收斂速度快，缺點是需要進行矩陣求逆運算。處理具體問題時，可以綜合他們的優點，揚長避短，利用MM算法適用范圍廣的特點，構造上界函數，在上界函數中用牛頓法加速，提高計算速度，這不失為一種好的策略。

（作者單位：長春工業大學基礎科學學院）