基于二次光滑上界函數(shù)的MM算法研究

本文通過待定系數(shù)法構(gòu)造了基于二次光滑上界函數(shù)的MM算法，并將此算法應(yīng)用于求單變量目標(biāo)函數(shù)的最小值。相對于牛頓法，新算法的適用范圍更廣，能避免矩陣求逆運算，縮短計算時間。

1.簡介

在統(tǒng)計學(xué)領(lǐng)域，經(jīng)常涉及到求函數(shù)最小值的問題。有時候，這類問題可以從數(shù)學(xué)分析的角度得到精確的解，但大多數(shù)情形，只能通過數(shù)值分析，運用計算機(jī)得到近似解。

本文介紹一種在凸集中應(yīng)用的優(yōu)化方法，稱之為MM算法。MM算法的一般原理是由數(shù)字分析員Ortega和Rheinboldt在1970年的文章中提出的[1]。90年代后期，MM算法引起了統(tǒng)計界的關(guān)注。

2.基于二次光滑上界函數(shù)的MM算法

2.1. MM算法

MM算法基本思想是用容易求極值的上界函數(shù)將一個復(fù)雜的目標(biāo)函數(shù)簡單化，通過求解簡單的目標(biāo)函數(shù)得到近似解。對于下列問題

從MM算法與牛頓法的圖像來看，兩種算法有相同之處，都是用易于求解的上界函數(shù)來逼近目標(biāo)函數(shù)，但兩者也存在不同之處。MM算法強(qiáng)調(diào)全局上界，要求所有的上界函數(shù)的圖像都必須在目標(biāo)函數(shù)的圖像上方。而牛頓法只強(qiáng)調(diào)局部上界，只要 的圖像在 附近的區(qū)域內(nèi)位于目標(biāo)函數(shù)的圖像上方即可。

3.牛頓法和MM算法的適用范圍

MM算法通過構(gòu)造上界函數(shù)，可避免矩陣求逆，從而提高計算速度。MM算法的困難在于上界函數(shù)的構(gòu)造，本文通過待定系數(shù)法構(gòu)造了基于二次光滑的上界函數(shù)，用于求單變量目標(biāo)函數(shù)的最小值。

從牛頓法的迭代公式可以看出，目標(biāo)函數(shù)至少要二階連續(xù)可微。如例1中的極值問題，就不能用牛頓法來求解。由于牛頓法需要求函數(shù)的梯度，如果目標(biāo)函數(shù)很復(fù)雜（函數(shù)求導(dǎo)很麻煩）時，求梯度及海瑟矩陣會比較困難，這時牛頓法不是好的選擇。

4.結(jié)論

MM算法優(yōu)點在于適用范圍較廣，能避免矩陣求逆運算，縮短計算時間；牛頓法優(yōu)點在于收斂速度快，缺點是需要進(jìn)行矩陣求逆運算。處理具體問題時，可以綜合他們的優(yōu)點，揚(yáng)長避短，利用MM算法適用范圍廣的特點，構(gòu)造上界函數(shù)，在上界函數(shù)中用牛頓法加速，提高計算速度，這不失為一種好的策略。

（作者單位：長春工業(yè)大學(xué)基礎(chǔ)科學(xué)學(xué)院）