基于二次光滑上界函數(shù)的MM算法研究

本文通過(guò)待定系數(shù)法構(gòu)造了基于二次光滑上界函數(shù)的MM算法，并將此算法應(yīng)用于求單變量目標(biāo)函數(shù)的最小值。相對(duì)于牛頓法，新算法的適用范圍更廣，能避免矩陣求逆運(yùn)算，縮短計(jì)算時(shí)間。

1.簡(jiǎn)介

在統(tǒng)計(jì)學(xué)領(lǐng)域，經(jīng)常涉及到求函數(shù)最小值的問(wèn)題。有時(shí)候，這類問(wèn)題可以從數(shù)學(xué)分析的角度得到精確的解，但大多數(shù)情形，只能通過(guò)數(shù)值分析，運(yùn)用計(jì)算機(jī)得到近似解。

本文介紹一種在凸集中應(yīng)用的優(yōu)化方法，稱之為MM算法。MM算法的一般原理是由數(shù)字分析員Ortega和Rheinboldt在1970年的文章中提出的[1]。90年代后期，MM算法引起了統(tǒng)計(jì)界的關(guān)注。

2.基于二次光滑上界函數(shù)的MM算法

2.1. MM算法

MM算法基本思想是用容易求極值的上界函數(shù)將一個(gè)復(fù)雜的目標(biāo)函數(shù)簡(jiǎn)單化，通過(guò)求解簡(jiǎn)單的目標(biāo)函數(shù)得到近似解。對(duì)于下列問(wèn)題

從MM算法與牛頓法的圖像來(lái)看，兩種算法有相同之處，都是用易于求解的上界函數(shù)來(lái)逼近目標(biāo)函數(shù)，但兩者也存在不同之處。MM算法強(qiáng)調(diào)全局上界，要求所有的上界函數(shù)的圖像都必須在目標(biāo)函數(shù)的圖像上方。而牛頓法只強(qiáng)調(diào)局部上界，只要 的圖像在 附近的區(qū)域內(nèi)位于目標(biāo)函數(shù)的圖像上方即可。

3.牛頓法和MM算法的適用范圍

MM算法通過(guò)構(gòu)造上界函數(shù)，可避免矩陣求逆，從而提高計(jì)算速度。MM算法的困難在于上界函數(shù)的構(gòu)造，本文通過(guò)待定系數(shù)法構(gòu)造了基于二次光滑的上界函數(shù)，用于求單變量目標(biāo)函數(shù)的最小值。

從牛頓法的迭代公式可以看出，目標(biāo)函數(shù)至少要二階連續(xù)可微。如例1中的極值問(wèn)題，就不能用牛頓法來(lái)求解。由于牛頓法需要求函數(shù)的梯度，如果目標(biāo)函數(shù)很復(fù)雜（函數(shù)求導(dǎo)很麻煩）時(shí)，求梯度及海瑟矩陣會(huì)比較困難，這時(shí)牛頓法不是好的選擇。

4.結(jié)論

MM算法優(yōu)點(diǎn)在于適用范圍較廣，能避免矩陣求逆運(yùn)算，縮短計(jì)算時(shí)間；牛頓法優(yōu)點(diǎn)在于收斂速度快，缺點(diǎn)是需要進(jìn)行矩陣求逆運(yùn)算。處理具體問(wèn)題時(shí)，可以綜合他們的優(yōu)點(diǎn)，揚(yáng)長(zhǎng)避短，利用MM算法適用范圍廣的特點(diǎn)，構(gòu)造上界函數(shù)，在上界函數(shù)中用牛頓法加速，提高計(jì)算速度，這不失為一種好的策略。

（作者單位：長(zhǎng)春工業(yè)大學(xué)基礎(chǔ)科學(xué)學(xué)院）