


本文通過(guò)待定系數(shù)法構(gòu)造了基于二次光滑上界函數(shù)的MM算法,并將此算法應(yīng)用于求單變量目標(biāo)函數(shù)的最小值。相對(duì)于牛頓法,新算法的適用范圍更廣,能避免矩陣求逆運(yùn)算,縮短計(jì)算時(shí)間。
1.簡(jiǎn)介
在統(tǒng)計(jì)學(xué)領(lǐng)域,經(jīng)常涉及到求函數(shù)最小值的問(wèn)題。有時(shí)候,這類問(wèn)題可以從數(shù)學(xué)分析的角度得到精確的解,但大多數(shù)情形,只能通過(guò)數(shù)值分析,運(yùn)用計(jì)算機(jī)得到近似解。
本文介紹一種在凸集中應(yīng)用的優(yōu)化方法,稱之為MM算法。MM算法的一般原理是由數(shù)字分析員Ortega和Rheinboldt在1970年的文章中提出的[1]。90年代后期,MM算法引起了統(tǒng)計(jì)界的關(guān)注。
2.基于二次光滑上界函數(shù)的MM算法
2.1. MM算法
MM算法基本思想是用容易求極值的上界函數(shù)將一個(gè)復(fù)雜的目標(biāo)函數(shù)簡(jiǎn)單化,通過(guò)求解簡(jiǎn)單的目標(biāo)函數(shù)得到近似解。對(duì)于下列問(wèn)題
從MM算法與牛頓法的圖像來(lái)看,兩種算法有相同之處,都是用易于求解的上界函數(shù)來(lái)逼近目標(biāo)函數(shù),但兩者也存在不同之處。MM算法強(qiáng)調(diào)全局上界,要求所有的上界函數(shù)的圖像都必須在目標(biāo)函數(shù)的圖像上方。而牛頓法只強(qiáng)調(diào)局部上界,只要 的圖像在 附近的區(qū)域內(nèi)位于目標(biāo)函數(shù)的圖像上方即可。
3.牛頓法和MM算法的適用范圍
MM算法通過(guò)構(gòu)造上界函數(shù),可避免矩陣求逆,從而提高計(jì)算速度。MM算法的困難在于上界函數(shù)的構(gòu)造,本文通過(guò)待定系數(shù)法構(gòu)造了基于二次光滑的上界函數(shù),用于求單變量目標(biāo)函數(shù)的最小值。
從牛頓法的迭代公式可以看出,目標(biāo)函數(shù)至少要二階連續(xù)可微。如例1中的極值問(wèn)題,就不能用牛頓法來(lái)求解。由于牛頓法需要求函數(shù)的梯度,如果目標(biāo)函數(shù)很復(fù)雜(函數(shù)求導(dǎo)很麻煩)時(shí),求梯度及海瑟矩陣會(huì)比較困難,這時(shí)牛頓法不是好的選擇。
4.結(jié)論
MM算法優(yōu)點(diǎn)在于適用范圍較廣,能避免矩陣求逆運(yùn)算,縮短計(jì)算時(shí)間;牛頓法優(yōu)點(diǎn)在于收斂速度快,缺點(diǎn)是需要進(jìn)行矩陣求逆運(yùn)算。處理具體問(wèn)題時(shí),可以綜合他們的優(yōu)點(diǎn),揚(yáng)長(zhǎng)避短,利用MM算法適用范圍廣的特點(diǎn),構(gòu)造上界函數(shù),在上界函數(shù)中用牛頓法加速,提高計(jì)算速度,這不失為一種好的策略。
(作者單位:長(zhǎng)春工業(yè)大學(xué)基礎(chǔ)科學(xué)學(xué)院)