動態(tài)權(quán)重證據(jù)推理規(guī)則的CNN超參數(shù)質(zhì)量評估

李紅宇，黃志鵬，張廣玲，賀 維,2

1(哈爾濱師范大學(xué) 計(jì)算機(jī)科學(xué)與信息工程學(xué)院，哈爾濱 150025)

2(中國人民解放軍火箭軍工程大學(xué)，西安 710025)

1 引 言

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)在圖像分類[1]，目標(biāo)檢測[2]，行為識別[3]等計(jì)算機(jī)視覺領(lǐng)域中具有廣泛的應(yīng)用.從成功識別手寫數(shù)字的Lenet-5[4]到2012在ImageNet比賽中取得冠軍的AlexNet[5]，到2014年在ImageNet比賽中獲得冠軍的GoogLeNet[6]，再到近年來表現(xiàn)出色的Densnet[7]等，CNN處理圖像的能力越來越強(qiáng)大.然而，隨著CNN結(jié)構(gòu)復(fù)雜度不斷提高，網(wǎng)絡(luò)內(nèi)部的參數(shù)量不斷增長，導(dǎo)致模型的訓(xùn)練的時(shí)間也大幅提高，雖然計(jì)算機(jī)的信息處理能力越來越強(qiáng)大，但目前對于CNN來說還遠(yuǎn)遠(yuǎn)不夠[8].在對CNN模型訓(xùn)練時(shí)，由于模型訓(xùn)練周期過長導(dǎo)致超參數(shù)調(diào)整需要花費(fèi)大量的時(shí)間，超參數(shù)調(diào)整依賴于專業(yè)知識和長期經(jīng)驗(yàn)的積累[9].因此，迫切需要一種可以提前評估超參數(shù)質(zhì)量的方法，為模型訓(xùn)練節(jié)約參數(shù)調(diào)整時(shí)間.

參數(shù)評估是一直以來的研究熱點(diǎn).文獻(xiàn)[10]提出一種基于out-of-bag樣本估計(jì)的隨機(jī)森林超參數(shù)估計(jì)方法，并通過實(shí)驗(yàn)證明選取的超參數(shù)能使隨機(jī)森林算法的分類到達(dá)最優(yōu).文獻(xiàn)[11]使用貝葉斯最大后驗(yàn)概率估計(jì)方法計(jì)算貝葉斯網(wǎng)絡(luò)參數(shù)值，提高了貝葉斯網(wǎng)絡(luò)的學(xué)習(xí)精度.文獻(xiàn)[12]提出雙重約束的貝葉斯網(wǎng)絡(luò)參數(shù)估計(jì)方法，該方法對貝葉斯網(wǎng)絡(luò)參數(shù)劃分為兩類，分別使用基于Beta分布擬合的貝葉斯估計(jì)方法和回歸估計(jì)方法，最后實(shí)驗(yàn)證明了該方法對提高參數(shù)學(xué)習(xí)精度的有效性.針對模型響應(yīng)不確定性的穩(wěn)健參數(shù)設(shè)計(jì)問題，文獻(xiàn)[13]利用貝葉斯超參數(shù)最大后驗(yàn)估計(jì)方法獲得了最優(yōu)參數(shù)組合.在小數(shù)據(jù)樣本的情況下，文獻(xiàn)[14]提出了一種使用變分貝葉斯估計(jì)的新模型，該方法的估計(jì)精度高于期望最大化方法和精確貝葉斯方法.文獻(xiàn)[15]提出了一種通過傾斜或重新加權(quán)的判別式綜合似然估計(jì)方法，該方法與傳統(tǒng)的固定權(quán)重的合成似然方法相比，數(shù)據(jù)自適應(yīng)權(quán)重使不相容模型下的參數(shù)估計(jì)更穩(wěn)定.以上的方法在不同參數(shù)評估問題研究中都取得較好的效果，但是還不能有效解決數(shù)據(jù)存在模糊性的問題.CNN的超參數(shù)一般由參數(shù)調(diào)整人員的長期經(jīng)驗(yàn)及專業(yè)知識判斷而來，數(shù)據(jù)存在不確定性與模糊性，鑒于此，本文提出基于證據(jù)推理規(guī)則的CNN超參數(shù)質(zhì)量評估模型.

據(jù)推理規(guī)則(Evidential Reasoning Rule，ER Rule)是在Dempster-Shafer證據(jù)理論[16]及貝葉斯推理的基礎(chǔ)上的進(jìn)一步擴(kuò)展，克服了傳統(tǒng)貝葉斯理論對先驗(yàn)知識或條件概率的依賴，使用限制條件更少，能夠有效處理各類不確定性問題，并且在系統(tǒng)評估中有廣泛的應(yīng)用[17-19].面對輸油管道的傳感器數(shù)據(jù)存在不確定問題，文獻(xiàn)[20]提出了一種基于證據(jù)推理規(guī)則的帶預(yù)警函數(shù)的安全評估方法，該方法運(yùn)用了最大偏差的權(quán)重系數(shù)計(jì)算方法為指標(biāo)自適應(yīng)分配權(quán)重，最后獲取了比其他方法更準(zhǔn)確的管道安全性評估結(jié)果.為了評估了電動汽車的使用壽命，文獻(xiàn)[21]提出了一種考慮區(qū)間權(quán)重、專家和證據(jù)的可靠性的證據(jù)推理規(guī)則評估方法.文獻(xiàn)[22]利用了證據(jù)推理規(guī)則對不確定信息的處理能力實(shí)現(xiàn)電力質(zhì)量的在線評估.文獻(xiàn)[23]利用了證據(jù)推理規(guī)則準(zhǔn)確地評估了網(wǎng)絡(luò)的安全等級.針對于科學(xué)基金項(xiàng)目立項(xiàng)評估，文獻(xiàn)[24]提出了一種利用歷史評估準(zhǔn)確性度量專家提供信息可靠性的證據(jù)推理規(guī)則評估方法，該方法與其他方法相比更加具有針對性及合理性.證據(jù)推理規(guī)則在多領(lǐng)域的評估問題上具有廣泛的應(yīng)用，得益于它本身的強(qiáng)大證據(jù)組合能力和不確定性推理的優(yōu)勢，在面對多指標(biāo)或數(shù)據(jù)具有模糊性的評估問題仍有強(qiáng)大的處理能力.本文由此提出運(yùn)用證據(jù)推理規(guī)則實(shí)現(xiàn)CNN的超參數(shù)評估，首先提取對CNN模型有較明顯影響的超參數(shù)并且轉(zhuǎn)換為置信度或概率，然后初始化證據(jù)的權(quán)重及可靠度，最后通過證據(jù)推理規(guī)則融合所有的證據(jù)獲得最終的評估結(jié)果.

本文的組織結(jié)構(gòu)如下：在第2節(jié)中，描述了CNN的訓(xùn)練搭建過程及CNN的超參數(shù)評估問題；第3部分介紹了基于證據(jù)推理規(guī)則的CNN超參數(shù)評估模型，定義了數(shù)據(jù)的置信轉(zhuǎn)換過程、模型的推理過程；第4部分通過案例分析驗(yàn)證模型的有效性；第5部分對本文研究內(nèi)容進(jìn)行總結(jié).

2 問題描述

在CNN的訓(xùn)練任務(wù)中，首先需要設(shè)計(jì)CNN的網(wǎng)絡(luò)結(jié)構(gòu)，確定CNN的卷積核的大小、卷積層和池化層的組合層數(shù)與全連接層的層數(shù)等；然后需要對訓(xùn)練模型的超參數(shù)進(jìn)行初始化，最后輸入數(shù)據(jù)，對模型進(jìn)行訓(xùn)練，具體過程如圖1所示.

圖1 CNN訓(xùn)練過程圖

本文針對CNN超參數(shù)質(zhì)量問題，使用證據(jù)推理規(guī)則對CNN超參數(shù)質(zhì)量評估進(jìn)而實(shí)現(xiàn)對CNN質(zhì)量的評估.在基于證據(jù)推理規(guī)則的CNN參數(shù)評估模型中，首先，需要對CNN的超參數(shù)實(shí)現(xiàn)“超參數(shù)到證據(jù)”的演變，所有的超參數(shù)都必須轉(zhuǎn)換為相對于其參考值的置信度或概率；然后，通過專家知識獲取證據(jù)的可靠度和通過計(jì)算獲得證據(jù)的權(quán)重；最后，通過正交融合獲得相對各評估等級的支持信度進(jìn)而通過等效轉(zhuǎn)換計(jì)算出評估等級.下面定義了兩個(gè)假設(shè)實(shí)現(xiàn)對該評估問題的描述.

假設(shè)en為證據(jù)推理規(guī)則里的第n條證據(jù)，它是由CNN里的第n個(gè)超參數(shù)數(shù)值xn經(jīng)過相對于其參考值轉(zhuǎn)換為置信度或概率而來，過程可以由式(1)描述：

xn→en

(1)

因此，當(dāng)超參數(shù)的評估等級劃分為I個(gè)等級時(shí)，N個(gè)超參數(shù)轉(zhuǎn)換為N條證據(jù)的集合Φ可以由式(2)表示：

(2)

假設(shè)使用證據(jù)推理規(guī)則對不同證據(jù)的融合結(jié)果為y(x)，則其評估過程可以由式(3)描述：

y(x)=f(Φ,δ)

(3)

式中，f(*)代表非線性變換，δ代表f(*)的參數(shù)集.

3 基于證據(jù)推理規(guī)則的參數(shù)評估模型

3.1 評估體系的構(gòu)建

在CNN訓(xùn)練任務(wù)中，選取合理的網(wǎng)絡(luò)結(jié)構(gòu)以后，通過對CNN的訓(xùn)練結(jié)果進(jìn)行分析，大致可用分為以下幾種情況：CNN網(wǎng)絡(luò)的收斂性、CNN網(wǎng)絡(luò)模型泛化能力和CNN網(wǎng)絡(luò)的訓(xùn)練充分性.根據(jù)上述3種情況，深入分析每種情況由哪些超參數(shù)影響，并建立一個(gè)完整的指標(biāo)體系，如圖2所示.由于含有不同類型的超參數(shù)，因此面對不同的類型的超參數(shù)需要運(yùn)用不同的方式建立評價(jià)等級.當(dāng)超參數(shù)為定量數(shù)據(jù)時(shí)，則各評價(jià)等級將由行業(yè)專家知識判斷并給出其參考值，再就計(jì)算其概率或置信度；當(dāng)超參數(shù)為定性數(shù)據(jù)時(shí)，則其評價(jià)由專家知識根據(jù)評價(jià)的等價(jià)劃分給出每一等價(jià)的概率；當(dāng)超參數(shù)為區(qū)間定量類型時(shí)，則需要根據(jù)超參數(shù)對CNN模型的影響程度劃分成不同的等級，并由專家知識給出各區(qū)間的概率.同時(shí)為了更加直觀的看出超參數(shù)評價(jià)等級的差別，將以ηi(i=1,…,I)表示.

圖2 CNN超參數(shù)評估指標(biāo)體系圖

3.2 指標(biāo)置信度與權(quán)重的構(gòu)建

在證據(jù)推理規(guī)則中，每一條證據(jù)都是相對于評價(jià)等級的置信度或概率的形式，因此，所有的CNN參數(shù)都需要在其評價(jià)等級上進(jìn)行轉(zhuǎn)換.證據(jù)的權(quán)重對證據(jù)的融合有著關(guān)鍵性的作用，很大程度上反映著證據(jù)的重要程度.

3.2.1 指標(biāo)置信度的構(gòu)建

在CNN的訓(xùn)練過程中的參數(shù)包含了定量類型的超參數(shù)、定性類型的參數(shù)與區(qū)間定量類型超參數(shù)，而證據(jù)推理可以有效地描述帶有不確定的輸入信息，并實(shí)現(xiàn)證據(jù)的定量表達(dá).不同類型的超參數(shù)需要區(qū)分開，分別利用不同的方法轉(zhuǎn)為置信度或概率.

1)定量超參數(shù)轉(zhuǎn)換

假設(shè)輸入的超參數(shù)xm的數(shù)值為xm,i，通過專家知識對該超參數(shù)分析給出對應(yīng)的所有評價(jià)等級的參考值Bm,i(i=1,…,I)，其中I表示參考值的數(shù)量.對于最大參考值Bm,i+1和最小參考值Bm,l，參數(shù)可以通過公式(4)計(jì)算其置信分布pm,i：

(4)

式中，一個(gè)參數(shù)值相對于其各參考值所轉(zhuǎn)換的置信度應(yīng)滿足∑pm,i=1,i=1,…,I.

2)定性超參數(shù)轉(zhuǎn)換

假設(shè)輸入的定性超參數(shù)xm的數(shù)值為xm,j，通常是由專家或決策者根據(jù)該超參數(shù)在CNN的重要性進(jìn)行主觀判斷，給出對應(yīng)的評價(jià)等價(jià)的置信度pm,i.則該超參數(shù)相對各評價(jià)等價(jià)的置信度構(gòu)成的集合Ω可以由式(5)表示：

Ω={(η1,pm,i),…,(ηi,pm,i)}

(5)

式中，ηi表示第i個(gè)評價(jià)等級，并且滿足∑pm,i=1,i=1,…,I.

若“是否數(shù)據(jù)增強(qiáng)”可由“優(yōu)、良、中、差”4種定性信息而表示，當(dāng)輸入信息為已數(shù)據(jù)增強(qiáng)時(shí)，則由專家知識分析可以表示為{(優(yōu)，0.4),(良,0.6),(中，0)，(差，0)}.

3)區(qū)間定量超參數(shù)轉(zhuǎn)換

假設(shè)區(qū)間定量超參數(shù)xm在多個(gè)的區(qū)間內(nèi)對CNN訓(xùn)練的模型質(zhì)量的影響程度一致，根據(jù)專家知識對該超參數(shù)的評估等級進(jìn)行劃分為I個(gè)，再由專家或決策者根據(jù)該超參數(shù)在CNN的重要性進(jìn)行主觀判斷，根據(jù)不同的區(qū)間給出對應(yīng)的評價(jià)等價(jià)的置信度pm,i.則該類型的超參數(shù)的數(shù)值xm,n的具體轉(zhuǎn)換為置信度或概率的方式可以由式(6)描述：

xm,n→Qi→Pm,i

(6)

其中，xm.n→Qi表示參數(shù)值xm,n屬于參數(shù)參考區(qū)間Qi，Qi表示為超參數(shù)的第i個(gè)參考區(qū)間;Qi→Pm,i表示參考區(qū)間Qi的置信度為pm,i，并且∑pm,i=1,i=1,…,I.

3.2.2 動態(tài)權(quán)重的構(gòu)建

權(quán)重對于多指標(biāo)的評估模型是至關(guān)重要，它反映著決策者對各指標(biāo)的主觀偏好.在傳統(tǒng)的指標(biāo)權(quán)重設(shè)置中，一旦使用某種方法確定以后就會保持不變[20].但是，若在某項(xiàng)評估中，存在多個(gè)指標(biāo)對評估結(jié)果都起著“一旦該指標(biāo)為較差等級，最終結(jié)果就為差”的作用，就有可能由于該指標(biāo)權(quán)重初始為較小的比重，使得最終的綜合評估沒有達(dá)到預(yù)期.在CNN超參數(shù)質(zhì)量評估中，通過各超參數(shù)對CNN質(zhì)量的影響分析，存在上述情況，所以靜態(tài)權(quán)重方法不適合CNN參數(shù)質(zhì)量評估.

因此，本文提出一種獎(jiǎng)罰策略方法實(shí)現(xiàn)對各指標(biāo)權(quán)重實(shí)現(xiàn)動態(tài)更新，把各超參數(shù)對CNN的質(zhì)量影響程度考慮到指標(biāo)的權(quán)重設(shè)計(jì)，具體流程如圖3所示.具體的實(shí)現(xiàn)步驟如下：

圖3 權(quán)重更新流程圖

步驟1.1.根據(jù)超參數(shù)對CNN質(zhì)量的影響程度，利用專家知識對其進(jìn)行劃分為D個(gè)等級.

步驟2.超參數(shù)指標(biāo)輸入

步驟3.判斷輸入的超參數(shù)指標(biāo)的評估等級是否為“優(yōu)等”，若是，則直接輸出到證據(jù)推理規(guī)則評估模型；若否，則進(jìn)行指標(biāo)的權(quán)重更新.

步驟4.判斷指標(biāo)對CNN質(zhì)量的影響等級.

步驟5.計(jì)算指標(biāo)的權(quán)重，則第m個(gè)指標(biāo)的權(quán)重變化由式(7)計(jì)算.

(7)

其中，∑wm=1，m=1,…,M，Hd則表示超參數(shù)對CNN的質(zhì)量影響程度等級，ηi表示超參數(shù)的評估等級.

3.3 模型推理

為了解決CNN訓(xùn)練中超參數(shù)調(diào)整的問題，本文提出了一種基于證據(jù)推理規(guī)則的超參數(shù)評估模型.CNN的網(wǎng)絡(luò)模型訓(xùn)練結(jié)果受多個(gè)超參數(shù)的影響，并且影響的程度不一致，存在一定的模糊性.本節(jié)利用ER規(guī)則對這些參數(shù)進(jìn)行評估與融合，最終得到評估的結(jié)果.而該評估模型的設(shè)計(jì)實(shí)現(xiàn)過程如圖4所示.具體的實(shí)現(xiàn)步驟如下：

圖4 超參數(shù)評估模型結(jié)構(gòu)圖

步驟1.提取可影響CNN質(zhì)量的不同超參數(shù)xn(n=1,…,N)，根據(jù)專家知識進(jìn)行判斷出其閾值區(qū)間，并設(shè)置其I個(gè)評估等級Θ={η1,η2,…,ηI}，然后按照超參數(shù)的類型分類由3.2.1節(jié)的置信度轉(zhuǎn)換方法轉(zhuǎn)換為置信度或概率.每一個(gè)超參數(shù)都需要經(jīng)過轉(zhuǎn)換為置信度或概率，即為證據(jù)推理規(guī)則里的一條證據(jù)，其中第n條證據(jù)en可以由式(8)表示：

en={(ηi,pi,n);(Θ,pΘ,n)}

(8)

式中，pi,n表示第n個(gè)參數(shù)在其評估等級中評估為ηi的置信度，pΘ,n表示全局無知.

步驟2.首先，超參數(shù)根據(jù)對CNN質(zhì)量的影響程度劃分，并以此為依據(jù)更新證據(jù)的權(quán)重wn(0≤wn≤1;n=1,…,N)，具體如3.2.2節(jié)所述.然后，根據(jù)專家知識或決策者的主觀判斷證據(jù)的可靠性因子reln(0≤reln≤1;n=1,…,N).最后，可根據(jù)公(9)計(jì)算各證據(jù)的加權(quán)信度分布:

massn={(η,massη,n),?η?Θ,(p(Θ),massp(Θ),n)}

(9)

其中，massη,n表示第n個(gè)參數(shù)在其評估等級中評估為ηi并考慮其權(quán)重及可靠性的支持程度；λrelw,n表示歸一化系數(shù)，由證據(jù)的權(quán)重wn及證據(jù)的可靠度reln決定，其計(jì)算方式如公式(10)所示，保證了∑η?Θmassη,n+massp(Θ),n=1的成立.

λrelw,n=1/(1+wn-reln)

(10)

步驟3.通過式(11)-式(13)對N條證據(jù)的加權(quán)信度分布進(jìn)行正交合成，合成以后對評估等級η的支持信度可以由式(14)表示.

massη,e(n)=[mass1⊕…⊕mN](η)

(11)

massp(Θ),e(n-1)massη,n]+∑B∩D=ηmassB,e(i-1)massD,n

(12)

(13)

(14)

4 案例分析

為了驗(yàn)證基于證據(jù)推理規(guī)則的超參數(shù)評估模型的有效性，本文采用了在百度AI Studio平臺上公開的數(shù)據(jù)集Flower、數(shù)據(jù)集Vegetable和數(shù)據(jù)集CIFAR-10作為CNN的訓(xùn)練數(shù)據(jù)集，具體信息如表1所示.在3個(gè)圖像數(shù)據(jù)集中分別隨機(jī)選取每種分類的80%圖像作為CNN的訓(xùn)練集，20%作為最終CNN模型的測試集.本次實(shí)驗(yàn)中的CNN的訓(xùn)練及驗(yàn)證均采用了百度的開源框架PaddlePaddle，于百度的AI Studio平臺上采用GPU算力運(yùn)行，而CNN超參數(shù)質(zhì)量評估的過程則在MATLAB上完成.其中Flower數(shù)據(jù)集與Vegetable數(shù)據(jù)集采用VGG結(jié)構(gòu)、CIFAR-10數(shù)據(jù)集采用Resnet結(jié)構(gòu).此外，實(shí)驗(yàn)中分別選取42組各不一致的、并由不同數(shù)值的6個(gè)超參數(shù)構(gòu)成的數(shù)據(jù)作為CNN質(zhì)量模型的測試數(shù)據(jù)，而且每一個(gè)參數(shù)的數(shù)值都在該參數(shù)的閾值區(qū)間內(nèi)，各超參數(shù)閾值區(qū)間具體如表2所示.此外，在本次實(shí)驗(yàn)中采用了4種優(yōu)化函數(shù)，分別為Momentum優(yōu)化函數(shù)、Root Mean Square Prop優(yōu)化函數(shù)、Adaptive Moment Estimation優(yōu)化函數(shù)、Stochastic Gradient Descent優(yōu)化函數(shù)，并分別用表示.

表1 數(shù)據(jù)集詳情表

表2 超參數(shù)及其閾值區(qū)間

4.1 構(gòu)建超參數(shù)評估指標(biāo)

本文將CNN質(zhì)量分為4個(gè)等級，從高到低分別為優(yōu)秀、良好、中等、差，使用集合U={η1,η2,η3,η4}表示，CNN質(zhì)量的等級由所有的CNN訓(xùn)練參數(shù)指標(biāo)經(jīng)證據(jù)推理規(guī)則融合判定.具體的評估步驟如下：

1)確定所有對CNN質(zhì)量有影響的超參數(shù).本文經(jīng)過對CNN訓(xùn)練分析，得出由6個(gè)超參數(shù)評估因素集X={x1,x2,…,x6}，并分析其閾值區(qū)間.

2)確定每一個(gè)超參數(shù)的評價(jià)等級.本文中的每一個(gè)超參數(shù)都采用4個(gè)評價(jià)等級U={η1,η2,η3,η4}，并經(jīng)過領(lǐng)域?qū)＜业慕?jīng)驗(yàn)確定各超參數(shù)在不同評價(jià)等級下的參考范圍.并且，每一個(gè)超參數(shù)的數(shù)值在對應(yīng)等級的參考值下利用3.2.1節(jié)的方法轉(zhuǎn)換為置信度或概率.

3)綜合各個(gè)超參數(shù)質(zhì)量對CNN質(zhì)量等級評估.利用3.3節(jié)的步驟2和步驟3的方法融合各超參數(shù)指標(biāo)，實(shí)現(xiàn)對CNN質(zhì)量的評估.相應(yīng)的等級指標(biāo)結(jié)果說明如表3所示.

表3 CNN質(zhì)量評價(jià)等級及結(jié)果分析

4.2 實(shí)驗(yàn)結(jié)果分析

4.2.1 多數(shù)據(jù)集實(shí)驗(yàn)及分析

實(shí)驗(yàn)采用3個(gè)不同數(shù)據(jù)集各42組超參數(shù)集作為CNN超參數(shù)質(zhì)量評估模型的數(shù)據(jù)輸入，每一組的超參數(shù)的數(shù)值都不一致且都在其閾值區(qū)間以內(nèi)，并且根據(jù)數(shù)據(jù)的類型先通過3.2.1節(jié)的超參數(shù)轉(zhuǎn)換方法計(jì)算其相對于評估等級的參考值的置信度或概率，最終成為證據(jù)推理規(guī)則的證據(jù).證據(jù)的可靠度與權(quán)重分別由行業(yè)專家給出和3.2.2節(jié)的動態(tài)權(quán)重更新方法計(jì)算.不同的超參數(shù)轉(zhuǎn)化的證據(jù)經(jīng)過證據(jù)推理規(guī)則的融合以后，得到的結(jié)果為每一個(gè)評估等級的支持信度.為了更加直觀看出評估的等級，采用了等效轉(zhuǎn)換的方法，各評價(jià)等級的等價(jià)轉(zhuǎn)換值如表4所示.若各超參數(shù)指標(biāo)經(jīng)過證據(jù)推理規(guī)則的融合以后的結(jié)果為{(η1,p1),(η2,p2),(η3,p3),(η4,p4)}，則最后的評估結(jié)果可以通過式(15)計(jì)算：

表4 評價(jià)等級及其等價(jià)值

result=η1p1+η2p2+η3p3+η4p4

(15)

當(dāng)result與哪一個(gè)評價(jià)等級的等價(jià)值最靠近，則當(dāng)前評估則為該評價(jià)等級.

Flower、Vegetable和CIFAR-10 3個(gè)不同的數(shù)據(jù)集的超參數(shù)經(jīng)過模型的評估得出的結(jié)果與CNN的實(shí)際測試結(jié)果對比，分別獲得了90.4%、92.8%、90.4%的準(zhǔn)確率，具體如表5所示，證明了在不同數(shù)據(jù)集的CNN上可建立證據(jù)推理規(guī)則的CNN超參數(shù)評估模型，獲得高評估精度從而節(jié)省超參數(shù)調(diào)整數(shù)據(jù).此外，本次實(shí)驗(yàn)中的CNN訓(xùn)練在采用GPU訓(xùn)練的情況下，數(shù)據(jù)集Flower、vegetable、CIFAR-10每50次迭代分別需要大約41分鐘、8分鐘和61分鐘，由于超參數(shù)的設(shè)置都是未知的結(jié)果，依靠手工調(diào)整超參數(shù)難以一次就能獲取到較好的超參數(shù)，必然需要花費(fèi)大量的時(shí)間.若把超參數(shù)先于CNN超參數(shù)質(zhì)量評估模型進(jìn)行評估，過濾劣質(zhì)超參數(shù)，根據(jù)評估結(jié)果再做適當(dāng)?shù)奈⒄{(diào)，則可以有效的避免花費(fèi)大量時(shí)間調(diào)整超參數(shù).

表5 不同數(shù)據(jù)集的評估準(zhǔn)確率

4.2.2 對比實(shí)驗(yàn)及分析

為了驗(yàn)證證據(jù)推理規(guī)則在CNN超參數(shù)評估的突出能力，本文采用了K-近鄰(k-Nearest Neighbor，KNN)算法、極限學(xué)習(xí)機(jī)(Extreme Learning Machine，ELM)算法和隨機(jī)森林(Random Forest，RF)算法4種方法的評估結(jié)果作為對比.實(shí)驗(yàn)結(jié)果表明，證據(jù)推理規(guī)則的評估模型獲得了最高的評估準(zhǔn)確率，證據(jù)推理規(guī)則方法評估及其他方法評估的準(zhǔn)確率如表6所示和擬合圖如圖5-圖7所示.由圖可知：

圖5 Flower數(shù)據(jù)集的4種方法對比圖

圖6 Vegetable數(shù)據(jù)集的4種方法對比圖

圖7 CIFAR-10數(shù)據(jù)集的4種方法對比圖

表6 3個(gè)數(shù)據(jù)集4種方法的評估準(zhǔn)確率

1)使用證據(jù)推理規(guī)則方法對CNN參數(shù)質(zhì)量評估曲線與真實(shí)CNN測試結(jié)果分布點(diǎn)基本擬合，存在極少數(shù)點(diǎn)由于靠近兩個(gè)評估等級臨界點(diǎn)導(dǎo)致出現(xiàn)偏差，但沒有出現(xiàn)與真實(shí)結(jié)果相差過大的情況.

2)KNN、ELM和RF算法與真實(shí)結(jié)果對比也取得了不錯(cuò)的效果，但這3種算法都依賴于數(shù)據(jù)，完全由數(shù)據(jù)驅(qū)動，在缺少有效的數(shù)據(jù)訓(xùn)練時(shí)難以判斷出超參數(shù)的最終評估等級.

5 總 結(jié)

本文以CNN模型的訓(xùn)練過程中超參數(shù)調(diào)整問題為切入點(diǎn)，對其進(jìn)行深入研究，并提出了基于證據(jù)推理規(guī)則的超參數(shù)質(zhì)量評估模型.在研究過程中，根據(jù)CNN訓(xùn)練的具體情況，構(gòu)建了CNN超參數(shù)質(zhì)量評估的指標(biāo)體系；根據(jù)各超參數(shù)對CNN質(zhì)量的影響，提出了動態(tài)的指標(biāo)權(quán)重；最后利用了證據(jù)推理規(guī)則對不同參數(shù)指標(biāo)融合進(jìn)行綜合評估.該評估模型在3個(gè)CNN圖像分類任務(wù)上均獲得了超過90%的評估準(zhǔn)確率，證明了該模型的有效性，在與KNN、ELM和RF方法的對比中，證據(jù)推理規(guī)則也獲得了最高的評估準(zhǔn)確率，證明了證據(jù)推理規(guī)則在CNN超參數(shù)評估的優(yōu)秀能力.基于證據(jù)推理規(guī)則的超參數(shù)質(zhì)量評估模型相對于數(shù)據(jù)驅(qū)動方法對數(shù)據(jù)依賴性更小，能夠?yàn)镃NN網(wǎng)絡(luò)模型訓(xùn)練任務(wù)中的超參數(shù)調(diào)整提供輔助決策，從而節(jié)省更多的模型訓(xùn)練時(shí)間.