多粒度融合的模糊規則系統圖像特征學習

馬 翔，鄧趙紅，王士同

江南大學數字媒體學院，江蘇無錫214122

圖像特征學習是計算機視覺和機器學習領域的重要研究內容，計算機視覺中的很多任務如圖像分類、目標檢測、圖像分割等都會將通過各種不同的特征學習方法來表示圖像作為初始步驟，然后利用其他手段完成各自的目標。圖像特征的提取，不僅直接影響后續圖像分類、檢測等相關任務的精確度，甚至關系到分類和檢測算法的可行性。由于圖像包含的信息差別很大，并且自身易受光照、形變、遮擋等因素的干擾，因此設計一種有效的圖像特征表示方法是十分困難的。根據已有研究，常用的圖像特征學習方法主要分為基于手工提取特征的方法、基于子空間學習的方法和基于深度學習的方法。

基于手工提取特征的方法包括基于全局特征提取和基于局部特征提取的這兩種圖像表示方法。圖像的全局特征往往包括圖像的形狀、顏色、紋理等這些信息。最具有代表性的全局特征提取的方法有、方向梯度直方圖（histogram of oriented gradient，HOG）[1]、局部二值模式（local binary patterns，LBP）[2]、顏色直方圖[3]等，這些方法可以快速抽取圖像的上下文信息。局部特征可以靈活地描述圖像的細節以及內部信息，針對原始圖像的局部特征，研究者基于詞袋模型（bag of words）[4]提出了許多特征提取方法，例如軟量化算法[5-6]、局部約束線性編碼算法[7]、空間金字塔算法[8]等。但是基于手工提取圖像特征的方法對圖像旋轉、縮放以及亮度變化過于敏感，并且由于圖像具有數據量大、維度高等特點，使得手工特征的設計和提取過程十分困難，不能直接應用于當前的高維圖像分析和處理[9]。

基于子空間學習的圖像特征學習方法是為了尋找一個映射將特征從高維空間變換到低維空間，并利用數據潛在的幾何結構信息。研究者認為高維圖像數據實際上是位于高維空間的低維線性子空間或者低維非線性流形上的。常見的子空間學習技術有主成分分析（principal component analysis，PCA）[10]、線性判別分析（linear discriminant analysis，LDA）[11]、獨立成分分析（independent components analysis，ICA）[12]等。上述方法假設從原始空間變換到低維空間的函數映射是線性的，而復雜的圖像數據往往是需要非線性映射才能找到適當的低維嵌入。針對該類問題，常用的方式是在線性降維的基礎上，使用核方法[13]。核方法通過使用核函數將待數據從原始空間映射到高維空間中，這樣可以將線性子空間學習方法推廣為非線性方法，如核偏最小二乘法[14]、核主成分分析（kernel principal component analysis，KPCA）[15]、核判別分析[16]等。但是關于核方法的選擇存在著很多不足，尤其是如何選擇合適的核函數和相關參數，都會影響特征學習的效果。

近幾年來，深度學習方法作為機器學習的一個研究方向受到廣泛關注。該方法通過組合低層特征獲取更抽象、更有效的高層語義信息，以發現數據的不同特征表示[17]。研究者們對深度學習進行了深入的研究，提出各種不同架構的深度學習方法。Hinton等提出深度置信網絡[18]（deep belief networks，DBN），能夠提取圖像高級別視覺特征。Christian 等提出深度神經網絡（deep neural networks，DNN），可以提取圖像幾何信息獲得較好分類效果，但模型容易過擬合以及計算量較大。Christian 等又提出卷積神經網絡（convolutional neural networks，CNN），該類網絡具有網絡參數較少和簡化訓練的優點，被廣泛應用于計算機視覺領域中[19]，并衍生很多結構模型[20-22]。對于深度神經網絡方法來說，雖然具有強大的假設空間，但需要大規模的數據驅動，當數據量較小時，神經網絡往往并不能取得令人滿意的效果。此外，神經網絡通常需要利用反向傳播[23]算法訓練，在網絡較深的情況下，會出現梯度消失，使得收斂很慢，導致模型訓練時間很長。一般情況下，神經網絡通常采用隨機梯度下降（stochastic gradient descent，SGD）[24]方法來學習。然而，學習一個對分類有用的網絡非常依賴于參數調優和一些特殊技巧的專業知識。特別地，神經網絡通常被視為是一個黑盒模型，解釋性較差，這也限制了其在解釋性要求較高領域的應用。

為了克服上述現有圖像特征方法的缺點，本文提出了多粒度融合的模糊規則系統圖像特征學習方法（multi-grained fusion image feature learning with fuzzy rule system，MGFIFL-FR）。該方法有效地綜合了基于規則的模糊系統的可解釋性優點和基于學習的特征學習方法可以自動抽取抽象特征的特點。具體地，本文首先將基于模糊規則的模糊推理TSK 模糊系統（Takagi-Sugeno-Kang fuzzy system，TSK-FS）[25-27]作為一種直觀的、易于解釋的特征學習模型，然后通過定義特定的特征學習目標準則優化TSK 模糊系統參數，進而得到可利用規則解釋的特征抽取模型。本文還通過多粒度窗口掃描策略，融合多個粒度下TSK-FS 圖像特征學習提取的特征，使得特征抽取能力進一步提升。

MGFIFL-FR 具有以下優點：首先與手工提取特征的方法相比，MGFIFL-FR 可以自動地進行特征學習從而提取到不同的特征；與子空間學習的方法相比，不需要選擇復雜的核函數就可以實現從原始空間到高維空間的非線性變換；與深度神經網絡相比，其不依賴于大規模數據，在不同規模的數據集上均表現出較好的有效性；此外，MGFIFL-FR 是基于規則和推理來實現特征抽取，因而特征抽取的過程具有較好的解釋性。

本文的主要貢獻可概括如下：

（1）不同于經典的TSK-FS 通常用于分類和回歸任務，本文把TSK-FS 視為一個特征抽取模型用于圖像特征的抽取。進而提出了一種新的多粒度融合的模糊規則系統圖像特征學習方法（MGFIFL-FR）。

（2）為了利用TSK-FS 實現特征學習，本文對于TSK-FS 的前件參數基于確定性聚類算法（Var-Part）進行估計，避免了傳統的基于聚類的前件參數估計的初始化敏感性問題。對于TSK-FS 的后件參數，利用LDA 的目標函數進行優化，進而使得訓練的TSKFS 能夠實現具有可解釋性的原始圖像數據的非線性特征抽取。

（3）通過引入多粒度窗口掃描策略，融合多個粒度下TSK-FS 圖像特征學習提取的特征，使得特征抽取能力進一步提升。

（4）對不同規模的圖像數據集進行了廣泛的實驗，實驗結果表明在不同尺度的數據上，本文所提方法均表現出了較好的有效性。

1 TSK 模糊系統

模糊系統[28]是一種基于模糊規則知識和基于模糊邏輯推理的系統。它基于Zadeh 博士在1965 年名為“模糊集合”[29]的文章創立的模糊理論，通過運用模糊集合和模糊隸屬度函數，可將人類的自然語義直譯成計算機可識別的機器語言。由于模糊系統具有強大的學習能力和較好的可解釋性，其越來越多地被應用到人工智能的各個領域，如模式識別、智能控制、數據挖掘、圖像處理等。其中TSK 型模糊系統[28,30]為目前最流行的模糊系統模型之一。本文將以TSK模糊系統為基礎模型來探討圖像特征學習，現將其簡介如下。

TSK-FS 包含一個模糊規則庫，其中的模糊規則可表示如下：

其中，x=[x1,x2,…,xd]T為輸入向量，為規則k中特征i對應的模糊集，∧為模糊合取操作。當TSK 型模糊系統采用乘合取算子、乘蘊含算子、加法組合算子和重心反模糊化操作時，最終輸出可表示為：

其中，μAki(xi)是xi對模糊集的隸屬度[31]，μk(x)為規則k的觸發強度。在本文采用高斯函數表示模糊隸屬度：

當模糊規則的前件參數固定之后，TSK-FS 可以被重新表示為一個模糊規則張成的新特征空間的線性模型[34-35]。其細節說明如下。令：

其中，xg∈RK(d+1)×1為原始特征向量x∈Rd×1映射到新特征空間之后對應的特征向量。pg為所有規則后件參數的組合。

評論：TSK-FS 已經廣泛地應用于分類和回歸任務。通過有標注數據集和監督學習方法對TSK-FS系統訓練將得到基于規則的可解釋預測模型。不同于經典的TSK-FS 分類和回歸預測模型構建，本文將把TSK-FS 用于特征抽取任務，實現基于規則的具有較好可解釋性的圖像特征抽取。

2 多粒度融合的模糊規則系統圖像特征學習

本章將提出一種多粒度融合的模糊規則系統圖像特征學習算法MGFIFL-FR。該算法通過多輸出TSK-FS 的前件部分實現非線性變換來生成隱特征，隱空間的轉換提供了非線性特征學習能力，同時還具有良好的可解釋性。MGFIFL-FR 通過多組后件參數生成不同的新特征。該模型利用不同大小粒度的窗口進行掃描，將學到的特征進行融合，使得特征學習能力進一步提升。

2.1 模型結構

本文提出的方法主要包括三大模塊：多粒度掃描、TSK-FS圖像特征學習和特征輸出模塊。圖1展示了包含三個粒度掃描的TSK圖像特征學習的MGFIFLFR 整體結構。

Fig.1 Architecture of MGFIFL-FR圖1 MGFIFL-FR 的整體結構

2.2 多輸出TSK 模糊系統

TSK-FS 圖像特征學習為了提取圖像的不同特征，以多輸出TSK-FS 實現特征轉換。多輸出TSKFS 與單輸出TSK-FS 的主要區別在于多輸出TSK-FS中規則存在多組后件參數，因此不同的后件參數可以對應不同的輸出。TSK-FS 圖像特征學習用不同TSK-FS 的輸出來表示抽取的圖像的不同特征。

有L個輸出的TSK-FS 的模糊規則可表示如下：

多輸出TSK-FS 的第l(1 ≤l≤L）個輸出表示為：

與單輸出TSK-FS 一樣，這里d是樣本的維度，為規則k中特征i所對應的模糊集，∧為模糊合取操作，前件參數求取的過程與單輸出TSK-FS 相同，k=1,2,…,K代表多輸出TSK-FS 有K條規則。不同的是，多輸出TSK-FS 每條規則有L組后件參數，相對應有L個輸出表示多輸出TSK-FS 的第k條規則的第l個輸出。P是L維輸出TSK-FS 的后件參數對應的矩陣，xg同式（6）～（8）中所定義。

2.3 多粒度掃描

滑動窗口掃描對于空間關聯性強的數據集來說有著顯著的效果，常用來處理高維的圖像數據。本文通過使用不同粒度的窗口掃描生成的樣本集，使得模型的特征學習能力進一步提升。

假設有N個訓練圖像樣本，被分成C類。即圖像數據集為，每張圖片大小為m×n，此時可把圖像數據集表示為矩陣I=[I1,I2,…,IN]。

對于大小為m×n的輸入圖像Ii，本文使用S個不同尺度的滑動窗口進行掃描，即分別采用大小為h1,h2,…,hS的正方形窗口對原始圖像進行掃描。為了更好地利用圖像的邊緣信息，本文在圖像的邊緣部分用補0 方式進行填充。這樣對于大小為hs×hs窗口來說，相當于為每個像素點取大小為hs×hs的鄰域塊。然后將每個像素點所對應的塊轉化成列向量，可把圖像Ii對應的向量集合表示為矩陣表示第i張圖片利用hs×hs窗口掃描所生成的第j個小塊的列向量。因此，對于所有輸入的訓練圖像集合，通過尺寸為hs×hs窗口的掃描，得到的向量集合可表示為矩陣對于其他尺寸的窗口來說，也可得到相應的矩陣。

2.4 TSK-FS 圖像特征學習模塊

特征學習中，構建合適的特征空間非常重要。TSK-FS 圖像特征學習包含兩個步驟：隱特征生成、特征變換。圖2 描繪了TSK-FS 圖像特征學習的流程圖。TSK-FS 圖像特征學習通過多輸出TSK-FS 的前件部分實現非線性變換來生成隱特征。在后件部分，經典的單輸出TSK-FS 通常使用最小二乘法來優化求解線性模型，從而獲得分類結果。本文使用多輸出TSK-FS 的后件部分，來實現隱空間的線性變換，進行特征降維，從而抽取到新特征。具體實現步驟將在下面詳細描述，下文描述的是在hs×hs的窗口掃描下進行TSK-FS 圖像特征學習的步驟，對于其他粒度，方法是相同的。

Fig.2 TSK-FS image feature learning圖2 TSK-FS 圖像特征學習

2.4.1 隱空間特征生成

基于TSK-FS 的原理，根據式（2）～式（5）可生成輸入樣本對應于模糊規則前件的模糊隸屬度。FCM是估計式（5）中的前件參數的常用方法，但由于FCM的隨機初始化的特點，使得其穩定性較差[36]。對于需要參數優化的算法來說，基于FCM 的TSK-FS 對參數較為敏感，會導致算法的實用性降低。因此，本文采用了一種更穩定的確定性聚類方法Var-Part[33]來計算TSK-FS 的前件參數。Var-Part在計算上很簡單，復雜度僅相當于一次K均值迭代[33]。

使用確定性聚類方法Var-Part 估計TSK-FS 前件參數的核心任務是對輸入數據Xs進行聚類，從而獲得K個簇。其過程如下：首先把所有數據作為一個簇，作為初始化的簇集合。然后選擇簇內平方和誤差最大的簇，作為要劃分的下一個簇，劃分后得到兩個簇，代替被劃分的簇。重復上述過程，直到產生K個簇。簇劃分的過程如下：假設當前待劃分的簇為Cj，計算每個維度的方差，找到方差最大的維度，如dp。然后，令xip表示樣本xi在特征dp上的值，μjp表示該簇聚類中心在特征dp中的均值。按照下列規則將Cj分為兩個新簇Cj1和Cj2：如果xip小于或等于μjp，將xi分配給Cj1；否則，將xi賦值給Cj2。通過Var-Part 得到的K個簇，即可獲得聚類中心矩陣C。一旦確定了聚類中心矩陣C，核寬度矩陣D可利用式（18）計算。

式中，k=1,2,…,K，K是模糊規則數，p=1,2,…,d，d是樣本的維度。進一步，將每個維度的核寬度縮放到范圍[1,10]（這是經過大量實驗得出的合理范圍）。

在模糊規則前件的隸屬度確定之后，根據式（6）～式（8），就可將原始特征Xs從原始空間映射到隱特征空間，從而得到新的隱特征空間的數據集Gs：

2.4.2 隱空間特征變換

如果將由多輸出TSK-FS 的前件部分轉換的數據視為在高維空間中的隱特征表示，則多輸出TSKFS 的后件部分可視為隱特征表示空間的線性降維。本文在求解TSK-FS 后件參數P的過程中，為了盡可能保留原數據的判別信息，從高維隱特征空間中識別出最具有鑒別能力的低維特征，使得數據在低維空間中具有最佳的可分離性。本文通過在隱特征空間中最大化類間散度的同時最小化類內散度來保留原數據的分布信息，即采用經典的LDA 的優化準則來優化TSK-FS 的后件參數P。此時，TSK-FS 后件參數P的優化目標可以寫成如下形式：

其中，ILs是大小為Ls×Ls的單位矩陣，Sb是類間散度矩陣，Sw是類內散度矩陣，具體形式如下：

式（23）中的Ncmn 是隱空間中屬于第c 類的樣本數，mc是隱空間中屬于第c 類的樣本的均值向量，m 是隱特征空間中所有樣本的均值向量。類內散度矩陣Sw被定義為式（24）的形式，表示每個類別的散度矩陣之和，為屬于第c 類的散度矩陣。式（25）中的gc表示隱空間中屬于第c 類的樣本所對應的向量。

式（22）可以通過求解廣義特征值的方式解決：

后件參數P 確定之后，可以很容易得到多輸出TSK-FS 學習到的新特征數據，即：

以上是對于掃描窗口為hs×hs生成的樣本集，經過TSK-FS 圖像特征學習后得到的特征矩陣，對于其他尺寸的窗口來說，也可得到相應的矩陣。

2.5 特征輸出模塊

MGFIFL-FR 的特征輸出模塊將分別對前面經過不同粒度掃描的TSK-FS 抽取得到的特征圖進行權重二值化運算，并轉化成塊直方圖統計向量。最后將對應的直方圖統計向量融合拼接，作為模型提取的最終特征。

2.5.1 權重二值化

特征輸出模塊首先將每個粒度輸出的特征圖像進行二值化處理，二值化函數定義如下：

對于第i 張圖片產生的Ls張二值化處理后的特征圖，將每張特征圖相同位置點上的值視為Ls位二進制數的一位。因此可以將這Ls張二值圖合并為一張整數特征圖，記為，像素值范圍為[0,2Ls-1]。

此時，N 幅訓練圖像對應的所有整數特征圖可表示為如下矩陣

2.5.2 分塊直方圖

使用與之前一樣大小的hs×hs窗口滑動遍歷整數特征圖并設重疊率為Cr（默認取0.5，即步長為將分為B 個區域，在每個區域內做直方圖統計，統計范圍在[0,2Ls-1]內每個整數出現的次數，輸出為一個2Ls維的向量，將這B 個2Ls維向量組合拼接為一個列向量，表示為R(2Ls)B×1，其中Hist()是分塊直方圖統計，并將結果展成向量的算子。

對于一張原始輸入圖片Ii，經過粒度為hs×hs的窗口掃描、TSK-FS 圖像特征學習以及權重二值化和分塊直方圖統計運算之后，輸出的特征向量為hsi 。對于其他粒度的窗口掃描，也可以得到相應的特征向量，將它們拼接可以得到最終的輸出向量：

根據前面的描述，本文給出所提的MGFIFL-FR 方法的具體算法描述。

算法1MGFIFL-FR

2.6 計算復雜度分析

本節將討論所提算法MGFIFL-FR 的計算復雜度，使用大O 復雜度分析法對算法的時間復雜度進行分析。已知數據集有N張圖片。經過第一步，將原始樣本轉化為列向量矩陣，此時子樣本數為mnN，每個子樣本的維度為hshs。這樣對于第二步，計算前件參數的復雜度為O(2hshsmnNK)。第三步將樣本從原始空間轉換到隱特征空間的復雜度為O(2hshsmnNK+2mnNK)。第四步中利用廣義特征值分解求解多組后件參數P的時間復雜度為O(LsK2(hshs)2)。第五步和第六步中生成新特征空間數據的復雜度為O(LshshsmnN)。在特征輸出模塊中，將多張特征圖權重二值化成一張特征圖需要花費的時間為O(2LsmnN)，利用分塊直方圖算子生成最終特征向量的計算復雜度為O(NmnBLslg 2)。通常情況下mn?max(hs,hshs,Ls,K,B)，N?K，因此最終采用多個粒度掃描的MGFIFL-FR 的計算復雜度為O(hs2LsKmnN)。

而神經網絡通常采用隨機梯度下降方法來進行迭代優化學習，模型的參數量巨大，訓練的時間遠遠大于本文方法。

3 實驗研究

本章進行了大量實驗來驗證本文所提圖像抽取方法MGFIFL-FR 的有效性。為了有效地進行性能評估，采用分類器在抽取的圖像特征數據集上進行分類識別，以分類性能作為指標來評估特征抽取方法的性能。特別地，對于提出的圖像特征抽取方法，結合了多類線性支持向量機（support vector machine，SVM）[37]作為分類器來進行分類實驗。

3.1 數據集

將本文算法MGFIFL-FR 在三個數據集上進行了性能評估，具體地，在ORL、Extended Yale B（EYaleB）這兩個經典的人臉數據庫[38-41]以及MNIST[20]數據集上進行了實驗驗證。

ORL 數據庫是由Olivetti實驗室制作的一個包含400 張灰度圖片的人臉數據集，共有40 個對象，每個對象10 張圖片。ORL 是最常用的基準性人臉數據庫之一。本文將原始圖像歸一化到32×32 大小。

Extended Yale B 數據集由38 個人，每個人大約64 張在不同光照下的2 414 張正面圖像組成。本節使用裁剪后的圖像并將其調整為32×32 大小。

MNIST[20]是AT&T 實驗室制作的手寫數字集。它包含60 000 張訓練圖像，以及10 000 張測試圖像。數據集由來自250 個不同人手寫的數字構成，包含0～9 這10 個阿拉伯數字的手寫字體圖片，每張圖片由28×28 個像素點構成。

3.2 實驗設置

本節的實驗采用兩種基準方法、兩種基于手工提取特征的圖像表示方法、三種子空間學習的圖像特征學習方法作為對比算法。由于采用的兩個人臉數據集規模較小，深度神經網絡無法直接對其進行訓練，因此人臉數據集的對比算法不包括深度神經網絡相關的算法。兩種基準方法分別為將原始圖像不進行特征抽取，直接輸入到多類線性SVM 分類器（SVM）以及直接輸入到TSK 分類器（TSK）。兩種基于手工提取特征的圖像表示方法分別是利用分塊直方圖做特征抽?。˙lockHist）和利用局部二值模式做特征抽取（LBP）。三種子空間特征學習方法分別是利用主成分分析做特征抽?。≒CA），利用核主成分分析做特征抽?。↘PCA）和一個利用線性判別分析（LDA）做特征提取的人臉識別經典算法。為了驗證MGFIFL-FR 特征抽取的優越性，除了基準算法，其他五種對比算法均使用相同的分類器，即多類線性SVM 對抽取的新特征進行分類。所有方法均使用五折交叉驗證，并通過在參數空間中搜索最優的參數設置進行評估，取最佳均值作為實驗結果。對于LBP，將圖片等分成16 個子塊，在每個子塊里利用等價模式的LBP統計其分布直方圖，然后將得到的16個直方圖拼接成一個特征向量。對于PCA 和KPCA，子空間維數通過網格搜索m={10,12,14,…,400}來獲取最優維度，其中KPCA 的核類型選擇高斯核，高斯核的參數通過網格搜索t={2-4,2-3,…,24}來獲取最佳參數。對于LDA，其子空間維度數目固定為類別數減1。

對于本文方法MGFIFL-FR，固定選擇3 個粒度大小即每個像素點所取塊大小為{5,7,9}，特征輸出階段中分塊直方圖的滑動塊覆蓋率Cr固定為0.5。對于MGFIFL-FR，其兩個重要的參數是映射到隱特征空間的規則數Ks和特征學習階段求解后件參數的組數Ls。本節實驗使用網格搜索Ks={2,3,…,15}，Ls={3,4,…,16}的方式來獲取每個粒度下TSK-FS 圖像特征學習的最佳參數。

為了全面地驗證MGFIFL-FR 在訓練數據量較少時也可以取得不錯的效果，本文將ORL 人臉數據庫的訓練集和測試集進行不同比例的劃分。對于每個對象10 張圖片，分別隨機選擇2、5、8 張圖片作為訓練集，其余作為測試集，劃分后的數據集命名為ORL_Train_2、ORL_Train_5、ORL_Train_8。

為了檢測MGFIFL-FR 對噪聲是否具有良好的魯棒性，在ORL_Train_8 的訓練集和測試集中加入了一些典型的噪聲，如椒鹽噪聲或高斯噪聲（部分圖片如圖3 所示），來驗證當數據有噪音時，MGFIFL-FR 對噪聲是否具有良好的魯棒性。

3.3 實驗結果分析

Fig.3 ORL samples with noise圖3 加入噪聲的ORL 圖像

表1 顯示了MGFIFL-FR 在人臉數據集上的實驗結果?？芍崴惴ㄔ贠RL 數據集和其變種數據集上都取得了最高的準確率，可以看出MGFIFL-FR 在訓練數據量較少時也可以取得不錯的效果。當數據集中加入噪聲時，所提方法的準確率依舊維持在較高的水準，而經典的TSK-FS 和其他方法的準確率均有明顯的下降，這說明了MGFIFL-FR 對噪聲具有良好的魯棒性?？梢钥吹?，在EYaleB 數據集上，達到了99.46%的準確率，說明MGFIFL-FR 對光照的干擾不敏感，具有一定的魯棒性。

在MNIST數據集上，除了使用了人臉數據集上相同的對比算法外，為了有效地評估本文方法MGFIFLFR 的性能，還對比了一些深度神經網絡的方法。其中CNN(6-2-16-2)是一個簡單的神經網絡結構，包含兩個卷積層、兩個池化層和兩個輸出層。其中目標函數選擇均方誤差，激活函數選擇sigmoid 函數，優化算法選擇隨機梯度下降算法，訓練迭代次數epochs為100。LeNet_5[20]一個用于數字識別的經典CNN 框架。DBM（deep Boltzmann machines）[42]是一種包含多個隱含層的玻爾茲曼機。ReNet[43]是一個基于遞歸神經網絡的深度網絡結構。表2 給出了這些方法在MNIST 數據集上的準確率，可以看出本文算法MGFIFL-FR 明顯優于經典的TSK-FS 和基于子空間學習等方法，與深度神經網絡的方法相比，性能也具有一定的競爭力。

Table 1 Comparison of accuracy on face datasets for each method表1 各方法在人臉數據集上的準確率比較%

Table 2 Comparison of accuracy on MNIST dataset for each method表2 各方法在MNIST 數據集上的準確率比較%

3.4 模型分析

3.4.1 MGFIFL-FR 中多粒度掃描的有效性分析

本文通過融合多個粒度下圖像特征學習抽取到的特征，即采用多粒度掃描的方式，使得模型的特征學習能力進一步提升。為了驗證本文提出的MGFIFL-FR 中多粒度掃描模塊的有效性，MGFIFLFR 與只使用單個粒度進行掃描的TSK-FS 圖像特征學習方法（image feature learning with fuzzy rule system，IFL-FR）進行比較。兩種方法的區別在于：MGFIFLFR 使用多個不同尺度的滑動窗口，分別對其進行TSK-FS 圖像特征學習，然后將得到的特征進行融合。IFL-FR 是只使用一種大小的滑動窗口進行掃描并進行TSK-FS 圖像特征學習。兩種特征抽取方法和線性SVM 結合對不同數據集進行了分類實驗。圖4 顯示出MGFIFL-FR 的準確率均高于IFL-FR。由此可以反映，MGFIFL-FR 中的多粒度掃描模塊使得模型的特征學習能力進一步得到提升。

Fig.4 Comparison of accuracy between IFL-FR and MGFIFL-FR圖4 IFL-FR 與MGFIFL-FR 精度比較

3.4.2 MGFIFL-FR中特征抽取模塊的有效性分析

為了驗證本文提出的MGFIFL-FR 中TSK-FS 特征學習模塊的有效性，MGFIFL-FR 與BlockHist 方法進行了比較。兩種方法的區別在于：MGFIFL-FR 在特征輸出模塊進行分塊直方圖特征抽取之前進行了TSK-FS 圖像特征學習，而BlockHist 方法僅在原始圖像上進行了分塊直方圖特征抽取。兩種特征抽取方法和線性SVM 結合對不同數據集進行了分類實驗。圖5 顯示出MGFIFL-FR 在三個不同數據集上的準確率要遠遠高于BlockHist。由此可以反映，MGFIFLFR 中的TSK-FS 特征學習模塊大大地提高了其特征學習能力。

Fig.5 Comparison of accuracy between block histogram and MGFIFL-FR圖5 分塊直方圖與MGFIFL-FR 精度比較

3.5 參數敏感性分析

本節對MGFIFL-FR 中超參數，即TSK-FS 圖像特征學習中的規則數以及后件參數組數這兩個參數進行分析，探究所提方法對這些參數的敏感性。本節使用人臉數據集ORL、EYaleB 和手寫數字數據集MNIST 進行了分析。

3.5.1 規則數對精度的影響

為了探討規則數對MGFIFL-FR 性能的影響，實驗中將TSK-FS 圖像特征學習中的規則數設置范圍為2 到15，進行遍歷和性能比較，實驗時令間隔為1，且每個粒度中的規則數設置為相同，將其他參數固定（每個粒度中的后件參數組數為8）。從實驗結果可以發現，這些數據集的規則數在2、3 時，取得了較高的精度，接著隨著規則數的增加，準確率降低并且上下波動。對于高維圖像數據集來說，隨著模糊規則數的增加，MGFIFL-FR 的參數和復雜度將迅速增加。因此，從圖6 可以看出，對于高維圖像數據，少量規則就可以取得很好的精度。

Fig.6 Impact of the number of fuzzy rules for TSK-FS in MGFIFL-FR on classification performance圖6 MGFIFL-FR 中TSK-FS 規則數對分類性能的影響

3.5.2 選取后件參數組數對性能的影響

為了探究后件參數組數對MGFIFL-FR 性能的影響，本小節將TSK-FS 圖像特征學習中的后件參數組數設置范圍為3 到16，進行遍歷和性能比較。實驗時令間隔為1，且每個粒度中的后件參數組數置為相同，將其他參數固定（每個粒度中的規則數為3）。從圖7 的結果可看出，這些數據集隨著組數的增加，準確率上升，當組數在8、9、10 時，趨于平緩。

Fig.7 Impact of the number of groups of consequent part for TSK-FS in MGFIFL-FR on classification performance圖7 MGFIFL-FR 中TSK-FS 后件組數對分類性能的影響

4 結論和展望

本文提出了一種多粒度融合的模糊規則系統圖像特征學習算法。MGFIFL-FR 基于規則的特征學習方式帶來良好的可解釋性的同時也引入了非線性特征學習的能力，達到提升分類精度的效果，多粒度掃描也使得其特征學習能力得到進一步的提升。實驗結果顯示，與基于手工特征和基于子空間學習的特征提取方法相比，準確率有較大提高。與深度神經網絡無法直接應用到小規模數據集相比，本文算法在小規模數據集上也取得了令人滿意的準確率。在較大規模數據集上，本文方法也取得了與深度神經網絡相媲美的結果。

未來，將從以下幾個方面對多粒度融合的模糊規則系統圖像特征學習進行深入研究。將在模型結構的深度上進行探索，進一步提升模型的容量。此外，本文在特征學習階段采用LDA 來保持數據的判別信息，未來將嘗試引入能夠保持數據全局以及局部結構的技術，來進一步提升算法的性能。