核最小模最小平方誤差方法醫學圖像識別算法

夏開建，靳勇

1.蘇州大學附屬常熟醫院（常熟市第一人民醫院） 信息科，江蘇 常熟 215500；2.常熟理工學院 計算機工程與科學學院，江蘇 常熟 215500

引言

最小平方誤差方法（Minimum Squared Error，MSE）[1-3]由于良好的分類性能廣受人們重視，該方法試圖通過對訓練樣本的訓練找到線性判別函數中有效的投影向量w，用以對測試樣本進行分類。但是現實中有許多問題都是非線性可分的，例如像醫學目標識別等問題[4-6]中由于角度、噪聲、蠕動等不同所引起的醫學目標圖像的差異造成醫學器官圖像的分布往往是非線性的和復雜的。

核技術[7-10]的使用，使得支持向量機（Support Vector Machine，SVM）在模式識別領域獲得了很大的成功。其思想是通過非線性映射將輸入空間變換到一個高維特征空間F中，映射后的向量可以包含原樣本的非線性的信息，而這種非線性映射是通過定義適當的內積函數實現的。它成功的避免了在高維的特征空間中廣義線性鑒別函數存在的“維數災難”問題，提供了一種有效抽取樣本的非線性特征的方法。主分量分析（Principal Component Analysis，PCA）是線性特征抽取的最為重要的技術之一，目前仍然廣泛地應用在醫學目標圖像等圖像識別領域。

本文在傳統的MSE的基礎上引入核技術，提出了一種基于核的最小模最小平方誤差方法（Kernel Minimal Mean Square Error，KMNMSE），該方法有效的解決了傳統的MSE方法存在的非線性可分問題。另外，針對傳統的MSE方法中的投影向量可能存在“超定”的問題，引入了廣義逆矩陣的概念，并給出了其求解方法。在此基礎上，又提出了一種一般的MNMSE分類器模型。之后，鑒于核主分量分析（Kernel Principal Component Analysis，KPCA）方法在特征抽取中的成功應用，本文提出了一種基于KPCA與MNMSE分類器的一種新的醫學目標識別方法，該方法不僅達到了對核樣本向量降維的目的，而且在核樣本空間中在最小均方差意義下給出了模式樣本的最優表示，同時該方法也再次證明了MNMSE分類器的有效性。最后，在醫學圖像庫上的實驗結果驗證了本文所提出的理論與方法的有效性。

1 最小平方誤差方法

假設有n個m維的樣本x1,x2…xn∈Rm當中包含兩類不同的樣本，其中n1個樣本屬于ω1，n2個樣本屬于ω2。我們要通過這n個訓練樣本來尋找一個投影向量w，用于下面的線性判別函數：

在兩類問題中，如果判別函數的值g(x)＞0則x∈ω1；如果 g(x)＜0 則 x∈ω2。

定義y=[x1]T×s(x)作為x標準化的向量。其中，x∈ω1時s(x)=1；x∈ω2時 s(x)=-1。

再定義一個閾值向量b=[b1K bn]T，這樣線性判別函數方程組就可以用矩陣簡化表示，我們的目標也就轉化為尋找向量a使得：

如果Y是非奇異的，我們立刻可以得到a的解a=Y-1b。但是Y通常是一個長方形的矩陣，當行數大于列數時方程組的個數多于未知數的個數，a是超定的，通常沒有精確的解。定義誤差向量e=Ya-b，最小平方誤差的方法就是通過定義如下的最小化誤差平方和的準則函數，使得誤差向量的長度的平方最小化。

一旦a得出后，式(1)也可以推出，[w,w0]T=a。在YTY非奇異時a可以通過以下公式求得：

YTY在醫學目標識別等高維小樣本問題中通常是非奇異的，這種情況下，不論a是否是超定的，式(3)的判別函數（MSE）的解總是存在。

2 基于核的最小模最小平方誤差方法（KMNMSE）

核方法的基本思想就是要解決非線性可分的問題[11-13]。首先將原始訓練樣本通過一個非線性映射映射到某一高維（可能是無限維）特征空間F中，然后在F中執行線性鑒別分析方法。由于特征空間F的維數非常高甚至是無窮維，為了避免直接顯式地處理映射后的樣本，引入支持向量機中的核函數。這些核函數可以計算某些特征空間上的內積，即k(x,y )=＜(x)。在支持向量機中常用的核函數有高斯 RBF 核函數 k(x,y)=exp(-‖x -y‖2/σ)，多項式核函數k(x,y)=(x×y+c)d，其中σ、c和d都是常數。因此，我們在經典的最小平方誤差方法中引入核的概念以解決其存在的非線性可分問題[14-16]。

將n個訓練樣本x1,x2,…, xn∈Rm通過一個非線性映射映射到特征空間F中，對應的訓練樣本變為o(x1),…,(Xn)，相應的判別函數變為:

相應的向量v由投影后的n個樣本訓練獲得，根據再生核理論解向量v一定位于(x1),…,(xn)張成的空間內。既存在系數向量 α=(α1,…,αN)T∈RN，滿足 ：

定義1ζk=[k(x1,xk),…,k(xN,xk)]T,稱ζk為核樣本向量（對應于原始輸入樣本xk），稱α為核鑒別向量。

這樣我們的判別函數可以改寫為如下的形式：

與傳統的MSE方法類似，我們對判別函數進行簡化：

其中，H是由標準化后的核樣本向量hi=[ζi1]T×s(x)作為行向量的矩陣。同樣x∈ω1時s(x)=1；x∈ω2時s(x)=-1。α,v0也與u有如下的關系：

定義如下的核最小化誤差平方和的準則函數（Kernel Minimal Square Error，KMSE），使得核樣本向量誤差向量的長度的平方最

在HTH非奇異時u可以通過以下公式求得：

我們定義H的廣義逆矩陣（偽逆矩陣[]）H+=(HTH)-1HT，不論H非奇異或奇異，(9)式的u是否超定（沒有精確的解），KMSE的解總是存在的。將H+定義為如下形式：

可以證明這個極限總是存在的，u=H+b就是式(9)判別函數的一個解。我們稱之為KMNMSE。

求得H+之后，我們要找的投影向量u也就得到了u=H+b。那么在接受到一個測試樣本后，這種KMNMSE又是如何判別其所屬類別呢？

假設x為一輸入的測試樣本向量，識別過程按如下步驟進行：① 選擇核函數，依照先前所述的方法轉換為核樣本向量ζ=[k(x1,x),…,k(xn,x)]T；② 得到此核樣本向量的增廣向量Γ=[ζT1]T；③ 將得到的增廣向量在求得的u向量上投影 λ=uTΓ,λ=1 則 x∈ω1；λ=-1 則 x∈ω2。

3 基于MNMSE方法的分類器及醫學目標識別

通過上一節的討論我們可以發現KMNMSE不僅具有良好的性質，而且簡單易行。同時我們也能夠根據以上的討論得出基于MNMSE方法的分類器一般模型判別函數：

其中，y為原樣本向量x經過各種變換后的p維樣本向量；H+為如上所述的廣義逆矩陣；b為定義的任意正值的裕值向量；d為p+1維的增廣向量。

以上我們討論的是兩類模式問題，但是在像醫學目標識別等模式識別問題中一般都是多類別問題，下面我們將兩類問題推廣為多類。

假設有c個模式類標識為ω1K ωc，我們在進行第3節的訓練過程的時候，將屬于ωi的樣本和不屬于ωi的樣本看作是兩類不同的樣本。這樣對于每一類訓練樣本我們都可以得到一個相應的投影向量ui=Hi+b，定義投影矩陣U由這一組投影向量組成，U=[u1…uc]。

這樣在識別過程中我們可以將測試樣本的核樣本向量在U上投影：

可以看出這里的L=[λ1…λc]T，若L中的元素λi=1則此測試樣本就歸于ωi。

主分量分析是線性特征抽取的最為重要的技術之一，目前仍然廣泛地應用在醫學圖像融合等圖像識別領域，其本質上在最小均方差意義下給出了模式樣本的最優表示。KPCA是將K-L變換（主分量分析）推廣到用來抽取非線性特征。我們首先用KPCA的方法來抽取出對應原始樣本的特征向量用以代表原始樣本，然后用MNNSE分類器對這些對應原始樣本向量的特征向量進行分類。

KPCA的基本思想是將由映射后的數據o(xi)得到的總體協方差矩陣對 角化。為此，需要對下式的特征方程求解。

這樣我們得到N個訓練樣本的p維特征向量，然后用這N個p維向量作為MNMSE分類器的輸入向量y，如上節所述對對分類器進行訓練得到U。在對測試樣本進行分類時，同樣先對測試樣本進行核主分量分析得到相應的p維特征向量Γ，再用MNMSE分類器進行分類識別。

4 實驗結果及分析

本文利用采集到的1024幅包括正常肺組織、良性肺結節和肝癌3種肺部CT圖像，以及514幅包括正常甲狀腺與甲狀腺癌的兩種甲狀腺CT圖像進行實驗，所有圖像類型均經過臨床醫師確診，圖像類型均為JPEG格式，大小為768×576，采集于同一臺CT儀器。使用歐式距離進行醫學圖像的分類識別。在Window 7系統下，使用MATLAB R2007b開發環境，實現了醫學圖像識別的原型算法。

4.1 評價準則

對于醫學圖像識別問題，識別結果會產生不同的兩種結果。其中，TP表示正確識別的樣本個數，TN表示正確識別的陰性樣本個數。準確率（Accuacy）表示正確分類的樣本數占所有分類樣本的比例，如式(18)所示。

4.2 肺CT圖像識別

本試驗的目的是驗證本提出的KMNMSE方法的有效性。在試驗中，通過對不同類別，不同樣本數的肺CT圖像提取的特征，用KMNMSE方法進行分類識別。根據采集的圖像共設計7組不同的樣本。對各組樣本結果數據分析，根據前面的分析，首先計算RN空間上的核特征向量ζk(k=1,…,200)，然后由ζk(k=1,…,200)進行訓練計算出投影矩陣U，然后計算得到256個測試樣本的核樣本向量進行分類，識別率，見表1。此外，我們還做了該方法和傳統MSE方法識別率和時間的比較。

表1 不同算法在不同分組數據上的識別準確率對比

通過準備率對比可以看出，本文提出KMNMSE方法利用核方法的高效特征計算的優勢，與PCA特征向量相互作用，具有較高的識別率。本文方法通過非線性映射將輸入空間變換到一個高維特征空間F中，映射后的向量可以包含原樣本的非線性的信息，因此提升了識別的準確性。

在識別率提高的基礎上，對算法運行時間進行測試（表2）。本文算法構造特征空間所用時間明顯小于傳統算法，而識別時間基本相同。原因是核方法處理后每一塊的維數降低，對每一塊進行傳統PCA算法時間明顯減少，導致構造特征空間的時間減少。由于兩種算法識別部分基本相同，識別時間相差不多。最終改進算法運行總時間優于傳統算法。

表2 不同算法的性能對比（s）

4.3 甲狀腺CT圖像識別

本實驗利用醫院獲取的大量甲狀腺圖片，利用本文提出的特征提取方法進行提取，然后利用基于核主分量分析與MNMSE分類器的醫學目標識別方法分類識別（圖1）。

圖1 甲狀腺CT圖像

本文提出的醫學圖像識別方法對甲狀腺CT圖像進行分類的結果，見圖2。從圖中可以看出，利用本文提出的甲狀腺PCA特征的提取方法可以對甲狀腺的正異常很好地分類，分類準確率為100%。

圖2 本文算法的分類結果

5 結論

本試驗在對人體甲狀腺和肺部CT圖像及其病理研究的基礎上，針對其病變特點，提出將基于核主分量分析與MNMSE分類器的醫學目標識別方法用于甲狀腺（肺部）狀態進行分類識別，利用核主分量分析提出的穩定特征，為分類的成功提供了良好的基礎。然后，根據所提取的特征采用MNMSE分類器對甲狀腺（肺部）的正異常進行分類。經仿真結果驗證，使用本文中提出的這兩個特征對甲狀腺（肺部）的正異常可以取得較好的分類效果，且具有一定的準確性、可靠性和實用性，較好地實現了甲狀腺的計算機輔助診斷，為醫生的臨床診斷提供一定的幫助。

[1]朱旗.基于最小平方誤差的人臉特征抽取與分類算法研究[D].哈爾濱:哈爾濱工業大學,2014.

[2]王禹.基于線性回歸分析的特征抽取及分類應用研究[D].揚州:揚州大學,2016.

[3]單寶堂,沈庭芝,崔玉紅,等.預估計最小平方誤差初始值方法改善交替映射算法性能[J].北京理工大學學報,2007,27(5):436-440.

[4]許建華,張學工,李衍達.最小平方誤差算法的正則化核形式[J].自動化學報,2004,30(1):27-36.

[5]胡正平,彭燕,趙淑歡.非最小平方誤差局部-全局加權融合的稀疏表示遮擋人臉識別[J].模式識別與人工智能,2015,28(7):633-640.

[6]Yang Y,Blum RS.MIMO radar waveform design based on mutual information and minimum mean-square error estimation[J].IEEE T Aero Elec Sys,2007,43(1):330-343.

[7]Davis B,Lorenzen P,Joshi S.Large deformation minimum mean squared error template estimation for computational anatomy[J].IEEE T Aero Elec Sys,2004(1):173-176.

[8]Wang J,Zhang Y,Cao H,et al.Dimension reduction method of independent component analysis for process monitoring based on minimum mean square error[J].J Process Contr,2012,22(2):477-487.

[9]Zhang L,Li X,Zhang D.Image denoising and zooming under the linear minimum mean square-error estimation framework[J].Image Processing Iet,2012,6(3):273-283.

[10]Lee J,Sankar R.Theoretical derivation of minimum mean square error of RBF based equalizer[J].IEEE Singal Proc Let,2007:1613-1625.

[11]溫云磊,王元全,王懷彬.基于L0二階偏導最小化和核回歸模型的圖像去噪方法[J].天津理工大學學報,2015,31(3):16-21.

[12]劉宇.基于水平集方法和模糊模型的醫學圖像分割算法研究[D].長春:吉林大學,2016.

[13]胡正平,彭燕,趙淑歡.非最小平方誤差局部——全局加權融合的稀疏表示遮擋人臉識別[J].模式識別與人工智能,2015,28(7):633-640.

[14]Xia KJ,Wang JQ,Wu Y.Robust Alzheimer disease classification based on feature integration fusion model for magnetic[J].J Med Imag Health,7(6):1171-1176.

[15]Xia KJ,Wang JQ,Cai J.A novel medical image enhancement algorithm based on improvement correction strategy in wavelet transform domain[J].Cluster Comput,2017,(10):1-9.

[16]Xia KJ,Wu Y,Ren XG,et al.Research in clustering algorithm for diseases analysis[J].J Networks,2013,8(7):123-129.