基于紋理特征與條件隨機場的宮頸癌病理圖像分類研究

張家偉，李晨，賀良子，陳昊

1.東北大學 醫(yī)學與生物信息工程學院，遼寧 沈陽 110819；2.北京航空航天大學 生物與醫(yī)學工程學院，北京 100191

引言

宮頸癌是發(fā)病率與死亡率雙高的婦科惡性腫瘤，因此對于宮頸癌的早期診斷與篩查是十分關鍵與必要的[1]。組織病理學方法是宮頸癌診斷的金標準，但是此方法需經驗豐富的專家對大量組織病理學圖像進行分析與診斷，具有很強的主觀性和不確定性[2]。因此，一種高效準確的診斷方法急需被開發(fā)并應用。使用計算機人工智能輔助診斷將大幅推動宮頸癌篩查與診斷工作的普及。

國內在計算機輔助宮頸癌組織病理圖像分析方面的相關研究較少。趙英紅等[3]在CIELab顏色空間中采用K均值（K-means）彩色聚類算法分割宮頸癌細胞。寧梓淯等[4]使用支持向量機對宮頸癌組織病理學圖像進行分類。

國外有很多將計算機技術應用在組織病理圖像分析方面的相關研究。Keenan等[5]使用Delaunay三角剖分算法提取了圖像特征，并使用傳統的樹形統計結構（決策樹）進行分類。Naghdy等[6]提出了一個兩層分類策略，使用Gabor濾波器組進行局部分類和全局分類的異常傳播。Purwanti等[7]提出了一種利用人工神經網絡和學習矢量量化對正常和異常宮頸細胞進行分類的方法，準確率達到了90%。Park等[8]使用了基于條件隨機場（Conditional Random Field，CRF）模型的分類器，以概率方式去結合相鄰區(qū)域從而獲得分類結果。綜上所述，針對宮頸癌組織病理學圖像的方面的研究仍有較大的進步空間，尤其是將CRF應用于宮頸癌病理圖像分析仍未取得突破性的進展。

臨床上傳統方法為涂片式檢查，刮取宮頸處的細胞并涂抹在涂片上，采用免疫組織化的染色方法進行染色后放置在高倍顯微鏡下進行拍照，獲得組織病理圖像，再由專家進行分類鑒定[9]。目前，使用細胞病理學的方法對于宮頸癌進行人工診斷相對普及，此種方法對于醫(yī)生的要求較高，不同的病理學家之間以及同一病理學家在不同狀態(tài)下都有可能對相同的組織病理學或細胞病理學圖像產生不同的判斷[10]。本文提出的基于CRF的宮頸癌組織病理學圖像的自動分析和診斷，可以提高分類準確率，達到提高計算機輔助診斷系統效果的目的。

1 方法

1.1 方法的整體流程

圖1為本文方法的整體流程圖，主要由兩部分組成。首先，提出一種基于紋理特征與CRF的宮頸癌細胞分類方法。其次，對圖像進行灰度化及網格化的預處理，并使用灰度共生矩陣（Gray-Level Co-occurrence Matrix，GLCM）研究紋理特征對于圖像分類準確率的影響，通過調整隨機森林的參數，獲得三種分類器并比較不同的分類器，分別為CRF的一元勢和二元勢選擇與其相符合的分類器，并在最終的CRF模型中計算聯合概率分布的結果。

圖1 開發(fā)流程示意圖

1.2 預處理

由于直接獲取的宮頸癌組織病理學圖像存在因抖動、電子脈沖干擾等因素而導致的圖片失真，需要對已有的病理學圖像進行預處理。為了使計算機能夠更為高效、準確地進行判定分類，需要對圖像進行去噪和網格化處理。

1.2.1 圖像去噪

根據實驗圖片的實際情況，選擇圖像平滑作為主要去噪方式。本實驗采用中值濾波對圖像進行去噪。噪聲處理前后對比圖像如圖2所示。

圖2 噪聲處理前后對比圖像

1.2.2 圖像網格化

由于本實驗為基于圖像的每一個區(qū)塊進行特征提取，因此網格化是預處理中的必要操作。網格化處理后的圖像如圖3所示。

圖3 網格化處理后的圖像與原圖像對比

1.3 特征提取

本研究中，采用GLCM進行紋理特征提取。GLCM是一種通過計算圖像二階組合的條件概率密度來區(qū)分不同紋理的特征提取方法，具體表現為在圖像中通過對具有一定距離、灰度值等狀況進行統計而形成的矩陣[11-13]。

通過不同特征向量及其統計值的組合最終嘗試實驗了8種情況（其中，像素間距默認為1，GLCM的灰度級分別設置為4、8、16匹配以下多種情況）。

（1）參數設置1：僅使用GLCM本身作為特征向量，其中掃描方向設置為水平方向，即單方向參數。

（2）參數設置2：僅使用GLCM本身作為特征向量，其中掃描方向設置為4個方向參數，即方向、方向、方向及方向（通常情況下4個方向分別表示為：[0,1],[-1,0],[-1,1],[-1,-1]，見圖 4）。

圖4 GLCM 4個方向參數

（3）參數設置3：選擇GLCM的4種特征值，即對比度、齊次性、互相關、能量作為特征向量，其中掃描方向設置為4個方向參數，即方向、方向、方向及方向（圖5）。

圖5 宮頸癌組織病理圖像采用4個方向參數提取出的4個GLCM

（4）參數設置4：在第3種情況的基礎上，將4種特征向量分別統計均值及方差，形成最后的8個統計特征向量，掃描方向仍為4個方向。

（5）參數設置5：使用3個GLCM的特征向量，即平滑度、三階矩、一致性，掃描方向仍為4個方向。

（6）參數設置6：將第4種情況及第5種情況相結合，形成11個統計特征，掃描方向仍為4個方向。

（7）參數設置7：使用矩陣的其他4種特征向量，即慣性矩、能量、互相關、熵，掃描方向仍為4個方向。

（8）參數設置8：將第7種情況的4個特征分別取均值及方差，形成最后的8統計特征，掃描方向仍為4個方向。

以上為實驗當中用到的8種GLCM特征提取情況，且為了實現盡可能高的分類準確率，將灰度圖的灰度級做了3種情況的處理，將原灰度圖的灰度級分別壓縮到4灰度級、8灰度級以及16灰度級，這樣每張圖片相當于被分為3張灰度級不同的子圖，最后將3種灰度級的圖片與8種特征提取情況相匹配獲得24種不同的結果。

1.4 基于CRF的圖像分類

CRF是由Lafferty等[14]于2001年提出的一種概念，它是一種將最大熵模型和隱馬爾可夫模型相結合的無向圖模型[15-16]。近年來，其常被應用于詞性標注和命名實體標識中，并取得了顯著的成就[17]。CRF是典型的判別模型，通過將其勢函數接連相乘從而獲得最終的聯合概率。本研究設計了一種多層隱CRF（Multilayer Hidden CRF，MHCRF）框架用于解決復雜的宮頸癌組織病理學圖像問題。MHCRF可以用式(1)來表示：

其中，Z用公式(2)表示：

圖6為MHCRF的整體框架構圖。為了將不同分化程度的病理圖像準確分類，首先將經過免疫組織化學染色后的圖片分為訓練集、驗證集以及測試集，經預處理后，將訓練集和驗證集的補丁級組織病理學圖像輸入到MHCRF框架進行弱監(jiān)督學習[18]，通過隨機森林分類器對圖像塊進行預分類。接著基于所選擇的圖像塊的分類結果，生成MHCRF的一元勢和二元勢，最終將一元勢與二元勢組合起來計算最終圖像級的分類結果。

在圖6中，左邊為一元勢的計算過程，右邊為二元勢的計算過程。第一層顯示了與第二層對應的真實標簽，第一層為不可見層，而第二層為可見層。第三層中，一元勢表示每個補丁級圖像被提取出來的紋理特征，而二元勢是根據布局計算目標圖像塊周圍8個圖像塊的特征，將特征總和作為中央目標圖像塊的最終特征，根據1.3介紹的8種GLCM參數設置情況，將8種參設條件下一元勢和二元勢提取的特征輸入第四層。第四層采用隨機森林分類器來獲得補丁級圖像的先驗概率。第五層通過調整隨機森林分類器的內部參數獲得多種不同效果的分類器，同時提取不同的特征向量及其統計值，接著將分類器與各種特征提取情況分別組合，從中選擇分類效果最優(yōu)的組合作為最終的一元勢與二元勢模型。最后在第七層中結合上述模型并獲得最終的MHCRF模型。

圖6 MHCRF（GLCM）框架構圖

一元勢：標簽xi取值c(c∈L)的概率與式(1)的一元勢部分φi(xi,Y)相關，其中式(1)由φi(xi,Y)∝p(xi=c|fi(Y))給出，圖像的數據作為位矢特征向量fi(Y)被表達，并且可能取決于Y的所有數據。

在該架構中的第三層提取GLCM特征。為了獲得標簽概率，將不同的特征提取情況輸入到該MHCRF的第四層，即隨機森林分類器，并將樹的數量設置為2n（n=2，4，8）。最終獲得3×3×8個，即72個先驗準確率結果，并從中挑選準確率最高的一個作為一元勢最終的代表。

二元勢：式(1)的二元勢部分，即φij(xi,xj,Y)表示了相鄰位置的和如何獲取標簽(xi,xj)=(c,c')給出的數據，對應公式為：φij(xi,xj,Y)=p(xi=c;xj=c'|fi(Y)fj(Y))。圖7為實驗中二元勢所用到的布局，實驗使用這種布局通過計算該補丁周圍八鄰域的補丁的特征之和來表征該中心補丁的特征向量。

圖7 二元勢布局(“∑”代表將目標補丁的八鄰域特征向量之和作為該補丁的特征向量)

2 實驗

2.1 實驗平臺搭建

系統平臺：Microsoft Windows 10；

編程語言：Matlab 2018a；

CPU ：3.60 GHz Intel Core i7-7700 ；

GPU：GeForce GTX 1080 8 GB；

內存：32 GB RAM。

2.2 組織病理學顯微圖像數據庫

2.2.1 數據庫來源

本實驗采用宮頸癌組織病理圖像，在細胞病理學的角度通常把宮頸癌分為高、中、低分化三個分化階段。本實驗所用到的宮頸癌組織病理圖像均來自于中國醫(yī)科大學附屬盛京醫(yī)院的病理科醫(yī)生。圖像采用了免疫組化染色法。原圖分辨率為2560×1920，經過預實驗得出，由于顯存過小，此分辨率的圖像無法穩(wěn)定進行實驗。為了加快運轉速度，且盡可能保留更多的圖片信息，逐步降低圖片分辨率，最終可以穩(wěn)定運行實驗的圖像分辨率為1280×960。然后使用100×100的滑動窗口從圖像的左上角遍歷到右下角，步長為像素。裁剪之后無法整除的邊緣部分直接舍棄，這也是圖像裁剪的常規(guī)操作[19]。

2.2.2 數據集劃分

數據庫中共有103張圖片，其中有高分化圖像35張，中分化圖像35張，低分化圖像33張。由于本實驗所用的方法為基于MHCRF框架的弱指導學習，只需要病理圖像的高、中、低三分類標簽，并不需要病灶區(qū)域的像素級標簽。本實驗數據中訓練集包含9張高分化圖像、9張中分化圖像以及9張低分化圖像；驗證集包含9張高分化圖像、9張中分化圖像以及8張低分化圖像；測試集包含17張高分化圖像、17張中分化圖像以及16張低分化圖像。數據集的部分示例如圖8所示。

圖8 數據集示例

2.3 實驗過程

首先求得在不同參設條件下的MHCRF分類結果，接著對不同參設條件下的實驗結果進行具體分析，通過比較所有的實驗結果，從中選出最終MHCRF的一元勢以及二元勢模型，最后計算得出MHCRF在驗證集以及測試集的分類準確率情況。

3 結果

3.1 基于GLCM的隨機森林一元勢分類

根據1.4中所介紹的MHCRF來架構模型。首先，實驗將在隨機森林分類器層，獲得針對于GLCM特征的圖像補丁級（patch-level）的先驗概率。接著將隨機森林分類器分為n=2、n=4、n=8三種情況，并將三種情況分別應用于8種GLCM特征提取。最后將組織病理圖灰度級分別設置為4、8、16，此unary-MHCRF-GLCM在第四層獲得數據，如表1所示。

表1 不同GLCM灰度級下patch-level一元勢分類準確率

綜合以上情況可以看出，在第二種情況中，即使用具有4個方向參數的以GLCM本身作為特征向量進行實驗時，在灰度級為8時并且隨機森林含有256棵樹時獲得的Patch-level分類準確率最高，為0.5150。因此在unary-MHCRF-GLCM的第五層選取其作為最終的一元勢特征向量-分類器（Feature-classifier）模型。

3.2 基于GLCM的隨機森林二元勢分類

與一元勢實驗相類似地，在二元勢實驗中也通過改變隨機森林的樹木情況（2n），將隨機森林分類器分為n=2、n=4、n=8三種情況，并將三種情況分別應用于8種不同情況的GLCM特征提取，同時將灰度級分別設置為4、8、16，由此binary-MHCRF-GLCM在第四層獲得結果如表2所示。

表2 不同GLCM灰度級下patch-level二元勢分類準確率

根據實驗結果可以看出在第二種參數設置情況時，即使用具有4個方向參數的GLCM作為特征向量時，灰度級設置為16且隨機森林樹木為256棵時獲得的Patchlevel分類準確率最高，為0.5944。因此在binary-MHCRFGLCM的第五層選取其作為最終的二元勢特征向量-分類器（Feature-classifier）模型。

3.3 一元勢與二元勢在MHCRF中的聯合分布概率

通過計算混淆矩陣來展示最終的分類結果[20]。混淆矩陣通過使用行數和列數相等的矩陣來呈現算法性能的可視化方法，通常用于監(jiān)督學習。該矩陣的每一列表示的是預測標簽，而每一行則表示樣本的實際標簽。根據以上實驗，已經完成了在MHCRF的第五層中進行的Feature-classifier的選擇，接下來的實驗將會在圖像的級別進行操作。將驗證集圖像輸入到MHCRF-GLCM模型中，最終在驗證集圖像上的一元勢、二元勢分類結果如圖9a～9b所示。將獲得的一元勢與二元勢的分類結果輸入到MHCRF模型的最后一層獲得最終的分類準確率如圖9c所示，混淆矩陣中綠色方塊代表真陽率，即分類正確的比例，而灰色方塊為3個真陽率的和，代表了整體的分類準確率。

圖9 GLCM分類結果

本文中所提出的弱監(jiān)督MHCRF模型在驗證集和測試集上的分類結果分別如圖9c～9d所示，可以看到驗證集和測試集的準確率分別為69.2%和82.0%。從這些結果可以看出雖然一元勢和二元勢的聯合分布在驗證集上是穩(wěn)定的，但它在測試集上具有改善的分類性能。

在MHCRF-GLCM實驗中，通過表1可以看出，在灰度級相同時，隨著隨機森林里樹木的棵數增多，大多數情況下的分類準確率會有所提升。由此可得，當隨機森林中用于分類的決策樹增多時，在大部分情況下可以起到提高分類準確率的作用。

4 結論

本文提出了一種特征提取與分類器相結合的特征選擇和一種基于弱監(jiān)督的MHCRF。前者首先將隨機森林分類器做不同的調整后獲得了三種效果不同的分類器。后者將圖像的標簽層、真實圖像層、特征提取層、隨機森林分類器層、特征選擇層鏈接起來，獲得了一個MHCRF結構，并通過分別計算CRF的一元勢及二元勢最終獲得聯合概率分布。最終實驗結果表明，使用MHCRF對于圖像分類有很大的貢獻，其中使用GLCM特征獲得了的最高分類準確率達到了82.0%。

本文提出的方法還可以做進一步改進：① 本文僅使用了兩種特征提取方法，未來可以提取更多的特征，并通過不同的特征融合方式獲得更多的實驗可能性；② 未來可以使用較新穎的深度學習對數據庫進行圖像分類，與傳統的機器學習的分類結果形成對比；③ 本文所提出的MHCRF架構作為一種較新穎的模型，還存在更多的發(fā)展可能性，通過優(yōu)化內部各層的結構以及所使用的方法將它設計為一個可以獲得更高分類準確率的架構模型；④ 本文僅使用組織病理圖像進行研究與分類，但是由于不同程度的患病者可能出現不同的生理信號，因此對于不同數據來源的特征提取以及分類方法還有一定的提升空間。