基于深度集成網絡模型的膝關節退行性病變分級診斷方法

宋江玲，鄭田田，張瑞

(西北大學數學學院，陜西 西安 710127)

1 引言

膝關節退行性病變 (Knee Osteoarthritis，KOA)，又稱膝骨關節炎，是由關節軟骨細胞原纖維化，關節下骨增生引發的一種慢性，進展性疾病[1].致病因素包括體重偏大，久坐或過度運動，不當姿勢以及年齡增長等[2].KOA發病形勢日趨嚴峻，2021年全球成年人的KOA患病率約為20%;我國60歲以上人群KOA患病率已超50%，致殘率高達53%[3-4].此外，青少年由于超重因素導致KOA的患病率也逐漸呈現上升趨勢[5].

根據關節軟骨與臏股關節病變的嚴重程度與患者的臨床表現，KOA的病程發展大致可分為輕度與重度兩個階段.臨床研究表明，對于輕度KOA患者，通過針灸，按摩，服用消炎止痛藥等治療手段，可以有效緩解患者病癥;針對重度KOA患者，盡早實施關節鏡清理術等手術治療，可有效改善患者運動能力[6].因此，若能對KOA患者的病程發展進行有效追蹤，則可根據患者所處階段更為精準地制定相應的防控治療方案，這對于提高患者生存質量，降低KOA的致殘率具有重要意義.本文將這一過程的實現稱為KOA的分級診斷(即對正常人，輕度KOA患者與重度KOA患者予以正確診斷).

目前臨床中關于KOA的診斷主要依據各類影像學檢查，并結合患者臨床表現進行綜合評估與判斷[4].主要包括X光，計算機斷層掃描，磁共振影像，關節鏡等，它們均可不同程度地輔助醫生對關節內的病變情況進行檢查.然而，這些影像學檢查不僅對人員，設備，環境的專業性要求很高，而且檢查過程中產生的電離輻射也具有一定的危害性，同時往往費用高昂，一般難以在短時間內進行連續多次檢查，無法便捷使用.因而探索一種無創無害，成本低廉，可連續檢測的KOA檢查手段具有非常重要的臨床應用價值.

骨振信號(Vibroarthrographic signal，VAG)，又稱為髕骨關節摩擦音，是將加速度傳感器放置于膝關節處記錄的膝關節運動時髕骨與股骨摩擦產生的聲音信號[7].對正常人而言，由于膝關節各項功能良好，髕骨與股骨間產生的摩擦非常微小;隨著KOA的發生，軟骨出現變性，萎縮與侵蝕等表現，導致髕骨與股骨間產生的摩擦逐漸增大;而當KOA進一步惡化時，關節內骨性結構表面出現磨損，增生，甚至關節間隙變窄等，均導致髕骨與股骨間的摩擦進一步增強.由此可知，VAG信號中所蘊含的病理信息與膝關節所發生的病變緊密相關，這為KOA的臨床診斷提供了一種新的可能.然而，目前關于VAG信號的理論研究尚不充分，臨床可提供的指導信息十分有限.在上述背景下，若能夠借助信號處理，機器學習，深度網絡等技術對VAG信號中蘊含的病理信息進行挖掘與分析，則對于進一步探索VAG信號的特征表現與KOA患者的病程發展之間存在的必然聯系，從而在一定程度輔助醫生更好地實現KOA的分級診斷，顯然具有重要的臨床意義.

基于VAG的KOA輔助診斷本質是一個模式識別任務，即對所采集的VAG信號提取特征，并用其訓練分類器以完成不同VAG模式的識別.如S.Krishnan等人通過建立自回歸模型推導出 VAG信號所含主極值點個數與倒譜系數，并結合 Logistic回歸分析與留一法完成正常VAG信號與異常VAG信號的判別[8].K.Kim等人采用Wigner-Ville分布計算VAG信號的時頻譜，進而結合時頻譜的能量參數，能量擴展參數，頻率參數和頻率擴展參數四個特征，利用人工神經網絡識別正常VAG信號與異常VAG信號[9].K.Krecisz等人計算了香農熵，分形標度指數，多尺度樣本熵，復發率，決定系數，層次性，信息熵，捕獲時間與最長線等17個特征，結合隨機森林，多層感知機，Logistic回歸與SVM完成正常VAG信號與異常VAG信號的判別[10].2020年，張瑞等人設計了一種以時域VAG信號為輸入數據的LSTM網絡，完成正常VAG信號與異常VAG信號的判別[11].2021年，楊佳等人設計了一種PCNN-LSTM網絡，識別正常VAG信號與異常VAG信號[12].

可以看出，現有 KOA輔助診斷研究大多僅聚焦于正常與 KOA-VAG信號 (將輕度 KOA患者的 VAG信號 (即輕度 KOA-VAG)與重度患者的 VAG信號 (即重度 KOA-VAG)統稱為KOA-VAG信號)的有效區分，而關于KOA分級診斷問題的研究幾乎還是空白.基于此，本文擬以KOA的分級診斷為目標，以VAG信號為主要源數據并結合性別，年齡，身高，體重等生理數據，采用深度卷積網絡與深度前饋網絡等技術，開展針對KOA分級診斷的輔助診斷方法研究.首先，在卷積神經網絡框架下，構建了用于分析VAG信號的網絡模塊VAG-CNN-Block;其次，在前饋神經網絡框架下，構建了用于分析生理信息的網絡模塊PI-FNN-Block;進而，結合VAG-CNN-Block和PI-FNN-Block設計了集成網絡模型MBE-Net，并據此提出了一種KOA分級診斷方法;最后，采用臨床數據對所提方法的有效性進行驗證.

2 基于多源數據與深度集成網絡的膝關節退行性病變分級診斷方法

本節分別介紹了基于卷積神經網絡框架的VAG信號分析網絡模塊VAG-CNNBlock，以及基于前饋神經網絡框架的生理信息分析網絡模塊 PI-FNN-Block，進而結合 VAG-CNN-Block和 PI-FNN-Block，采用注意力機制設計了一種集成網絡模型MBE-Net，并在此基礎上設計了一種膝關節退行性病變分級診斷方法.

2.1 基于骨振信號的卷積神經網絡模塊

相關研究表明VAG信號的頻域中所蘊含的病理信息對于KOA的診斷具有重要意義[13].尤其是高頻部分蘊含的病理信息可能有助于更好地判斷KOA所處的不同階段[14-16].為了挖掘VAG頻域信號中蘊含的病理信息，本小節首先對VAG信號進行頻域轉換，計算其功率譜與相位譜.

由歐拉公式上式進一步表示為

則信號sj的功率譜可表示為，其中

進而，為了挖掘功率譜與相位譜中蘊含的病理信息，本小節構建了一個新的卷積網絡模塊，稱之為基于骨振信號的卷積神經網絡模塊(Convolutional Neural Network Block based Vibroarthrographic Signal，VAG-CNN-Block).所構建 VAG-CNN-Block共包含12層:第一層為輸入層;第二層至第十一層為隱藏層，包括三個卷積層，三個池化層，三個批標準化層(Batch Normalization，BN)以及一個全連接層;最后一層為輸出層(網絡結構如圖1所示).

圖1 VAG-CNN-Block的網絡結構

VAG-CNN-Block的第一層，第四層，第七層為卷積層，卷積核的尺寸分別設置為9×1，7×1，3×1，卷積核個數依次為9，16，24，移動步長均為1，激活函數均為Relu函數.這三個卷積層采用了三個不同且較小的卷積核以提取不同尺度下的細節特征.隨著網絡層級加深，所提特征變得抽象，而高層次的特征對于分類任務而言更為重要，因此卷積尺寸逐漸減小，卷積核個數逐漸增加;為增加模型收斂速度，VAG-CNN-Block的第二層，第五層，第八層設置為Batch Normalization層，其中標準化方式為Z-score方法;同時，為增強所提特征泛化能力，第三層，第六層，第九層均為池化層，池化核大小為 2×1，池化步長為 2;第十層為包含128個神經元的全連接層，用以完成分類任務;為防止網絡過擬合，在第十層后以參數p=0.6的伯努利分布構建Dropout層;最后，第十二層為包含3個神經元的輸出層，輸出值為對應信號屬于每一類的概率值.VAG-CNN-Block的主要參數設置如表1所示.

表1 VAG-CNN-Block主要參數設置

2.2 基于生理信息的前饋神經網絡模塊

大量研究表明，生理信息(如性別，年齡等)與KOA的病情發展關系密切[1，17-18].為探索生理信息與 KOA不同階段間的關系，本小節構建了一個新的前饋網絡模塊，稱之為基于生理信息的前饋神經網絡模塊(Feedforward Neural Network Block based Physiological Information，PI-FNN-Block).

在PI-FNN-Block的設計中，采用“先縮小范圍，再刻畫細節”的思路進行網絡超參數(即網絡層數以及每層隱節點個數)的選取，可總結為如下算法.

算法 I(PI-FNN-Block超參數搜索算法):給定預處理后的生理數據集P，網絡的層數設為i.

步驟1當i=1時(即單隱層網絡)，完成最優神經元數目的搜索.

首先，進行粗搜索.以包含10個神經元的單隱層網絡為第一個網絡，采用生理數據集P訓練網絡，得到該網絡的性能評價指標值(實驗中采用準確率).在(0，100]范圍內，以10為步長，逐次增加單隱層網絡所含神經元的數目，訓練各個網絡，并記錄各網絡的性能評價指標.對上述10次實驗結果進行對比，得到網絡性能最優時對應網絡的神經元數目，記為(上標指搜索輪次，下標指網絡層數);

步驟2當i=i+1時，完成最優神經元數目的搜索.

增加網絡層數，完成最優神經元數目的搜索.搜索方法與步驟1中所述單隱層網絡的兩輪搜素方法一致，且兩個隱層的神經元數目相互獨立，最終可得.跳轉至步驟3.

步驟3比較網絡性能差異，確定是否增加網絡層數.

即兩個網絡的準確率之差小于5%，則根據奧卡姆剃刀定律，跳轉至步驟4;若

圖2 PI-FNN-Block超參數搜索算法流程圖

2.3 基于 MBE-Net模型的 KOA分級診斷方法

為實現基于多源數據的KOA分級診斷，本小節結合VAG-CNN-Block與PI-FNNBlock，采用注意力機制設計了一種集成網絡模型MBE-Net.

設VAG-CNN-Block的輸出為yV AG，PI-FNN-Block模塊的輸出為yPI.首先，根據注意力機制，通過控制矩陣Wc與偏置bc計算yV AG與yPI的相關性，即

進而，將注意力分數a作為權重對yt=(yV AG，yPI)進行加權處理，得到加權向量ya

最終，將加權向量ya作為網絡輸出層的輸入，由于KOA的分級診斷為一個三分類問題，故輸出層共包含三個神經元，并采用softmax函數完成分類.MBE-Net模型的輸出向量可表示為

其中，W為連接權重矩陣，b為偏置向量.

在上述所搭建MBE-Net模型的框架下，本文所提出的KOA分級診斷方法可概括如下，共分為兩個步驟.首先，對VAG信號與生理信息進行數據預處理，其中對原始VAG信號進行濾除噪聲頻帶，降低采樣頻率，對齊與白化等預處理，對生理數據分別進行異常值的修正，缺失值的填充，冗余的降低，重編碼等預處理;其次，以預處理后的VAG信號與生理數據為輸入，以交叉熵為損失函數，采用Adam方法訓練MBE-Net模型完成正常受試者，輕度KOA患者以及重度KOA患者的三分類任務，以實現KOA的分級診斷(如圖3所示).

圖3 KOA分級診斷方法流程圖

3 數值實驗

3.1 數據集

本文實驗數據來自西安市某兩所醫院的骨科數據，共包含2017年10月到2019年9月所采集的共2748名受試者的相關數據.考慮到本文需要同時采用VAG信號和生理數據，最終選取了2227個樣本，每一樣本同時包含受試者的一條VAG信號及其對應的生理信息.最終所用數據集共包含2227個樣本，其中正常受試者的樣本742個，輕度KOA患者的樣本744個，重度KOA患者的樣本741個.所選取樣本的VAG信號構成本文的VAG信號數據集，所選取樣本的生理信息構成本文的生理數據集.在后續實驗中，將兩個數據集按9:0.5:0.5的比例隨機劃分為訓練集，驗證集與測試集，其中訓練由2003個樣本個樣本構成，驗證集與測試分別由112個樣本構成.所有實驗均在MatlabR2020b與Python 3.7.6中完成.

3.2 數據預處理

(1)VAG信號的預處理

首先，采用10階Butterworth帶通濾波器濾除VAG信號中的噪聲分量，其中濾波器的帶通范圍為 [50，1000]Hz;其次，為了降低信號中的冗余，使用三次樣條插值對信號進行降采樣處理，采樣間隔為5(即采樣頻率由10240Hz降至 2000Hz);進而，采用隨機裁剪，平移補齊方法對信號進行對齊預處理[19-20];考慮到VAG信號的波動性在KOA不同階段的顯著差異，進一步對上述處理后的信號進行差分處理.對預處理后的信號以及其差分信號，采用公式(1)-公式(3)計算對應的功率譜與相位譜，并將其作為VAG-CNN-Block的輸入.圖4展示了一條10s的輕度KOA-VAG信號及其差分信號的功率譜與相位譜，其中圖4(a)為預處理后10s的VAG信號，圖4(b)為對應的差分信號，圖4(c)與圖4(e)為對應圖4(a)的功率譜與相位譜，圖4(d)與圖4(f)為對應圖4(b)的功率譜與相位譜.

圖4 一條10s的輕度KOA-VAG信號及其差分信號的功率譜與相位譜

(2)生理信號的預處理

首先在醫生指導下，認為體重在[160，180]kg，以及身高在[50，100]cm這一范圍內的數據均為異常值.將這部分異常值轉化為缺失值.進而采用KNN方法對年齡，身高，體重中存在的缺失值進行填充處理[21];其次，由于身高與體重之間存在較強相關性，為了降低冗余，采用身體質量指數(Body Mass Index，BMI)進行后續分析，即

其中，weight為體重(單位:千克)，height為身高(單位:米).

此外，由于性別為文本數據，而年齡與BMI均為連續數據.為解決數據類型不一致問題，采用One-hot編碼將性別，年齡與BMI均映射為分類數據，從而完成生理信息的數據預處理.表2展示了對于年齡的One-hot編碼結果.

表2 年齡的One-hot編碼

3.3 實驗結果與分析

為了驗證所提方法的有效性，采用準確率，靈敏度，特異度進行評估.考慮類別i(i∈{正常VAG，輕度 KOA-VAG，重度KOA-VAG})，其準確率，靈敏度，特異度分別為

其中，TPi為第i類樣本被正確預測為第i類的樣本數;TNi表示非第i類的樣本被正確預測為各自類的樣本數;FPi為非第i類的樣本被錯誤預測為第i類的樣本數;FNi為第i類樣本被錯誤預測為其他類的樣本數.最終所有類別的性能指標平均值被作為最終的性能度量.

采用算法I對PI-FNN-Block的超參數進行搜索，圖5展示了部分搜索結果，可以看到包含43個神經元的單隱層網絡準確率最高，故選擇這一結構作為PI-FNN-Block.采用預處理后的數據訓練MBE-Net.圖6展示了訓練過程中的損失函數的變化曲線以及準確率的變化曲線(藍色曲線代表訓練數據集上的結果;橙色曲線代表驗證數據集上的結果).可以看到網絡在前40個epoch中損失函數快速下降，準確率穩步上升，在第40個epoch時準確率趨于100%，而40個epoch之后驗證集的損失函數值反而有上升趨勢.因而確定在第40個epoch時，停止網絡的訓練.

圖5 PI-FNN-Block超參數的搜索結果

圖6 MBE-Net訓練過程中的損失函數的變化曲線以及準確率的變化曲線

最后，將訓練好的MBE-Net模型在測試集上進行驗證，所得分級診斷結果如表3所示，準確率，靈敏度，特異度分別可達 87.5%，87.2%與 93.6%.進一步，為說明本文所設計的MBE-Net模型的有效性，將 VAG-CNN-Block與PI-FNN-Block進行單獨訓練，所得測試集上的實驗結果仍列于表 3中.可以看出，MBE-Net的準確率，靈敏度與特異性均明顯高于 VAG-CNN-Block與 PI-FNN-Block.具體地，MBE-Net準確率相較 VAG-CNN-Block與PI-FNN-Block分別提高了 6.5%和 11.4%;靈敏度分別提高了8.4%和10.7%;特異度分別提高了 4.2%和6.4%.圖7(a)-7(c)分別展示了對應 VAG-CNN-Block，PI-FNN-Block及 MBE-Net測試結果的混淆矩陣.從中可知VAG-CNN-Block與PI-FNN-Block對輕度KOA樣本的檢測能力較差，存在將較多輕度KOA樣本錯分至健康樣本或者重度KOA樣本的情況;而MBE-Net則相對較好地完成了各個類別的診斷.綜上，本文所提方法可以有效結合VAG信號與生理特征以完成KOA的分級診斷.

圖7 混淆矩陣

表3 模型分類性能

4 總結與展望

本文提出了一種新的基于多源數據與深度集成網絡的KOA分級診斷方法.首先，在卷積神經網絡框架下，構建了用于分析VAG信號的卷積神經網絡模塊VAG-CNNBlock;其次，在前饋神經網絡框架下，構建了用于分析生理信息的網絡模塊PI-FNN-Block;進而，結合VAG-CNN-Block和PI-FNN-Block，采用注意力機制設計了一種集成網絡模型 MBE-Net;最后，采用臨床數據集訓練 MBE-Net模型，完成正常受試者，輕度KOA患者與重度KOA患者的自動識別.所有數值實驗結果均表明所提方法能夠有效地區分處于不同階段的KOA患者.當然本文所提方法僅結合了VAG信號與生理信息兩種類型的數據，臨床中還存在大量影像數據，如X光片，MRI影像，步態圖片等，后續研究可嘗試進一步結合影像數據，提出基于多模態數據的KOA輔助診斷方法.