基于DE-HR-Net模型自動測量Miniaci角

劉 珍,郭志恒,王永成,白福忠

(1.內(nèi)蒙古工業(yè)大學(xué)機械工程學(xué)院,內(nèi)蒙古 呼和浩特 010051;2.內(nèi)蒙古自治區(qū)人民醫(yī)院骨關(guān)節(jié)科,內(nèi)蒙古 呼和浩特 010051)

下肢載荷應(yīng)力分布異常可引起下肢力線偏移,造成膝關(guān)節(jié)內(nèi)外翻畸形,進而導(dǎo)致膝關(guān)節(jié)骨性關(guān)節(jié)炎[1]。Miniaci法是評估下肢角度畸形的最常用方法之一[2-3],用于測量其矯正角度亦具有較高準確性[4],但需要手動標注關(guān)節(jié)特征點,存在難以避免主觀誤差、效率較低及個體差異等問題。本研究以引入密集連接、高效通道注意力機制的高分辨率網(wǎng)絡(luò)(dense efficient-channel-attention high-resolution net, DE-HR-Net)的深度學(xué)習(xí)(deep learning, DL)方法觀察自動測量全下肢正位X片中下肢畸形矯正角度(Miniaci角)的價值。

1 資料與方法

1.1 一般資料 回顧性分析2019年12月—2022年8月內(nèi)蒙古自治區(qū)人民醫(yī)院256例膝內(nèi)翻患者全下肢正位X線片,男91例、女165例,年齡41～78歲、平均(62.9±7.9)歲。納入標準:全下肢正位片清晰顯示髖、膝及踝關(guān)節(jié)。排除標準:①髖關(guān)節(jié)置換術(shù)后;②嚴重髖關(guān)節(jié)發(fā)育不良;③膝關(guān)節(jié)置換術(shù)后;④圖像質(zhì)量差。本研究經(jīng)院倫理委員會批準(202303906L)。

1.2 儀器與方法 采用GE Discovery XR656數(shù)字化X光機攝雙下肢負重正位片,以電壓80 kV、電流320 mA依次攝髖、膝、踝關(guān)節(jié)片后,采用數(shù)字拼接方式拼接成全下肢X線片。通過數(shù)據(jù)擴增,共獲得900幅單側(cè)全下肢圖像,按5∶1將其分為訓(xùn)練集(n=750)和測試集(n=150)。

1.3 標注關(guān)節(jié)特征點 將DICOM文件格式的原始全下肢X線片轉(zhuǎn)為JPG格式,并保持圖像比例不變。采用Matlab App Designer輔助標注下肢特征點軟件,以髖關(guān)節(jié)中心點、目標力線與脛骨平臺交點(Fujisawa點)、合頁點及踝關(guān)節(jié)中心點為測量Miniaci角所需的4個特征點并制作數(shù)據(jù)集標簽:根據(jù)股骨頭外輪廓3點(股骨頭圓韌帶窩上方拐點、股骨頭最右側(cè)拐點及股骨頭最下側(cè)拐點)擬合圓確定髖關(guān)節(jié)中心,以脛骨平臺外側(cè)62.5%處為Fujisawa點[5],以腓骨頭上表面與脛骨皮質(zhì)交界點為合頁點,以距骨寬度線中點為踝關(guān)節(jié)中心點。見圖1。

圖1 于右側(cè)全下肢正位片中標注特征點示意圖 (a為髖關(guān)節(jié)中心點,b為Fujisawa點,c為合頁點,d為踝關(guān)節(jié)中心點) 圖2 測量Miniaci角示意圖

1.4 測量Miniaci角 通過Miniaci法測得Miniaci角,以髖關(guān)節(jié)中心點為起點,過Fujisawa點作延長線(即目標力線);連接合頁點(c點)與踝關(guān)節(jié)中心點(d點),以合頁點為中心逆時針旋轉(zhuǎn)cd線直至與目標力線相交,將目標力線與cd線旋轉(zhuǎn)交點設(shè)為e點,Miniaci角為以cd線與ce線重合時cd線的旋轉(zhuǎn)角度θ。見圖2。

1.5 圖像預(yù)處理 對圖像進行銳化、對比度增強、Gamma變換、灰度均衡化及添加高斯、椒鹽噪聲擾動信號(圖3)后,截取髖關(guān)節(jié)、膝關(guān)節(jié)及踝關(guān)節(jié)小目標區(qū)域用于訓(xùn)練模型;以遷移學(xué)習(xí)方法[6]訓(xùn)練數(shù)據(jù)集,將以ImageNet預(yù)訓(xùn)練好的模型權(quán)重作為基礎(chǔ)權(quán)重。

圖3 預(yù)處理右側(cè)全下肢正位圖像

1.6 建立自動檢測下肢特征點模型 以中國科學(xué)技術(shù)大學(xué)和微軟亞洲研究院提出的高分辨率網(wǎng)絡(luò)(high-resolution net, HR-Net)[7]為骨干網(wǎng)絡(luò),引入密集連接機制[8]和高效通道注意力(efficient channel attention, ECA)機制[9](圖4);以串行連接方式將Stage1中的4個BottleNeck模塊改為密集連接方式,在每個Stage中添加ECA機制模塊,重新標定通道權(quán)重信息,由此構(gòu)建DE-HR-Net模型(圖5)。

圖4 Dense密集連接機制(A)和ECA機制(B)結(jié)構(gòu)圖 (X及分別為輸入及輸出特征圖;b1～b4代表4個BottleNeck模塊;W和H分別為特征圖的寬和高;C為通道數(shù);GAP指全局平局池化;K指自適應(yīng)卷積核)

圖5 DE-HR-Net結(jié)構(gòu)示意圖 網(wǎng)絡(luò)分為4個階段(Stage):Stage1只包含1個最高分辨率分支,自 Stage2始每個階段依次增加1個平行分支并降低分辨率;Stage4共輸出4個具有不同分辨率的特征圖,其通道數(shù)分別為48、96、192、384,分辨率分別降為原圖的1/4、1/8、1/16、1/32;通過1×1卷積核輸出包含特征點信息的熱力圖,圖中顏色最深的4個點為預(yù)測特征點 (a:3×3卷積;b:密集連接模塊;c:BasicBlock模塊;d:1×1卷積;e:正向傳播;f:上采樣;g:下采樣)

1.7 測試模型效能 于測試集中隨機抽取60幅全下肢圖像,分別以模型自動測量(模型組)、由醫(yī)師手動測量(醫(yī)師組)Miniaci角,計算組間平均絕對誤差(mean absolute error, MAE)。自動測量Miniaci角時,將DE-HR-Net模型獲得的4個特征點坐標導(dǎo)入Matlab App Designer軟件,自動獲得Miniaci角。

以測試集輸出特征點坐標與手工標注特征點坐標的歐式距離平方和的均方誤差(mean-square error, MSE)評價DE-HR-Net模型的性能:

式中,xp,i和xt,i分別代表x坐標的預(yù)測值和標簽值,yp,i和yt,i代表y坐標的預(yù)測值和標簽值,i代表每個特征點對應(yīng)的序號,n代表特征點總數(shù)。

分別觀察初始網(wǎng)絡(luò)(HR-Net)、僅添加密集連接機制的HR-Net(Dense-HR-Net)及僅添加ECA機制的HR-Net(ECA-HR-Net)預(yù)測下肢特征點的準確性。

1.8 統(tǒng)計學(xué)分析 采用SPSS 26.0統(tǒng)計分析軟件。以Spearman相關(guān)系數(shù)評估組間測量結(jié)果的相關(guān)性;以|r|>0.75為高度相關(guān)。采用組內(nèi)相關(guān)系數(shù)(intra-class correlation coefficient, ICC)評價2組測量結(jié)果的一致性:ICC<0.40為一致性較差,0.40～0.75為一致性尚可,ICC>0.75為一致性較好。繪制Bland-Altman圖及散點圖,比較組間測量結(jié)果的差異。P<0.05為差異有統(tǒng)計學(xué)意義。

2 結(jié)果

2.1 檢測特征點性能 分別以HR-Net、Dense-HR-Net、ECA-HR-Net及DE-HR-Net檢測全下肢正位片特征點的MSE,其中DE-HR-Net模型的MSE最小,其在髖關(guān)節(jié)中心點、Fujisawa點、合頁點及踝關(guān)節(jié)中心點分別為1.34、1.49、1.91及1.44。見表1。

表1 HR-Net、Dense-HR-Net、ECA-HR-Net及DE-HR-Net檢測全下肢正位片中的特征點的MSE(pt)

2.2 測量Miniaci角 模型組和醫(yī)師組測量Miniaci角分別為(12.10±3.83)°和(12.08±3.83)°,二者高度相關(guān)(r=0.991,P<0.05)且一致性較好(ICC=0.995),MAE為0.22°,組間測量結(jié)果差異較小(圖6A);線性擬合函數(shù)為Y=0.042+0.994×X,R2=0.989,2組結(jié)果擬合程度較高(圖6B)。

圖6 模型組與醫(yī)師組Miniaci角測值比較 A.Bland-Altman圖; B.散點圖

3 討論

術(shù)前預(yù)測下肢畸形Miniaci角有助于評估膝內(nèi)翻患者下肢畸形程度,是保證截骨術(shù)成功的關(guān)鍵之一。醫(yī)師手工測量Miniaci角需準確定位關(guān)節(jié)特征點,操作復(fù)雜、效率低、可重復(fù)性差,且存在觀察者間差異。本研究基于引入密集連接、ECA機制的DE-HR-Net構(gòu)建檢測特征點模型,以嘗試自動測量Miniaci角。

隨著人工智能不斷發(fā)展,近年以DL處理醫(yī)學(xué)圖像已成為相關(guān)領(lǐng)域內(nèi)的研究熱點,包括分割、定位、檢測病灶及圖像配準和融合。相比檢測關(guān)節(jié)特征點的傳統(tǒng)方法,DL基于更大規(guī)模數(shù)據(jù)集特征信息,無需手動設(shè)計特征提取器,準確性和魯棒性均更好[10-12]。NGUYEN等[13]采用卷積神經(jīng)網(wǎng)絡(luò)(convolution neural network, CNN)測量下肢生物力學(xué)參數(shù),并建立2階段CNN模型以測量下肢關(guān)鍵角度。PEI等[14]以U-Net網(wǎng)絡(luò)分割下肢關(guān)節(jié)并測量髖-膝-踝角(hip-knee-ankle, HKA)成功。林奕軍等[15]基于改進后的Dense-U-Net測量髖關(guān)節(jié)外側(cè)中心邊緣(lateral center edge, LCE)角和Sharp角,以評估髖關(guān)節(jié)發(fā)育不良程度。張子健等[16]采用HR-Net檢測下肢關(guān)鍵點,并測得股骨遠端外側(cè)角、脛骨近端內(nèi)側(cè)角、股骨脛骨關(guān)節(jié)線夾角及HKA。

相比OpenPose及Mask-區(qū)域CNN等網(wǎng)絡(luò),HR-Net的優(yōu)勢在于其所提取的特征圖均為高分辨率圖像,檢測人體姿態(tài)關(guān)鍵點任務(wù)的平均精確度及平均召回率均較高,可更好地滿足檢測下肢特征點的任務(wù)需求。為提高模型檢測精度,本研究在HR-Net基礎(chǔ)上引入密集連接機制與ECA機制,通過密集連接機制對網(wǎng)絡(luò)各層間的特征信息進行相互連接,以增強其表達特征能力;再通過ECA機制對通道層級賦予權(quán)重信息,以提高模型檢測關(guān)節(jié)區(qū)域重要特征的能力。為增強模型的泛化能力,本研究通過圖像增強方式擴充數(shù)據(jù)集;為消除冗余信息對模型性能的影響,分別對髖關(guān)節(jié)、膝關(guān)節(jié)及踝關(guān)節(jié)區(qū)域進行截取,并以截取后的關(guān)節(jié)區(qū)域圖像對模型進行訓(xùn)練。本研究以DE-HR-Net測得4個特征點的MSE分別為1.34、1.49、1.91、1.44,提示預(yù)測結(jié)果誤差較小;相比初始HR-Net,MSE降低約1個像素值,可較好提升預(yù)測效能。本研究模型組與醫(yī)師組所測Miniaci角的MAE為0.22°、r為0.991、ICC為0.996,表明模型自動測量結(jié)果可代替醫(yī)師手動測量。

綜上所述,本研究成功建立的DE-HR-Net模型可用于自動測量Miniaci角。本研究的主要局限性:①為單中心、小樣本、回顧性研究;②未對股骨及脛骨區(qū)域進行分割提取,可能影響結(jié)果;③醫(yī)師制作數(shù)據(jù)集標簽時存在一定主觀誤差;有待后續(xù)加以完善。