基于深度學習構建模型識別下肢全長正位X線片中的下肢力線關鍵點及自動測量關鍵角度

張子健，馬劍雄*，柏豪豪，王 穎，孫 磊，盧 斌，高之浩，于成雙，孫漢宸，馬信龍

(1.天津大學天津醫院骨科研究所，天津 300050；2.天津市骨科生物力學與醫學工程重點實驗室，天津 300050)

膝內、外翻畸形指雙下肢自然伸直或站立時兩膝(踝)相觸而兩踝(膝)不能同時閉合，即下肢負重力線發生改變，可致骨關節炎、髕骨軟化等疾病[1]，出現關節疼痛并影響關節功能。在下肢全長正位X線片上繪制下肢力線并測量關鍵角度是骨科治療膝內、外翻畸形的關鍵[2]，多需由骨科醫師手動標點、連線并測量角度[3]，存在主觀誤差且效率較低。深度學習(deep learning， DL)方法已廣泛用于醫學領域[4-8]，基于DL自動測量下肢全長正位X線片中的關鍵角度的相關研究漸受關注，如PEI等[9]基于DL開發了自動測量下肢全長正位X線片中的髖-膝-踝角(hip-knee-ankel angle, HKA)系統；NGUYEN等[10]提出兩階段卷積神經網絡(convolution neural network, CNN)算法，用于測量下肢全長正位X線片中的關鍵角度。本研究基于DL方法構建自動測量下肢全長正位X線片關鍵角度模型，并評估其臨床價值。

1 資料與方法

1.1 一般資料 回顧性分析2019年10月—2021年2月634例因膝關節疼痛于天津大學天津醫院就診患者，男254例、女380例，年齡47～83歲、平均(66.4±7.9)歲；膝內翻255例、外翻221例，158例無明顯膝內翻或膝外翻。納入標準：負重位下肢全長正位X線片資料完整，同時清晰顯示髖、膝及踝關節。排除關節置換術后、關節融合及圖像質量差者。

1.2 儀器與方法 采用Philips Digital Diagnost平板式數字化X線攝影系統采集下肢全長正位X線片。囑患者前后站立，面向球管、背靠站立支架，兩足尖及內踝并攏，盡量膝關節伸直；曝光范圍自髖關節至踝關節，管電壓及管電流機器自動調節，焦片距1.8 m，X線球管自動旋轉曝光3次，以對接程序自動拼接圖像。

1.3 關鍵點標注 分割圖像后獲得1 268幅左、右側下肢全長正位圖像。分別截取雙側髖、膝及踝關節圖像，由5名具有10年以上臨床經驗的骨科主治醫師采用Python 3.7編寫的程序分別標注下肢力線[11]關鍵點，包括髖關節中心、股骨髁間窩頂點、脛骨髁間嵴中點、股骨內側和外側髁最低點、脛骨內側和外側平臺最低點、距骨寬度中點，并依序設定為O、A、B、C、D、E、F、G，獲得其坐標，以標注坐標的均值為標簽。見圖1。

1.4 建立模型 以各關節圖像和標簽構成數據集。基于網絡高分辨率網絡(high-resolution net, HRNet)[12]以DL方法構建自動檢測圖像中的髖、膝及踝關節各關鍵點的模型。HRNet定位關鍵點的精度主要取決于包含關鍵點信息的局部特征和整體圖片的全局語義特征及二者的信息融合。該網絡由4個并行子網絡構成，分為4個階段，每個階段引出下一層子網絡，同一子網絡的通道數不發生變化，并行子網絡的通道數增加1倍，同時分辨率下降50%，以使網絡在始終保持高分辨率特征的同時獲取充足的語義特征。兩個階段之間由融合模塊連接，將不同分辨率的特征信息進行交換和融合，獲得更好的關鍵點特征表示。

圖1 標注下肢力線關鍵點及測量示意圖

在HRNet基礎上將4個子網絡的低分辨率輸出上采樣至高分辨率輸出，并連接起來作為高分辨率特征表示，獲得HRNetV2。根據髖、膝及踝關節需要檢測的關鍵點數量，于HRNetV2后增加相應通道數的卷積層，作為輸出層形成最終的卷積神經網絡。見圖2。

基于HRNet進行遷移學習，訓練時以HRNetV2在圖像數據集分類任務中的預訓練權值作為初始權重；經過高斯變換，以標注的關鍵點坐標標簽為熱圖標簽參與訓練。訓練好的模型可從各關節圖像中檢出包含關鍵點坐標信息的熱圖，表現為關鍵點坐標處顏色最

圖2 基于HRNet模型自動檢測髖、膝及踝關節關鍵點示意圖

深、向外逐漸變淺；通過程序轉換所獲熱圖為關鍵點坐標值。采用5折交叉驗證(圖3)，將數據集隨機均分無重復樣本的5組，以其中一組為驗證集、其余4組為訓練集；重復以上步驟5次，輪流以各組樣本作為驗證集，計算自動檢測模型在驗證集上輸出的關鍵點坐標與標簽之間差值的平均值，以評估模型性能并篩選最優模型。

以自動檢測模型檢出髖、膝、踝關節最優關鍵點坐標后，通過余弦定律計算機械股骨遠端外側角(mechanical lateral distal femoral angle, mLDFA)(OA與CD之間的夾角)、脛骨近端內側角(medial proximal tibial angle, MPTA)(BG與EF之間的夾角)、股骨脛骨關節線夾角(joint line convergence angle, JLCA)(CD與EF之間的夾角)和HKA(OA與BG之間的夾角)(圖1)；以自動檢測關鍵點模型和經余弦定律計算所得關鍵角度共同構建自動測量關鍵角度模型。

圖3 5折交叉驗證示意圖

1.5 模型效能驗證及統計學分析 隨機選取50幅下肢全長正位X線片，由另3名具有30年以上骨科經驗的主任醫師分別采用AutoCAD 2019軟件(Autodesk公司，美國)手動標注關鍵點，并測量mLDFA、JLCA、MPTA、HKA，取其均值為最后結果，用于驗證關鍵角度自動測量模型測量各角度的效能。

2 結果

2.1 篩選最優關鍵點自動檢測模型 5組關鍵點自動檢測模型輸出髖、膝及踝關節關鍵點坐標與標簽之間差值的平均值分別為1.01、0.94及0.97 pt(表1)，分別以第3折模型參數、第1折模型參數及第3折模型參數為最優模型參數。

表1 5組關鍵點自動檢測模型輸出髖、膝及踝關節關鍵點坐標與標簽之間差值(pt)

2.2 關鍵角度自動測量模型測量各角度的效能 3名骨科醫師測量mLDFA、MPTA、JLCA、HKA的一致性均極高(W均>0.95，P均<0.05)，其均值分別為(88.50±2.59)°、(86.41±2.25)°、(2.90±2.27)°、(174.62±3.97)°。關鍵角度自動測量模型獲得上述角度分別為(88.48±2.60)°、(86.52±2.57)°、(3.11±2.41)°、(174.53±3.99)°，與醫師測量結果的一致性較好，ICC分別為0.897[95%CI(0.851，0.929)]、0.888[95%CI(0.838，0.923)]、0.826[95%CI(0.752，0.879)]、0.996[95%CI(0.994，0.997)]。

Bland-Altman圖(圖4)顯示，自動測量關鍵角度模型與醫師測量結果的差值分布于95%一致性界限內(差值均值±1.96×差值的標準差)，二者一致性較好，其測量mLDFA、MPTA、JLCA和HKA的差值分別為(-0.013 5±1.178 9)°、(0.112 6±1.143 3)°、(0.2126±1.3826)°和(-0.092 2±0.359 7)°。

3 討論

下肢力線一般指通過髖關節中心和踝關節中心的軸線[11]，其關鍵點主要集中在髖、膝及踝關節。下肢力線和關鍵角度可經由髖關節中心、股骨髁間窩頂點、脛骨髁間嵴中點、股骨內側和外側髁最低點、脛骨內側和外側平臺最低點、距骨寬度中點8個關鍵點的位置加以確定。識別下肢全長正位X線片中上述關鍵點的位置準確與否影響關鍵角度測量結果。本研究構建自動識別關鍵點模型，以獲得關鍵點在下肢全長正位X線片中的坐標，進而計算各關鍵角度；分別截取髖、膝及踝關節圖像作為關鍵點自動檢測模型訓練的樣本數據集以減少冗余信息、降低模型計算量，提高訓練速度，增加模型精度，所獲模型用于測量耗時不足1 s。

圖4 自動測量關鍵角度模型與醫師測量結果的Bland-Altman圖 A.mLDFA； B.MPTA； C.JLCA； D.HKA

在計算機視覺領域中，目前檢測關鍵點相關研究主要集中于評估人體姿態(檢測人體關鍵點)和人臉識別(檢測人臉關鍵點)任務。為彌補空間精度損失，用于檢測關鍵點的傳統卷積神經網絡常引入上采樣或空洞卷積等，以提高特征分辨率，卻并不能完全彌補空間分辨率的損失。本研究采用HRNet建立自動檢測關鍵點模型，通過在并行多分辨率子網絡上反復交換信息進行多尺度重復融合，始終維持高分辨率的表示，并通過遷移學習初始化模型權重，可在一定程度上彌補DL需要大量樣本的缺陷，解決醫學圖像處理任務中數據集較小的問題[13]。采用熱圖網絡可直接回歸出每一類關鍵點的概率，在一定程度上對每一個點均提供監督信息，使網絡能夠較快收斂；同時對每一個像素位置進行預測，能夠提高定位關鍵點的精度。采用5折交叉驗證，通過比較關鍵點自動檢測模型輸出的關鍵點坐標與標簽之間的差值以篩選最優模型，提高模型對關鍵點檢測精度。

本研究結果顯示，自動測量關鍵角度模型與醫師所測mLDFA、MPTA、JLCA、HKA的一致性均較好，HKA的ICC高于mLDFA和MPTA，JLCA最??；且二者HKA測量值的差值小于mLDFA和MPTA，JLCA最大。分析原因，可能在于JLCA為關節線CD與EF的夾角，HKA是股骨機械軸OA與脛骨機械軸BG的夾角，CD、EF的長度遠小于OA和BG的長度，故在檢測關鍵點位置存在誤差的情況下，JLCA所受影響大于HKA。

綜上，以DL方法基于下肢全長正位X線片構建的自動測量關鍵角度模型有助于骨科醫師識別關鍵點、測量關鍵角度，提高臨床工作效率。本研究的主要局限性：①施行矯正手術時，需要同時考慮冠狀位和矢狀位下肢力線[14]，而本研究未分析矢狀位所見下肢力線和關鍵角度；②為單中心研究，可能存在數據偏移；③通過人工標注獲得訓練標簽，存在主觀誤差。

使用阿拉伯數字和漢字數字的一般原則

根據GB/T 15835《出版物上數字用法的規定》

(1)在統計圖表、數學運算、公式推導中所有數字包括正負整數、小數、分數、百分數和比例等，都必須使用阿拉伯數字。

(2)在漢字中已經定型的詞、詞組、成語、縮略語等都必須使用漢語數字，例如：一次方程、三維超聲、二尖瓣、法洛四聯癥、星期一、五六天、八九個月、四十七八歲等。

(3)除了上述情況以外，凡是使用阿拉伯數字而且又很得體的地方，都應該使用阿拉伯數字。遇到特殊情況時，可以靈活掌握，但應該注意使全篇同一。

(4)如果數字的量級小于1時，小數點前面的零(0)不能省去，如0.32不能寫成.32。