基于改進殘差網絡的骨齡評估方法

摘 要：為了更細節地提取手部X圖像特征，提出了一種基于改進殘差網絡的骨齡評估方法?；赥W3方法，結合輕量高效注意模塊改進殘差網絡，提高細小顆粒特征的提取準確率。實驗結果表明，該方法在西安某三甲醫院提供的數據集上，男、女性的平均絕對誤差（MAE）分別是0.422 8歲和0.434 1歲，在1歲誤差范圍內，男、女性的準確率分別達到93.82%和93.16%，明顯地提高了骨齡評估的準確率。

關鍵詞：骨齡評估；改進殘差網絡；輕量高效注意模塊；TW3

中圖分類號：TP391.4；TP183 文獻標識碼：A 文章編號：2096-4706（2024）15-0134-05

Bone Age Assessment Method Based on Improved Residual Network

MA Ruiqi， HU Xiaodan， XI Xiulei

（Zhengzhou University of Science and Technology， Zhengzhou 450064， China）

Abstract： In order to extract features from hand X images in more detail， this paper proposes a method of bone age assessment based on improved residual network. Based on the TW3 method， combined with lightweight and efficient attention modules， it improves the extraction accuracy of minuscule particle features. Experimental results demonstrate that the method has the Mean Absolute Error （MAE） of 0.422 8 years and 0.434 1 years for males and females on the dataset provided by a tertiary hospital in Xi'an. Within the one-year error range， the accuracy of males and females reaches 93.82% and 93.16%， respectively， significantly improving the accuracy of bone age assessment.

Keywords： bone age assessment; improved residual network; lightweight and efficient attention module; TW3

0 引 言

骨骺年齡是一種生物學年齡，簡稱骨齡。其是利用X圖像檢查對于左手的掌骨、腕骨、橈骨以及尺骨下端的骨化中心的成長狀態，從而得到結果[1-2]。評估骨齡是一種能夠精確反映人體生長發育狀況和成熟度的方法，它不但可以測定一個人的生物年齡，而且可以根據骨齡來判斷一個人的生長發育潛能和性成熟情況，在某些內分泌方面也有很大的幫助，同時還廣泛應用于體育競賽領域和司法領域等[3-4]。

我國臨床領域常用的骨齡評估方法有計數法、Greulich and Pyle（GP）方法[5-6]和Tanner-Whitehouse（TW2，TW3）計分法[7]。計數法顧名思義是計算骨化中心個數并以此來評估骨齡，是骨齡評定的最早方法。骨齡計數法認為骨化中心出現的年齡與骨成熟的速度為正相關，骨化中心個數異常，則發育異常。手腕骨化點計算方法是骨化點的數量等于實際年齡加1，即骨化中心數與實際年齡相差1，表明該兒童體格發育接近正常水平。計數法常應用于10歲以下男孩和女孩，即僅供小年齡的粗測。G-P圖譜法從骨化中心出現的位置，骨骺與干骺端的占比，某些切跡的出現以及骨骺與干骺端的關系制定了新生兒到19歲青少年手腕部骨骼成熟度系列X線圖譜，其判讀依據為每個骨化中心出現的時間、大小、形態、密度。計數法計算骨齡的平均絕對誤差較大，故國內外很少使用此方法判斷骨骺發育程度。GP圖譜方法依賴醫生豐富的經驗，主觀性強，不同的醫生評估同一X圖像可能會有不同的結果。TW計分法思想為針對左手一些有特點的骨骺區域（Regions of Interest，ROIs）進行等級劃分，得到每個骨骺區域對應的等級分數，將骨骺等級總分，換算為相應的骨齡[8]。TW方法比GP圖譜法更能準確地進行骨齡評估，但也存在依賴醫生主觀經驗及耗時長的問題[9]。近年來，由于深度學習技術飛速發展，深度學習架構的創新與改進已成為工業界和學術界的熱點問題。循環卷積神經網絡作為一種新的深度學習架構，在圖像識別、圖像分類和圖像檢測等領域都展現出了巨大的潛力。

在骨齡評估研究領域，隨著人工智能的發掘和興起，也開始使用卷積神經網絡（Convolutional Neural Networks， CNNs）[10-11]來代替傳統人工閱讀X圖像進行評估骨骺的發育程度。2018年，胡婷鴻等人[12]基于維吾爾族青少年左手腕X影像，利用AlexNet網絡自動化骨齡評估，在1歲誤差范圍內，男、女性測試集實現的準確率分別為79.5%和71.2%。2019年，占夢軍等人[13]對四川漢族青少年的左腕部骨骼年齡進行了自動檢測，并對其進行了分析。利用改進后的AlexNet網絡進行骨齡評估，在1歲誤差范圍內，男、女性的準確率分別為81.08%，87.56%。2020年，張世杰等人[14]提出一種基于深度學習卷積神經網絡評估骨骺發育成熟度的方法，本研究以四川大學華西二院為研究對象，在±1歲誤差范圍內，取得的準確率分別為：女性為94.25%，男性為94%；平均絕對誤差分別是：女性和男性分別是0.512 5歲和0.557 5歲。2021年，唐志豪等人[8]提出一種基于RSNA和DHA數據樣本使用結合高效通道注意模塊的殘差網絡進行骨骺發育程度的評估，當誤差為1歲時，平均絕對誤差分別為4.69個月和5.98個月，評估骨齡的準確率可以達到98.36%和94.88%。

為了能夠使網絡提取更多骨骺信息，實現更準確、更高效的骨齡評估，本文提出一種改進的殘差網絡與注意力模型相結合的評估骨齡方法。將殘差網絡ResNet[15-16]進行雙池化融合，結合輕量高效注意力模塊SA[17]，使網絡學習到更多細小顆粒骨骺特征。骨齡評估方法流程如圖1所示。

1 改進的骨齡評估網絡

1.1 結合輕量高效注意模塊

為了使卷積神經網絡能夠準確地關注輸入骨骺的特征，抑制不感興趣的特征，提高骨齡評估的準確率，在殘差網絡的基礎上加入一種新的高效注意機制（SA）模型。該模型是集空間注意力和通道注意力為一體，將特征分組和信道替換作為一種輕量級有效的注意力機制。該模型如圖2所示。

輕量高效注意機制模塊采用Shuffle單元（有效構建多個分支結構以實現對多個分支的并行處理，能夠降低計算量）有效地結合了兩種類型的注意機制，模塊的功能可以總結為分裂—轉換—集成。具體來說分為四個部分。

1）特征分組（Feature Grouping），將每個通道視為一組，將輸入的特征Xk1進行分組，沿著通道維度把輸入的特征拆分為G組，根據每組特征，每個通道和空間都需要不同的重要性系數來增強。這些通道和空間的重要性系數來自通道和空間注意力模塊，分別被稱為通道（Channel）注意力和空間（Spatial）注意力。

2）通道注意力（Channel Attention）提取Xk1特征，該操作采用簡單的GAP+Scale+Sigmoid的單層變換。首先經過全局平均池化（GAP）沿空間維度（X，Y）將二維通道壓縮成一維通道，每一個二維通道都轉化為實數如式（1）所示：

（1）

然后為了使特征更加明顯，按比例增強每個通道的特征圖再通過sigmoid激活實現，得到Xk1增強特征圖，如式（2）所示：

（2）

式中W1 ∈ RC/2G·1·1，b1 ∈ RC/2G·1·1。

3）空間注意力（Spatial Attention）從不同的視角上提取出Xk2特征，利用深度網絡中的分組標準化，將通道劃分為G個群組，并且在每個群組內為每個群組計算平均值和變異數，再進行圖像增強，最終，通過空間注意力機制模塊獲得了Xk2的特性圖，具體如式（3）所示：

（3）

其中，GN（Group Norm）表示組歸一化，W2 ∈ RC/2G·1·1，b2 ∈ RC/2G·1·1。

4）集成（Aggregation）特征，通過通道注意力提取Xk1特征和空間注意力提取Xk2特征之后，融合所提取的特征，得到增強的特征圖Xk′=[Xk1′，Xk2′] ∈ RC/G·H·W，采用通道置換操作進行組間通信，最終經過SA注意力機制模塊提取的特征與輸入的特征有相同的尺寸，以繼續后面的網絡繼續學習。

SA注意機制模塊通過引入“注意力”卷積通道強加于殘差網絡的殘差單元結構上，構成輕量高效注意殘差單元如圖3所示，該圖僅展示了卷積層，安全連接層，平均池化層的融合關系。

如圖3所示，在原本的殘差單元的基礎上添加了一條用于學習權值的附加通路，用于對輸出特性圖進行校正。首先經過平均池化（Avgpooling）來縮小樣本的特征圖，再經過注意力卷積通道（Aconv），獲取特征圖，然后經過上采樣放大注意特征圖，最終得到輸入圖像的特征圖。

1.2 結合輕量高效注意模塊的改進殘差網絡

由于手骨骨骺是一個動態的生長過程并非離散的變化過程，并且各個等級的分類屬于細小顆粒相似特征的提取問題，這使得等級的判定有很大的挑戰性。為了能更好地使卷積神經網絡學習到關鍵骨骺的局部特征，提高各個骨骺等級評定的準確性，在結合輕量高效注意模塊的基礎上進一步改進殘差網絡。改進殘差網絡是將殘差網絡ResNet的后兩層替換為雙池化層，在網絡ResNet的最后一個殘差塊后面分兩個支路，一條支路是平均池化，另一條支路是最大池化，然后將這兩條支路的通道融合，經過卷積1×1進行降維將數據展平，再經過全連接操作得到識別分類結果。結合高效注意模塊就是在改進殘差網絡的基礎上，在殘差網絡模塊融合注意力模塊，這種思路可以進一步提取更多細小顆粒骨骺特征信息，結合注意模塊的改進殘差網絡結構圖如圖4所示。

2 試驗分析

2.1 數據集收集與增強

本論文的樣本數據是以西安一家三甲兒童醫院手骨X圖像作為數據集，然后利用網絡爬蟲等方法得到多張健康左手的圖像，以保證各年齡層次樣本數據的平均分配。收集了中國未成年兒童左手骨圖像，包括男性3 315例（3歲241例、4歲223例、5歲253例、6歲437例、7歲281例、8歲389例、9歲204例、10歲292例、11歲198例、12歲393例、13歲242例、14歲152例、15歲297例、16歲416例），女性2 910例（3歲164例、4歲198例、5歲203例、6歲156例、7歲278例、8歲292例、9歲323例、10歲426例、11歲405例、12歲306例、13歲298例、14歲312例、15歲262例、16歲294例），年齡分布在3～16歲，一共14個組別。所有試驗者都是健康、無先天疾病的手骨圖像，數據集的分布情況如圖5所示。

為了豐富數據集，各個年齡段的數據量分布均衡，為了避免在評定時過度擬合，采用圖像旋轉的方式擴大了樣本的數據量，使得各個年齡段的樣本均勻分布以及各個級別的重要骨骺得到較完整的覆蓋。本研究基于TW3評估方法評估骨骺發育程度，首先分割X圖像的13塊關鍵骨骺區域，這些區域分別為橈骨、尺骨、掌骨Ⅰ、掌骨Ⅲ、掌骨Ⅴ、近指Ⅰ、近指Ⅲ及近指Ⅴ、中指Ⅲ和中指Ⅴ，遠指Ⅰ、Ⅲ、Ⅴ[18]，然后將這些骨骺區域進行等級識別，獲取等級總分轉化為相應的骨齡。為使關鍵骨骺的等級數量分布均勻，骨骺信息更加清晰，獲取更高的準確率，利用圖像增強算法，增強骨骺信息的對比度和清晰度，生成的增強圖像如圖6所示。

2.2 試驗環境

本論文以Windows 10為平臺，使用 Intel Corei5-9400F CPU和GeForce GTX 1660 Ti兩種GPU為核心，使用了基于深度學習的PyTorch框架和Python 3.7。在每一次訓練中，將訓練樣本的數量設定為16，并將初始學習率設定為0.000 1，以防止訓練過程中的梯度爆破式訓練失敗。在程序執行過程中，將訓練樣本和測試樣本按照8：2的比率進行隨機分開。

2.3 評價指標

骨齡評估結果是使用一種新的評定方法—平均絕對誤差對結果進行分析。依據年齡、性別等因素，對評估結果根據年齡分組。在±1歲誤差范圍內，將每一個測試樣本數據的評估骨齡和真實年齡加以對比，得到評估骨骺年齡的準確率和平均絕對誤差值（MAE），其評估表達示為：

（4）

其中：N表示手骨圖像數據集的總數；fi表示每個樣本的實際年齡；yi表示相對于真實骨齡同一樣本的預測骨齡。

2.4 試驗結果與分析

為了使骨齡評估網絡更好地學習骨骺細顆粒信息，在結合注意機制Shuffee Attention（SA）模塊的基礎上進行改進殘差網絡。為了驗證改進殘差網絡的可行性，將改進的ResNet網絡、ResNet網絡基于TW3方法做對比實驗，結果如表1所示。

由表1可知，改進ResNet網絡相比于ResNet可以更好地評估性能。在1歲誤差范圍內，男、女性的平均絕對誤差（MAE）分別是0.422 8歲和0.434 1歲，男、女性的準確率分別達到93.82%和93.16%，相比較于殘差網絡，改進的殘差網絡明顯地提高了骨齡評估的準確率及降低了平均絕對誤差。此外，為了驗證本文提出的基于改進殘差網絡的骨齡評估方法的可行性，也就是改進卷積神經網絡——改進ResNet相對于其他研究學者提出的骨齡評估方法進行比較，如胡婷鴻等人[12]、占夢軍等人[13]、張世杰等人[14]、唐志豪等人[8]，在1歲誤差范圍內，本文提出的骨齡評估方法取得了更高的準確率和更低的平均絕對誤差。

3 結 論

針對提取骨骺細小顆粒特征信息以及提高骨齡評估準確率的問題，本文在ResNet網絡中引入輕量高效注意模塊SA，并進行雙池化融合改進殘差網絡進行骨齡評估。通過試驗結果表明，改進殘差網絡能有效地提取細顆粒骨骺特征信息，提高了骨齡評估的準確率以及降低平均絕對誤差。由于數據集的年齡分布是3～16歲，假設增加0～3歲階段的數據集，使0～16歲的樣本均勻分布，男、女性的準確率、平均絕對誤差覆蓋更加全面。

參考文獻：

[1] 沈繼云.基于NTS深度神經網絡的青少年骨齡評估方法 [J].數字技術與應用，2022，40（12）：123-128.

[2] 李睿，張世杰，黃奧云，等.基于深度學習的青少年手腕骨骨齡評價 [J].計算機技術與發展，2020，30（1）：124-128+134.

[3] 王林.基于數據模型的骨齡計算及身高預測系統設計與實現 [D].杭州：浙江工業大學，2019.

[4] BIAN Z，ZHANG R. Bone Age Assessment Method Based on Deep Convolutional Neural Network [C]//2018 8th International Conference on Electronics Information and Emergency Communication （ICEIEC）.Beijing：IEEE，2018：194-197.

[5] GARN S M. Radiographic Atlas of Skeletal Development of the Hand and Wrist [J].American Journal of Human Genetics，1959，11（3）：282-283.

[6] BAYER L M. Radiographic Atlas of Skeletal Development of the Hand and Wrist [J].California Medicine，1959，91（1）：53.

[7] MALINA R M，BEUNEN G P. Assessment of Skeletal Maturity and Prediction of Adult Height （TW3 Method） [J].American Journal of Human Biology，2002，14（6）：788-789.

[8] 唐志豪，劉利軍，馮旭鵬，等.結合高效通道注意模塊的殘差網絡骨齡評估 [J].光電子·激光，2021，32（3）：331-338.

[9] 占夢軍，張世杰，陳虎，等.骨齡自動化評估的研究進展 [J].法醫學雜志，2020，36（2）：249-255.

[10] KRIZHEVSKY A，SUTSKEVER I，HINTON G E. ImageNet Classification with Deep Convolutional Neural Networks [C]//Advances in Neural Information Processing Systems 25 （NIPS 2012）.CURRAN ASSOCIATION INC.，2012：1-9.

[11] KRIZHEVSKY A，SUTSKEVER I，HINTON G E. Imagenet Classification with Deep Convolutional Neural Networks [J].Communications of the ACM，2017，60（6）：84-90.

[12] 胡婷鴻，火忠，劉太昂，等.基于深度學習實現維吾爾族青少年左手腕關節骨齡自動化評估 [J].法醫學雜志，2018，34（1）：27-32.

[13] 占夢軍，張世杰，劉力，等.基于深度學習自動化評估四川漢族青少年左手腕關節骨齡 [J].中國法醫學雜志，2019，34（5）：427-432.

[14] 張世杰，李睿，占夢軍，等.基于深度學習區域融合的骨齡評價研究 [J].現代計算機，2020（9）：54-59+68.

[15] HE K，ZHANG X，REN S，et al. Deep Residual Learning for Image Recognition [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas：IEEE，2016：770-778.

[16] 龐絲絲，黃呈鋮.基于卷積神經網絡的圖像分類研究 [J].現代計算機，2019（23）：40-44.

[17] ZHANG Q L，YANG Y B. SA-NetP： Shuffle Attention for Deep Convolutional Neural Networks [C]//ICASSP 2021—2021 IEEE International Conference on Acoustics， Speech and Signal Processing （ICASSP）.Toronto：IEEE，2021：2235-2239.

[18] 谷靜，馬瑞齊，朱恒安.基于卷積神經網絡的X圖像骨齡評估方法 [J].中國醫學物理學雜志，2022，39（3）：305-310.

作者簡介：馬瑞齊（1992—），女，漢族，河南鄭州人，助教，碩士，研究方向：圖像處理；胡曉丹（1995—），女，漢族，河南商丘人，助教，碩士，研究方向：寬帶無線通信；席秀蕾（1995—），女，漢族，河南濮陽人，助教，碩士，研究方向：機器視覺。