基于神經網絡的手骨特征區域自適應提取方法

丁維龍，丁 瀟，池凱凱，陳 琦，毛科技,2

(1.浙江工業大學 計算機科學與技術學院，浙江 杭州 310023; 2.浙江康體匯科技有限公司，浙江 杭州 311215)

骨齡的評估在諸多領域中都有應用，它可以直觀地反映人體的骨骼發育情況，是生物年齡的重要指標。骨齡與個體的生長發育水平呈現出完全一致的關系[1]，是評價生長發育情況的最可靠指標[2-4]。骨齡也可以用于司法領域(鑒定犯罪嫌疑人、受害者的年齡)，為審判過程提供參考[5]。在了解青少年兒童實時生長發育情況和預測成年身高方面，骨齡的準確評估都有著重要意義。目前，國際上評估骨齡的方法主要有通過對比手腕骨X光圖像與標準片的GP圖譜法[6]，以及從手腕骨選出部分有代表性的骨塊，對每一塊骨骼評定分值后計算總分，再通過已制定的標準換算成對應骨齡的TW3計分法[7]。其中GP圖譜法的精準度較低且讀片時醫生的主觀性較強，不同的人所得到的骨齡有所不同；TW3法有效降低了讀片時的主觀性，但在制定標準時均取樣自歐洲，對中國人的骨齡評估適用性還有待證明。在結合圖譜法和計分法基礎上，針對中國青少年兒童的生長發育情況，張紹巖等[8]制定了《中國人手腕骨發育標準CHN法》。在使用CHN法判定骨齡的過程中，需要判斷第三遠節指骨、橈骨、鉤骨等14 塊骨塊的成熟等級，之后依照CHN法所制定的得分表，查表得到最終的骨齡[9]。傳統方法中，這一過程需要專業的醫生進行人工讀片，醫生通過手腕骨X光片來確定14 塊骨塊的成熟等級，進而經計算得到骨齡。但是這一方法耗時較長，再加上讀片量大、專業醫生少的問題，使得人工讀片的工作量大且效率低下。目前較為成功的骨齡自動評估軟件是BoneXpert[10]，它使用活動形狀模型(Active appearance model, AAM)來分割圖像，提取手腕骨邊緣，結合13 塊骨的形態、骨密度和紋理特征確定骨齡，但此方法對圖片質量要求高且有年齡范圍限制。為提高骨齡評估效率，國內外已經出現了基于深度學習評估骨齡的方法[11-13]。針對不同種族、年齡，采用深度學習方法自動評估骨齡和專家評估年齡差異平均約為0.8 歲[14]。Iglovikov等[15]使用U-Net對圖像進行分割，建立了關鍵點模型評價特定區域。王景樟[16]設計了一種基于注意力機制的卷積神經網絡模型，免去了特征區域提取，但這一方法對整體的識別率提高作用有限，不利于個性化分析。Zhou等[17]利用深度卷積神經網絡的方法進行分類，根據已有知識定義興趣區域，進而通過VGG實現每個區域局部骨齡的分類模型。王永燦等[18]在研究中采用Faster R-CNN目標檢測的方式來提取特征區域，進而進行骨齡階段識別。這些實驗均表明，卷積神經網絡在骨齡評估上有一定的優越性。通過多特征區域識別得到骨齡的分類是目前研究的主要分類方法。值得強調的是，目前區域的提取方式均是固定尺寸區域的，而手腕部的特征骨塊周圍有較多其他骨塊，采用固定區域提取的方式很容易帶來其他骨塊的干擾，進而影響卷積神經網絡的學習訓練過程。

針對手腕部骨塊復雜的情況，筆者提出了一種區域自適應的提取方法，以減少周邊骨塊、肌肉組織帶來的干擾像素，從而更準確地評估特征骨塊的成熟等級。為了使評估結果更能適用于中國青少年兒童，筆者采用CHN法作為判斷依據。鑒于鉤骨是CHN法中占有最大權重(男性：14.13%；女性：10.75%)的特征骨塊，橈骨也占有較大權重(男性：9.52%；女性：8.39%)，同時它們的周邊其他骨塊也較多，識別難度較大，故在實驗過程中選取鉤骨和橈骨作為實驗對象，采用區域自適應的方式提取出兩者的特征區域，進而通過卷積神經網絡的訓練學習，分別得到了87.83%和85.51%的骨成熟等級識別準確率，從而驗證了該方法的可行性。

1 材料和方法

1.1 材 料

本實驗所使用的原始數據是X光機拍攝的全手部位的DICOM格式圖像。將DICOM格式圖像轉換為1 626×2 032的JPG格式圖像。同時記錄該圖像所屬兒童的身份、年齡和身高信息。另外，骨齡專家按照中國人手腕骨發育標準CHN法給出手腕骨中鉤骨和橈骨的成熟等級，并將所有信息保存在CSV格式的文件中。將圖片文件序號和標簽序號進行匹配，最終得到有效的標簽圖片共8 876 張。

共制作兩份數據樣本集，一份996 張用于BP神經網絡訓練學習鉤骨和橈骨自適應提取區域的尺寸大小，一份7 880 張用于卷積神經網絡學習訓練，以驗證自適應提取區方法對特征手腕骨等級識別準確率的影響。從上述所有數據樣本中取出一個小學的數據共996 張，涵蓋1～6 年級以確保身高以及年齡分布的均衡性。對996 張數據樣本進行標注，確定手腕骨中鉤骨、橈骨的幾何中心位置以及提取區域尺寸大小，對其按照等比例原則進行劃分，共劃分出836 張用來訓練BP神經網絡，余下160 張用來測試以評估所設計的尺寸大小自適應提取方法的效果。

經專家確認，剩余7 880 張有效圖片中共有7 230 張數據樣本可用作卷積神經網絡對鉤骨成熟等級的判別訓練和測試；7 880 張可用作卷積神經網絡對橈骨成熟等級的判別訓練和測試。在CHN法中，按照不同的指征，鉤骨的成熟等級共分為1～8共8 個等級，橈骨的成熟等級共分為1～10共10 個等級。鑒于本次使用樣本均來自于學校學生，年齡介于6～14 歲，故實驗樣本并不能完全覆蓋所有成熟等級，用于實驗樣本的鉤骨成熟等級分布為等級3到等級8，橈骨成熟等級分布為等級4到等級8，且樣本等級分布并不均勻，呈現出邊緣等級樣本數量少的特點。將各個等級的樣本按照8∶2的比例劃分出訓練集和測試集，供卷積神經網絡學習訓練和測試，具體分布如表1，2所示。

表1 鉤骨各等級數據分布情況Table 1 Grade distribution of uncinate bone

表2 橈骨各等級數據分布情況Table 2 Grade distribution of radius

1.2 方 法

1.2.1 BP神經網絡

1986年，以Rumelhart和Mc-Celland為首的科學家小組提出了BP(Back propagation)神經網絡，這是一種有誤差反向傳播機制的多層前饋網絡結構。BP神經網絡主要包含三層網絡結構，即輸入層、隱藏層和輸出層，在每一層網絡結構里，處于同一層的神經元之間沒有連接，與下一層的神經元之間則采用全連接的方式相互連接。筆者采用三層網絡結構，其網絡拓撲結構如圖1所示。

圖1 三層BP神經網絡結構Fig.1 Three-layer BP neural network structure

BP神經網絡的訓練過程主要是不斷更新各個神經元間連接的權值，包括前向傳播過程和反向誤差傳播過程。文獻[19]給出了神經網絡前向傳播過程的計算方法如下：

假設輸入層的神經元i，隱藏層的第j個神經元的輸入值Sj為

(1)

隱藏層的第j個神經元的輸出值Bj為

(2)

輸出層的第k個神經元的輸入值Sk為

(3)

輸出層的第k個神經元的輸出值yk為

(4)

在誤差反向傳播過程中，如果輸出端得到的輸出值與期望的輸出值之間的差值大于已設定的誤差值，則誤差就反向傳播，更新調整神經元間連接的權值、閾值。假設輸入輸出的樣本數為P，其中P∈{1,2,3,4,5,…}，輸入樣本是xp，輸出樣本是yp，期望的輸出值是dp，則誤差信號Ep的計算式為

(5)

再對神經元間連接的權值進行迭代更新，即

(6)

式中η為學習率。這樣逐層修改每個神經元間的連接權值，直至所有的權值都修改更新完畢，使誤差達到預先設定值，完成一次學習過程。BP神經網絡就是通過不斷更新權值以及閾值的學習方式使系統精度不斷提高。

1.2.2 基于BP神經網絡的自適應骨骼圖片提取

根據CHN法判斷骨齡，鉤骨和橈骨在手腕骨所占權重較大，而鉤骨和橈骨所在位置周圍又有掌骨、頭狀骨、三角骨等手腕部骨骼。在訓練卷積神經網絡過程中，周圍骨塊會帶入過多干擾像素。為提高識別過程中鉤骨和橈骨的識別準確率，筆者提出了一種基于BP神經網絡的自適應骨塊特征區域提取方法。可以根據手腕骨X光片所屬者的身高和年齡信息，得到與鉤骨、橈骨大小自適應的提取區域(以長和寬兩個數值來刻畫)，進而提取出干擾像素少的特征骨塊圖片以供卷積神經網絡訓練學習，以提高圖像識別的準確率。

基于BP神經網絡的骨塊特征區域自適應提取主要步驟為

1) 首先取第2節中所述的樣本圖片996 張，記錄其所屬者身高、年齡信息，以及能涵蓋全部鉤骨、橈骨骨塊的特征區域尺寸大小，將這些信息一一對應。

2) 搭建BP神經網絡，輸入層的神經元個數為2，隱藏層的神經元個數為50，輸出層神經元個數為2。

3) 將確定的836 個訓練樣本集輸入BP神經網絡，確定期望的輸出目標樣本，訓練BP神經網絡。使用剩余160 個樣本作為測試集，測試神經網絡訓練結果，根據網絡輸出值與測試集的差別，調整參數。

4) 保存訓練好的BP神經網絡模型參數。

5) 在全手的手腕骨X光圖片提取特征區域時，向模型傳入學生身高和年齡信息，得到鉤骨、橈骨的尺寸大小自適應的提取區域，完成圖片的特征區域提取。

根據上述基于BP神經網絡的鉤骨以及橈骨特征區域自適應提取的方法，可以批量提取出數據樣本圖片的所有鉤骨、橈骨區域。提取后的每張圖片的大小由身高和年齡決定，尺寸各不相同，特征區域自適應的提取效果如圖2所示。由圖2可知：提取出的鉤骨、橈骨特征區域圖片尺寸大小符合特征骨骨塊本身的大小，在保留全部識別特征的基礎上，盡可能地減少了周邊骨塊和肌肉組織帶來的干擾像素。

圖2 特征區域自適應的提取效果Fig.2 Adaptive extraction of feature regions

1.2.3 搭建卷積神經網絡用于鉤骨和橈骨等級識別

卷積神經網絡被廣泛應用于圖像識別等領域的機器學習問題中[20-22]，是一種具有多層結構的神經網絡，其典型結構中擁有卷積層、池化層、全連接層。通過這樣的組合，可以使得數據量極大的圖像識別問題不斷降低維度，使計算機可以對其進行訓練學習。在卷積神經網絡中，由卷積核進行卷積，逐層提取圖像特征，并通過全連接層來完成圖像的分類工作。

筆者采用AlexNet網絡模型結構進行學習訓練。AlexNet是由2012年的ImageNet競賽冠軍Alex Krizhevsky設計提出的[23]。AlexNet擁有8 層網絡深度，其中卷積層5 層，全連接層3 層(不包括LRN層和池化層)，采用ReLU作為激活函數，并使用Dropout技術避免過擬合。在每層的參數設置里，輸入尺寸是227×227，第一層卷積層的卷積核是11×11，步長是4，再接一層LRN，然后接核為3×3，步長為2的最大池化層。第二層卷積層的卷積核是5×5，步長是1；第三、四、五層卷積層的卷積核是3×3，步長是1，且每層卷積層后都接LRN層和核為3×3，步長為2的最大池化層，參數同上，最終輸出各個等級概率，并取概率最大的作為等級輸出，其結構如表3所示。

表3 CNN模型結構Table 3 Architecture of CNN model

2 結 果

為了驗證骨骼特征區域自適應提取方法在實際骨齡自動評估應用中的效果，采用Pytorch深度學習框架，使用卷積神經網絡對鉤骨和橈骨的成熟等級進行訓練和學習，并用得到的鉤骨以及橈骨的成熟等級識別模型對測試集中的數據進行識別準確率測試。比較了固定尺寸大小方式提取圖片、Faster R-CNN[24-25]目標檢測方式提取圖片、YOLO-V3[26]提取圖片和筆者提出的基于BP神經網絡的特征區域自適應提取圖片的準確率差異。

2.1 鉤骨和橈骨區域提取與數據預處理

依照1.2.2節中的方法，使用訓練得到的BP神經網絡模型，批量傳入7 880 張數據樣本圖片，以及個體的身高和年齡信息，完成鉤骨、橈骨區域的自適應提取。所得的鉤骨區域圖像中，最小的特征區域尺寸為90×120像素，最大的為150×192像素；橈骨區域圖像中，最小的特征區域尺寸為154×134像素，最大的為242×220像素，特征區域大小由每一個個體的數據決定，批量效果如圖3(a)所示。因不同身高、年齡的青少年兒童的手腕骨骨塊大小存在差異性，若采用統一固定大小的區域提取，為滿足保留全部骨塊所需的識別特征信息，則應以尺寸較大的提取區域尺寸為統一尺寸，以保證全部特征信息的完整保留。在不考慮個體差異時，本實驗采用的鉤骨固定提取區域尺寸為180×180像素，橈骨固定提取區域尺寸為250×250像素，批量提取后的效果如圖3(b)所示。為進一步驗證這一提取方式的可行性，筆者還采用了Faster R-CNN和YOLO-V3的方式自動檢測目標骨塊的位置區域并作提取，批量提取的效果如圖3(c，d)所示。

圖3 特征區域批量提取效果Fig.3 Extraction of feature region

卷積神經網絡需要大量數據進行訓練，而本文的數據量有限，尤其是邊緣等級的缺少。在實際拍片過程中，會存在手腕部擺放不規范的問題，造成了手腕部X線片中的骨塊存在一定的斜率角度變化，產生重影等問題。針對實際X線片中可能存在的問題，采用數據增強技術可以保證模型針對這些情況也能有較高的識別準確率，提高模型的魯棒性。同時數據增強技術也可以有效減少訓練過程中出現的過擬合現象，降低模型對特征骨塊的部分特征的依賴性，進而提高模型泛化能力。筆者對訓練集數據使用了隨機旋轉、隨機平移和隨機中心裁剪的數據增強技術。輸入鉤骨圖片時，以圖片中心為原點，首先進行隨機角度旋轉，旋轉角度α∈[-30°，30°]；然后在水平或垂直的任意一個方向上進行一次隨機平移，平移距離L為0～20像素；之后以原圖的中心點坐標為中心進行中心裁切，將圖片邊緣隨機裁去0～10像素；最后對圖片進行填充并以圖像為中心進行裁切使得大小為符合卷積神經網絡輸入的227×227像素。由于橈骨圖像本身較大，為保留圖像信息，在圖像處理中的最后一步是使用中心裁切至280×280像素后再縮放為符合卷積神經網絡輸入的227×227像素。在實驗中處理后的圖片如圖4所示，使用經過數據增強處理后再讓卷積神經網絡對其進行訓練學習。

2.2 鉤骨和橈骨等級識別準確率評估

使用1.1節中所述的數據樣本進行訓練學習，鉤骨的訓練集共5 882 張，測試集共1 348 張；橈骨的訓練集共6 306 張，測試集共1 574 張。分別使用固定尺寸提取、Faster R-CNN目標檢測提取、YOLO-V3提取和筆者所提出的特征區域自適應方法提取的鉤骨、橈骨骨塊區域的圖像，使用1.2.3小節中搭建的卷積神經網絡進行學習訓練，并測試結果。本研究的整體測試框架結構如圖5所示。

圖5 本研究的測試框架Fig.5 The experimental framework of this paper

訓練學習模型后對測試集數據進行測試，表4～7分別記錄了使用區域自適應提取方法、固定尺寸提取方法、Faster R-CNN方法提取和YOLO-V3方法提取所得到的鉤骨成熟等級準確率。表8～11記錄了橈骨在不同特征區域提取方法下的成熟等級準確率測試結果。

表4 區域自適應提取鉤骨的成熟等級測試準確率

表5 固定尺寸提取鉤骨的成熟等級準確率

表6 Faster R-CNN提取鉤骨的成熟等級準確率

表7 YOLO-V3提取鉤骨的成熟等級準確率

表8 區域自適應提取橈骨的成熟等級測試準確率

表9 固定尺寸提取橈骨的成熟等級準確率

表10 Faster R-CNN提取橈骨的成熟等級準確率

表11 YOLO-V3提取橈骨的成熟等級準確率

由表4～7可知：采用區域自適應提取方式所得到的鉤骨區域圖片的成熟等級判定綜合準確率為87.83%，而采用固定尺寸提取方式，Faster R-CNN和YOLO-V3方法提取的鉤骨區域圖片的成熟等級判定綜合準確率分別是86.57%，85.01%和83.31%。在橈骨的成熟等級測試中，由表8～11可知：采用區域自適應提取方式所得到的橈骨區域圖片的成熟等級判定綜合準確率為85.51%，而采用固定尺寸提取方式，Faster R-CNN和YOLO-V3方法提取的橈骨區域圖片的成熟等級判定綜合準確率分別是84.05%，84.18%和83.67%。通過鉤骨和橈骨的成熟等級測試實驗，均表明特征區域自適應的提取方法具有一定的優勢。這說明該方法能夠根據個體的不同信息，提取出符合骨骼本身大小的特征區域，從而減少了周邊干擾像素，提高了圖片質量，進而提高了卷積神經網絡對特征骨塊成熟等級判定的準確率。

3 討 論

筆者提出了一種基于BP神經網絡的手腕骨特征區域的提取方法，并以鉤骨、橈骨為例，使用這一方法進行了特征區域的自適應提取。提取的結果表明：特征區域圖片的尺寸大小和鉤骨、橈骨骨塊本身的大小是能夠相匹配的，成熟等級高的鉤骨和橈骨，特征區域尺寸也大，反之亦然。骨齡識別過程中，對于14 塊特征骨塊的成熟等級判定，主要依靠特征骨塊的形狀、紋理等信息。采用筆者方法提取的鉤骨和橈骨特征區域可以保留完整的鉤骨、橈骨特征，特征信息不僅沒有缺失，還減少了周邊骨塊和肌肉組織帶來的干擾。在對比實驗中，采用了固定尺寸的特征區域，因為在個體成長過程中，骨骼也是在不斷成長的，這一方式不能體現出骨骼的各異性，為保證全部特征信息的不缺失，需要較大的特征區域來將骨骼覆蓋，而在特征骨塊的成熟等級較低時，這一切區域必然會偏大，導致周邊不必要的骨塊進入特征區域，從而形成干擾；采用Faster R-CNN提取的特征區域可以表現出一定各異性，但是在實驗過程中，采用這一方式批量提取骨骼時，會存在因部分信息不完整和個別骨頭無法檢測到從而沒有提取出所需特征區域的問題；YOLO-V3在該場景使用中，存在特征區域大小不匹配的問題，從而導致圖片信息缺失進而影響識別準確率。在完成區域提取后，筆者又用卷積神經網絡對鉤骨、橈骨的特征進行訓練學習。測試結果表明：采取特征區域自適應的提取方式，在數據集標簽相同情況下，有著更高的成熟等級的判定綜合準確率，從而證明了這一方法的可行性和有效性。

目前已有的骨齡研究中，也有研究人員采用其他的提取方式。相比于目前的提取方式，筆者提出的特征區域自適應提取方式，可以根據個體的專屬信息(身高和體重)進行特征區域的自適應提取，每個個體都擁有專屬的特征區域尺寸，而且不存在批量提取時檢測不到目標區域、圖片丟失的問題，在分區域識別骨齡的過程中也能夠提高單個特征骨塊成熟等級的判定準確率。

本研究尚存在一些不足之處：沒有提取訓練剩余12 塊CHN法所需的特征骨塊的單個模型，只是以鉤骨、橈骨為例；用于學習訓練的樣本較少；自動檢測提取的精確度還有提高的空間；由于樣本的不均衡性，邊緣等級的識別準確率較低。這些都有待于進一步探索。

4 結 論

筆者所提特征區域自適應提取方法能夠較為準確地提取出目標骨塊的特征區域，保留完整信息并有效減少周邊骨塊、肌肉組織帶來的干擾像素。并通過卷積神經網絡測試了該方法提取的特征區域圖片對成熟等級判定準確率的影響。筆者所提的方法在骨齡自動評估、生物醫學圖像分析中，值得進一步探索。如何在樣本不均衡的情況下進一步提高樣本量少的邊緣等級識別準確率是接下來的研究方向。