融合雙重注意力網(wǎng)絡(luò)的兒童骨齡評估方法

摘 要：骨齡評估是一種檢測兒童內(nèi)分泌與生長發(fā)育異常的常用方法，但深度學(xué)習(xí)方法中低質(zhì)量手部X射線圖像降低最終評估精度。針對該問題，提出一種增加手部X射線圖像感興趣區(qū)域面積的對齊網(wǎng)絡(luò)，該網(wǎng)絡(luò)以Swin Transformer結(jié)構(gòu)作為主干網(wǎng)絡(luò)學(xué)習(xí)圖像手部相似性并取得仿射系數(shù)，且在訓(xùn)練過程中無須進(jìn)行大規(guī)模手部標(biāo)注。在骨齡評估網(wǎng)絡(luò)中，針對高效通道注意力和空間注意力機(jī)制改進(jìn)，提出雙池化高效通道注意力和非對稱卷積空間注意力方法，將這兩種方法以雙重注意力形式與Xception網(wǎng)絡(luò)相結(jié)合提出DA-Xception。在RSNA數(shù)據(jù)集上進(jìn)行測試，該骨齡評估方法達(dá)到5.37個月的平均絕對誤差，相較于其他深度學(xué)習(xí)方法可更充分提取特征，優(yōu)化評估結(jié)果。

關(guān)鍵詞：骨齡評估； X射線圖像對齊； 雙重注意力； 深度學(xué)習(xí)

中圖分類號：TP391 文獻(xiàn)標(biāo)志碼：A 文章編號：1001-3695（2022）11-051-3509-07

doi： 10.19734/j.issn.1001-3695.2022.03.0110

Pediatric bone age assessment method combined with dual attention network

Zhang Xin， Zhang Junhua， Zhang Shuai

（School of Information Science amp; Engineering， Yunnan University， Kunming 650500， China）

Abstract：Bone age assessment is a common method to detect endocrine and growth abnormalities in children. But in deep learning methods， low-quality hand X-ray images reduce the final evaluation accuracy. To solve this problem， this paper proposed an alignment network to increase the area of interest in hand X-ray images. This network used the Swin Transformer structure as the backbone network to learn image hand similarity and obtain affine coefficients and did not require large-scale hand annotation during the training process. In the bone age assessment network， for the improvement of efficient channel attention and spatial attention mechanism， this paper proposed dual-pool efficient channel attention and asymmetric convolution spatial attention method and combined these two methods in the form of dual attention and Xception network to propose DA-Xception. When tested on the RSNA dataset， this bone age assessment method achieved a mean absolute error of 5.37 months. Compared with other deep learning methods， this method can fully extract features and optimize the evaluation results.

Key words：bone age assessment; X-ray image alignment; dual attention; deep learning

基金項目：國家自然科學(xué)基金資助項目（62063034，61841112）；云南大學(xué)研究生實踐創(chuàng)新項目（2021Z50）

作者簡介：張鑫（1996-），男，四川達(dá)州人，碩士，主要研究方向為深度學(xué)習(xí)、生物醫(yī)學(xué)圖像處理；張俊華（1976-），女（通信作者），云南昆明人，教授，博導(dǎo)，博士，主要研究方向為醫(yī)學(xué)影像處理和分析、模式識別（jhzhang@ynu.edu.cn）；張帥（1997-），男，湖南衡陽人，碩士，主要研究方向為生物醫(yī)學(xué)圖像處理、計算機(jī)視覺.

0 引言

人的發(fā)育年齡可分為年代學(xué)年齡和生物學(xué)年齡，其中生物學(xué)年齡更加客觀地反映了人類實際生長發(fā)育情況。通過判斷受試者手骨［1］和牙齒生長成熟程度［2］是生物學(xué)年齡的主要依據(jù)。

手骨骨齡評估被廣泛應(yīng)用于現(xiàn)代兒科臨床診斷中，醫(yī)生通過分析受試者非慣用手部X射線圖像得到對應(yīng)骨齡，通過與年代年齡進(jìn)行對比，可判斷出兒童生長潛力和骨骼成熟的程度。此外，骨齡評估也為兒童身高發(fā)育情況提供參考［3］。

目前，傳統(tǒng)的骨齡評估方法有圖譜法和計分法，圖譜法通過受試者手部X射線圖像與標(biāo)準(zhǔn)圖譜集對比，以最接近標(biāo)準(zhǔn)圖譜中圖像的標(biāo)簽為受試者骨齡，常見的圖譜法有Greulich-Pyle圖譜法［4］，該方法平均誤差為11.5個月［5］。計分法通過對手部X射線中若干具有代表性的骨骼分別評分，最后計算總分并用公式轉(zhuǎn)換為對應(yīng)的骨齡，常見的計分法有TW計分法［6］和中華05計分法［7］。但無論圖譜法還是計分法都存在明顯弊端，圖譜法的結(jié)果受評估者主觀因素影響導(dǎo)致評估結(jié)果誤差大；計分法由于要對腕骨、骨骺等手骨區(qū)域分別評分，故存在耗時長、效率低的缺陷。

隨著計算機(jī)視覺技術(shù)興起，自動化骨齡評估方法得以發(fā)展，早期的自動評估方法是對人工評估使用的特征進(jìn)行自動提取。例如，Thodberg等人［8］設(shè)計出BoneXpert系統(tǒng)作為骨齡評估商用性軟件，該系統(tǒng)通過分析手部中的感興趣區(qū)域（region of interest，RoI），并對RoI區(qū)域評分得到骨齡結(jié)果。

近年來，Spampinato等人［9］采用深度學(xué)習(xí)方法進(jìn)行骨齡自動化評估，提出由卷積神經(jīng)網(wǎng)絡(luò)搭建的端到端BoNet系統(tǒng)，該方法最終誤差為9.5個月。此后多種基于深度學(xué)習(xí)的骨齡評估方法被提出［10～12］，其中眾多骨齡評估方法于北美放射學(xué)會提供的手部X射線圖像公開數(shù)據(jù)集上判斷性能和精度。2019年，Wu等人［13］將手部X射線圖像先使用Mask R-CNN進(jìn)行分割，去除圖像中的干擾噪聲，然后采用注意力殘差子網(wǎng)絡(luò)（residual attention subnet，RAS）進(jìn)行骨齡回歸，該方法最終平均誤差為7.38個月，然而該方法在圖像分割時需要大量工作對手部區(qū)域進(jìn)行標(biāo)注，影響骨齡評估效率。Liu等人［14］提出VGG-U-Net同樣進(jìn)行手部分割，該網(wǎng)絡(luò)用VGG16［15］預(yù)訓(xùn)練網(wǎng)絡(luò)模型代替U-Net［16］下采樣層，改善小樣本數(shù)據(jù)集分割精度，后續(xù)利用骨齡標(biāo)簽之間的相互關(guān)聯(lián)性，在數(shù)據(jù)集上測試結(jié)果為6.05個月。2020年，Hao等人［17］提出OCNet骨齡多分類方法代替骨齡回歸，并依據(jù)手部發(fā)育連續(xù)性這一特征，通過骨齡評估模型得到三個不同的骨齡范圍值，最后計算范圍重合情況得到骨齡，該方法最終誤差為5.84個月。2021年，He等人［18］首先對手部X射線圖像進(jìn)行無損壓縮，再用SE-ResNet提取特征得到骨齡，最后得到6.04個月的平均絕對誤差，此方法提升了輸入圖像的手部占比，但未處理圖像中存在干擾信息，圖像質(zhì)量未得到改善。Salim等人［19］在圖像分割的基礎(chǔ)上，將嶺回歸層加入骨齡評估模型中而提出嶺回歸網(wǎng)絡(luò)（ridge regression network，RRNet），該方法測試的絕對誤差值為6.38個月。

從上述方法中得知，手部X射線圖像質(zhì)量的好壞影響最終骨齡評估的精度，而對大規(guī)模低質(zhì)量圖像分割處理會降低骨齡評估效率。針對這一問題，本文對數(shù)據(jù)集中的圖像進(jìn)行處理，減少圖像噪聲、對比度不統(tǒng)一的情況。針對數(shù)據(jù)集中不同圖像手部RoI存在差異，本文引入對齊網(wǎng)絡(luò)，使數(shù)據(jù)集中原始圖像與標(biāo)準(zhǔn)手部X射線圖像具有一致的手部結(jié)構(gòu)，減小數(shù)據(jù)集中手部尺寸和角度不同的影響。為了強(qiáng)化骨齡評估網(wǎng)絡(luò)特征提取能力，本文在骨齡回歸評估中設(shè)計雙重注意力Xception網(wǎng)絡(luò)（dual attention Xception，DA-Xception），該網(wǎng)絡(luò)通過雙支路并行學(xué)習(xí)圖像空間和通道中的手部RoI，最終進(jìn)行特征融合回歸得到骨齡評估結(jié)果。

與當(dāng)前骨齡評估方法相比，本文的主要工作和貢獻(xiàn)如下：a）引入手部圖像對齊網(wǎng)絡(luò)，依據(jù)圖像手部結(jié)構(gòu)的相似性，保證在骨齡評估中手部RoI的一致，與圖像分割相比，采用手部對齊不需要對圖像大規(guī)模標(biāo)注，增大骨齡評估中的有效RoI面積；b）在骨齡回歸網(wǎng)絡(luò)中設(shè)計DA-Xception網(wǎng)絡(luò)，提出雙池化高效通道注意力（double pooling efficient channel attention，DPECA），強(qiáng)化圖像通道中的整體和紋理特征；c）提出非對稱卷積空間注意力（asymmetric convolution spatial attention，ACSA）提取圖像空間中細(xì)粒度特征，最終在實驗數(shù)據(jù)集上證明該方法優(yōu)于其他骨齡評估方法。

1 研究方法

本文的骨齡評估方法主要由兩個主干網(wǎng)絡(luò)組成，如圖1所示。首先是提升原始圖像質(zhì)量和手部位置校準(zhǔn)的手部對齊網(wǎng)絡(luò)，然后是提取手部RoI信息后的骨齡回歸網(wǎng)絡(luò)。受近年來ViT （Vision Transformer）［20］網(wǎng)絡(luò)在計算機(jī)視覺任務(wù)表現(xiàn)優(yōu)異的啟發(fā)，本文在對齊網(wǎng)絡(luò)中引入Swin Transformer網(wǎng)絡(luò)［21］作為主干網(wǎng)絡(luò)提取特征，然后對圖像特征降維接入全連接層，最終得到原始輸入圖像與標(biāo)準(zhǔn)圖像之間的仿射關(guān)系，并利用仿射系數(shù)使原始圖像具有標(biāo)準(zhǔn)手部結(jié)構(gòu)，減少X射線圖像中手部尺寸和角度差異對最終評估結(jié)果的影響。在回歸網(wǎng)絡(luò)中，將尺寸為299×299的手部圖像輸入DA-Xception網(wǎng)絡(luò)提取手部RoI特征信息，然后通過全局平均池化層降低通道維度并與輸入性別特征編碼后進(jìn)行融合，后接入512個神經(jīng)元的全連接層和dropout層，最終通過單個神經(jīng)元的全連接層回歸得到圖像骨齡結(jié)果。

1.1 手部對齊網(wǎng)絡(luò)

骨齡數(shù)據(jù)集中原始X射線圖像手部通常存在旋轉(zhuǎn)、移動和不同比例的變化，并且這種情況同樣存在其他X射線數(shù)據(jù)集［22］。針對上述問題，本文引入手部對齊網(wǎng)絡(luò)，以減少原始圖像中手部X射線形態(tài)變化情況，增加后續(xù)骨齡回歸中的特征提取能力，對齊網(wǎng)絡(luò)工作過程如圖2所示。首先原始圖像輸入Swin Transformer網(wǎng)絡(luò)中提取手部特征進(jìn)行訓(xùn)練，并以標(biāo)準(zhǔn)圖像為標(biāo)簽，輸出圖像仿射系數(shù)，原始的輸入圖像通過仿射變換對齊到標(biāo)準(zhǔn)圖像。

對于給定的輸入圖像I和標(biāo)準(zhǔn)圖像T，對齊網(wǎng)絡(luò)通過得到仿射系數(shù)φ，使得仿射圖像φ（I）具有與標(biāo)準(zhǔn)圖像相似的標(biāo)準(zhǔn)手部結(jié)構(gòu)，在網(wǎng)絡(luò)訓(xùn)練過程中結(jié)構(gòu)損失可定義為LS=f（φ（I），T）。

手部X射線圖像輸入對齊網(wǎng)絡(luò)得到由五個參數(shù)組成的仿射系數(shù)φ，具體形式為φ=（tx，ty，sx，sy，θ）。其中，tx和ty表示圖像在水平和垂直方向上的位移程度，sx和sy表示水平與垂直方向上的縮放大小，θ為旋轉(zhuǎn)角度。原始圖像經(jīng)過仿射系數(shù)轉(zhuǎn)換的仿射關(guān)系如式（1）所示。

其中：G為圖像柵格化；B為圖像雙線性插值。兩者可減少圖像在仿射變換過程中特征信息的丟失。

卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）分層提取圖像特征，通過局部連接（local connectivity）和參數(shù)共享（parameter sharing）方式增強(qiáng)特征提取能力、減少網(wǎng)絡(luò)參數(shù)量，但對圖像全局信息的關(guān)注度不足。而ViT網(wǎng)絡(luò)在自然語言處理（natural language processing，NLP）中引入多頭注意力彌補(bǔ)這一缺陷，但由于自然語言和圖像輸入規(guī)模存在差異，使ViT網(wǎng)絡(luò)計算復(fù)雜度大。而Swin Transformer網(wǎng)絡(luò)分層選用不同的采樣值減小計算量，并提出滑動窗口方法允許局部特征跨窗口連接提高效率，增大網(wǎng)絡(luò)感受野。

本文的Swin Transformer主干網(wǎng)絡(luò)可分為四個階段（stage），每個階段分別由2、2、6、2個Swin Transformer block構(gòu)成。圖3為連續(xù)的兩個基本模塊，其中包含滑動窗口的多頭自注意力機(jī)制（multi-head self attention，MSA）、多層感知機(jī)（multilayer perceptron，MLP）、歸一化層（LayerNorm，LN）。

本文引入余弦相似度作為對齊網(wǎng)絡(luò)的結(jié)構(gòu)損失，圖像之間的余弦相似度將兩張圖像轉(zhuǎn)換為向量，并通過計算向量之間夾角的余弦值作為圖像相似度關(guān)系。故對齊網(wǎng)絡(luò)損失函數(shù)如式（2）所示。

其中：I為原始圖像向量；T為標(biāo)準(zhǔn)圖像向量。

1.2 骨齡回歸網(wǎng)絡(luò)

本文的骨齡回歸網(wǎng)絡(luò)為DA-Xception，該網(wǎng)絡(luò)基于Xception卷積神經(jīng)網(wǎng)絡(luò)［23］和雙重注意力機(jī)制結(jié)合而提出，原始Xception結(jié)構(gòu)如圖4所示。

1.2.1 雙重注意力Xception

Xception原始網(wǎng)絡(luò)模型由多個深度可分離卷積層組成，除去網(wǎng)絡(luò)的首尾部分，其余卷積模塊均采用線性殘差方式連接，根據(jù)數(shù)據(jù)輸入Xception網(wǎng)絡(luò)先后處理順序，將圖4網(wǎng)絡(luò)結(jié)構(gòu)主要分為三個模塊，分別為入口流（entry flow）、中間流（middle flow）和出口流（exit flow）。相比于Inception V3網(wǎng)絡(luò)［24］，兩者參數(shù)量相近，但Xception網(wǎng)絡(luò)采用深度可分離卷積降低網(wǎng)絡(luò)運(yùn)算量，該體系結(jié)構(gòu)更有效地使用模型參數(shù)，達(dá)到了更好的特征提取性能。

原始Xception結(jié)構(gòu)雖然具有殘差連接模塊，但總體為線性神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)模型只能按照順序提取特征，這種方式無法充分提取特征中的通道與空間信息。Fu等人［25］為了強(qiáng)化語義分割中特征相關(guān)聯(lián)性，提出dual attention network （DA-Net），該網(wǎng)絡(luò)采用并行的空間和通道注意力結(jié)構(gòu)，同時提取圖像通道和位置上的特征。Lin等人［26］提出雙線性（bilinear）模型進(jìn)行圖像分類，將網(wǎng)絡(luò)內(nèi)部分為兩個分支結(jié)構(gòu)，并利用不同分支并行提取圖像中的特征，最后采用雙線性池化操作將兩個分支特征融合，輸出分類結(jié)果。Liu等人［27］針對遙感圖像的目標(biāo)檢測提出center boundary dual attention network（CBDA-Net），該網(wǎng)絡(luò)以雙重結(jié)構(gòu)方式生成中心區(qū)域注意力和邊界區(qū)域注意力，最終在目標(biāo)檢測時能夠消除背景噪聲干擾并檢測到關(guān)鍵區(qū)域。

受上述工作啟發(fā)并結(jié)合Xception網(wǎng)絡(luò)結(jié)構(gòu)特性，本文設(shè)計出如圖5所示的DA-Xception網(wǎng)絡(luò)。

相比于原始Xception網(wǎng)絡(luò)中middle flow結(jié)構(gòu)重復(fù)8次線性殘差模塊（residual block）連接，DA-Xception網(wǎng)絡(luò)將middle flow模塊以雙線性結(jié)構(gòu)左右兩個分支分別重復(fù)4次，并在每條支路的殘差塊中多次加入DPECA與ACSA模塊，在左支路中，采用DPECA加強(qiáng)圖像通道之間的特征信息，右支路則對圖像空間相關(guān)聯(lián)特征進(jìn)行學(xué)習(xí)。middle flow中的雙線性結(jié)構(gòu)并行對通道和空間特征信息提取，兩條支路上的特征在exit flow結(jié)構(gòu)中進(jìn)行特征融合，然后接入全連接層得到骨齡評估結(jié)果。

相比于DA-Net中在輸出結(jié)構(gòu)之前單次加入雙重注意力，本文所提出的DA-Xception網(wǎng)絡(luò)結(jié)構(gòu)在middle flow的雙分支上多次加入通道和空間注意力機(jī)制，引導(dǎo)兩條支路分別提取圖像中的通道與空間特征。雙線性模型［26］利用雙分支學(xué)習(xí)特征，但左右兩條支路結(jié)構(gòu)一致，使最終特征融合時可能存在冗余。本文所提出的雙線性融合方法在進(jìn)行骨齡評估時，有效地提取到圖像手部特征，消除了背景噪聲干擾。

1.2.2 雙池化高效通道注意力

注意力機(jī)制通過增加訓(xùn)練過程中感興趣區(qū)域特征張量權(quán)重，降低無意義背景的權(quán)重，以提高網(wǎng)絡(luò)特征提取能力。Wang等人［28］提出圖6（a）所示的高效通道注意力（efficient channel attention，ECA）模塊，在關(guān)注通道間注意力中避免降低通道維度，同時以輕量級的方式捕捉跨信道交互。

但ECA中僅對輸入特征進(jìn)行全局平均池化（global average pooling，GAP），僅提取圖像整體背景信息，卻丟失了圖像中的紋理特征提取。在此基礎(chǔ)上，本文提出如圖6（b）所示的DPECA結(jié)構(gòu)，對輸入特征進(jìn)行GAP與全局最大池化（global maximum pooling，GMP）操作，強(qiáng)化骨齡評估網(wǎng)絡(luò)對圖像中手部整體與紋理特征的充分提取。

對于DPECA輸入特征Fin∈?W×H×C，通過GAP與GMP后的圖像特征定義為Fgap和Fgmp，其對應(yīng)公式為式（3）和（4）。

其中：max（·）表示取特征圖像對應(yīng)通道中的最大值；W、H和C分別表示輸入特征的長度、高度和通道個數(shù)。池化后的特征進(jìn)行連接并通過相同一維卷積層共享權(quán)重參數(shù)，如式（5）所示。最后兩個特征經(jīng)過全連接層聚合生成通道間的注意力關(guān)系。

其中：Con1D表示一維卷積操作；σ為HSigmoid非線性激活函數(shù)。HSigmoid函數(shù)采用分段擬合方式實現(xiàn)sigmoid函數(shù)，但HSigmoid在網(wǎng)絡(luò)訓(xùn)練時計算速度更快，具體如式（6）所示。

為了實現(xiàn)合適的跨通道交互作用，卷積核尺寸k通過特征圖的通道C數(shù)量自適應(yīng)進(jìn)行選擇，兩者對應(yīng)關(guān)系如式（7）所示。

其中：|·|odd表示取最接近運(yùn)算結(jié)果的奇數(shù)。

1.2.3 非對稱卷積空間注意力

Woo等人［29］提出卷積注意力模塊（convolutional block attention module，CBAM），本文基于CBAM結(jié)構(gòu)中空間注意力（spatial attention，SA）提出如圖7所示的ACSA結(jié)構(gòu)。

在ACSA中，先對圖像特征分別平均池化和最大池化操作聚合圖像的空間信息，生成兩個權(quán)重矩陣分別為Favg∈?W×H×1和Fmax∈?W×H×1，然后采用1×7卷積核和7×1卷積核組代替CBAM中7×7的卷積核，保證卷積核的感受野不變，提取圖像空間中的細(xì)粒度信息，減小計算量，將兩種權(quán)重結(jié)合得到空間注意力Ms（F），具體計算如式（8）所示。

其中：f7×7為非對稱卷積核組。該空間注意力機(jī)制加權(quán)選擇性地聚合空間特征相似程度，不同空間位置特征和注意力權(quán)重由兩個位置的特征相似度決定，相似特征表現(xiàn)出更相關(guān)聯(lián)的特性。

1.3 模型損失函數(shù)與評價指標(biāo)

骨齡評估作為一項回歸任務(wù)，評估模型的最終輸出結(jié)果為具體實數(shù)值。因此，本文選取均方根誤差（root mean square error，RMSE）作為損失函數(shù)，其計算公式如式（9）所示。RMSE損失函數(shù)相對于平均絕對誤差（mean absolute error，MAE）損失在回歸中表現(xiàn)出非線性的損失值降低，在損失較大時，網(wǎng)絡(luò)模型梯度下降快，使網(wǎng)絡(luò)快速收斂。損失較小時RMSE與MAE的值接近，網(wǎng)絡(luò)模型以線性損失降低。

其中：N為樣本個數(shù)； i為模型預(yù)測骨齡結(jié)果； yi為對應(yīng)標(biāo)注真實值。從式（9）中可知，隨著RMSE值減小，模型進(jìn)行評估結(jié)果的優(yōu)化。

在骨齡評估中，采用平均絕對誤差作為指標(biāo)，如式（10）所示。

2 實驗結(jié)果與分析

2.1 數(shù)據(jù)集

本文的骨齡評估數(shù)據(jù)集取自2017年北美放射學(xué)會（Radiological Society of North America，RSNA）舉辦的兒童骨齡挑戰(zhàn)比賽公開數(shù)據(jù)集。數(shù)據(jù)集中共有12 811張圖像，包含6 933張男性和5 878張女性手骨X射線圖像，每張圖像對應(yīng)骨骼年齡按月為最小精度進(jìn)行劃分， RSNA數(shù)據(jù)集骨齡分布如圖8所示。

在骨齡評估結(jié)果優(yōu)化過程中，訓(xùn)練集用于模型的權(quán)重更新優(yōu)化，驗證集用于監(jiān)控模型訓(xùn)練過程并反饋實時訓(xùn)練性能，測試集則對模型的泛化能力進(jìn)行最終評估。本文實驗中隨機(jī)挑選數(shù)據(jù)集中800張圖像進(jìn)行驗證，200張圖像進(jìn)行測試，其余圖像進(jìn)行網(wǎng)絡(luò)模型訓(xùn)練。

2.2 實驗配置

本文網(wǎng)絡(luò)模型訓(xùn)練均在Intel? CoreTM i7-10700KF CPU、NVIDIA GeForce RTX 3070 GPU和4×8 GB內(nèi)存的硬件環(huán)境下完成，且以TensorFlow 2.5.0為深度學(xué)習(xí)框架、Keras 2.6.0 API的軟件環(huán)境進(jìn)行模型訓(xùn)練，編程語言為Python 3.8.12。本文實驗中使用Adam［30］優(yōu)化器，并將初始學(xué)習(xí)率設(shè)置為0.001，模型訓(xùn)練進(jìn)行100次迭代，并在訓(xùn)練過程中對驗證損失進(jìn)行監(jiān)控，若多次未出現(xiàn)損失優(yōu)化則減小學(xué)習(xí)率。批量輸入大小設(shè)置為16，網(wǎng)絡(luò)輸入圖像尺寸為299×299，采用均方根誤差作為網(wǎng)絡(luò)模型損失，平均絕對誤差為評價指標(biāo)，以衡量骨齡評估值和真實值之間的差距。

2.3 圖像預(yù)處理

手部X射線圖像由于采集設(shè)備和拍攝曝光方法存在差異，不同圖像分辨率和灰度分布不均勻，導(dǎo)致評估結(jié)果誤差較大。本文對X射線圖像進(jìn)行對比度統(tǒng)一和降噪處理，先將X射線圖像進(jìn)行直方圖均衡化，使圖像灰度分布調(diào)整到適當(dāng)范圍內(nèi)，在不影響整體對比度的情況下增強(qiáng)局部對比度；后對X射線圖像進(jìn)行自適應(yīng)伽瑪變換，使其對比度拉伸，增加圖像中低亮度像素值，并抑制高亮度像素減少的情況。為了消除圖像中的噪聲干擾，采用雙邊濾波進(jìn)行平滑處理，過程如圖9所示。

2.4 圖像對齊結(jié)果

數(shù)據(jù)集圖像經(jīng)過對齊網(wǎng)絡(luò)后進(jìn)行仿射得到標(biāo)準(zhǔn)圖像如圖10所示。圖10（a）中原始圖像中手部位置和尺寸存在差異，這些差異使每張圖像中的手部RoI不一致，圖10（b）為手部對齊后的手部X射線圖像。

可以看到，對齊后的圖像調(diào)整了手部傾斜角度和圖像中手部區(qū)域比例，使手部中感興趣區(qū)域更明顯且區(qū)域一致，減少后續(xù)骨齡回歸中的錯誤信息干擾，使有效的手部特征更能夠充分地被提取。

2.5 基準(zhǔn)網(wǎng)絡(luò)對比

為了選擇合適的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行骨齡評估工作，本文挑選EfficientNetB4、ResNet101、DensNet201、Inception ResNet V2和Xception五種經(jīng)典網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行骨齡評估，并觀察評價指標(biāo)?；鶞?zhǔn)網(wǎng)絡(luò)評估中對網(wǎng)絡(luò)結(jié)構(gòu)和數(shù)據(jù)集不做任何處理，將圖像尺寸統(tǒng)一至299×299后輸入五類網(wǎng)絡(luò)中得到表1所示的五種網(wǎng)絡(luò)骨齡評估結(jié)果。原始Xception網(wǎng)絡(luò)評估結(jié)果在五組網(wǎng)絡(luò)中表現(xiàn)最佳，骨齡評估平均絕對誤差為7.41個月，且該網(wǎng)絡(luò)參數(shù)量適中。因此后續(xù)的骨齡評估工作選擇Xception網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，以此優(yōu)化最終回歸精度。

2.6 消融與性別實驗

為了驗證本文骨齡評估方法的有效性，對評估過程中的各個模塊進(jìn)行消融實驗，衡量不同結(jié)構(gòu)在骨齡評估中的作用。首先驗證網(wǎng)絡(luò)結(jié)構(gòu)中不同模塊的有效性；然后探究本文的雙重注意力方法與其他注意力改進(jìn)機(jī)制分析對比；最后探討性別因素對骨齡回歸結(jié)果影響實驗。

2.6.1 不同模塊消融實驗結(jié)果

本文的骨齡評估工作主要分為三個部分，即圖像預(yù)處理、Swin Transformer網(wǎng)絡(luò)將圖像對齊和DA-Xception網(wǎng)絡(luò)進(jìn)行骨齡回歸。對上述三個模塊進(jìn)行消融實驗對比，對比實驗方法分為：a）僅使用Xception網(wǎng)絡(luò)進(jìn)行骨齡回歸；b）加入圖像預(yù)處理工作；c）加入圖像對齊工作；d）在回歸網(wǎng)絡(luò)中加入DPECA和ACSA模塊。各實驗骨齡評估精度如表2所示。

在表2中，對圖像預(yù)處理后骨齡評估平均絕對誤差值為6.67個月，進(jìn)一步將圖像對齊后，骨齡評估誤差減小到5.72個月，最后將對齊圖像輸入到Xception網(wǎng)絡(luò)和雙重注意力結(jié)合的DA-Xception網(wǎng)絡(luò)結(jié)構(gòu)中進(jìn)行骨齡評估，得到最終誤差結(jié)果為5.37個月，上述三個模塊分別使誤差結(jié)果降低了0.74個月、0.95個月和0.35個月。因此在骨齡評估過程中，對圖像預(yù)處理有效減少了原始圖像中存在的噪聲，將不同角度和大小的手部圖像對齊，增大了圖像中有效手部區(qū)域占比，保證了手部RoI保持一致。將雙重注意力加入到Xception網(wǎng)絡(luò)結(jié)構(gòu)中使網(wǎng)絡(luò)關(guān)注到圖像中更加豐富的關(guān)鍵特征，提高最終骨齡評估精度。

神經(jīng)網(wǎng)絡(luò)的迭代情況反映模型性能好壞，本文選取骨齡評估誤差為5.37個月的最優(yōu)模型訓(xùn)練過程曲線如圖11所示，實線表示訓(xùn)練集MAE值，虛線表示驗證集MAE值?？梢钥吹剑S著迭代次數(shù)的增加，訓(xùn)練集與驗證集的平均絕對誤差值不斷減小，并在20個輪次后，兩者的減小速度變緩并逐漸趨于穩(wěn)定，當(dāng)訓(xùn)練100輪次時，訓(xùn)練集損失曲線衰減緩慢，此時網(wǎng)絡(luò)已經(jīng)充分提取有效特征，骨齡回歸結(jié)果趨于穩(wěn)定。

2.6.2 雙重注意力有效性驗證實驗

為了驗證本文所提出雙重注意力機(jī)制的有效性，本節(jié)將本文方法與其他注意力改進(jìn)機(jī)制進(jìn)行實驗分析對比，如表3所示。

第一組實驗將圖像預(yù)處理后再對齊，最后采用Xception主干網(wǎng)絡(luò)進(jìn)行骨齡評估，平均絕對誤差為5.72個月。第二組在此基礎(chǔ)上將Xception網(wǎng)絡(luò)middle flow模塊更換為雙線性結(jié)構(gòu)且不加入任何注意力機(jī)制，其評估誤差增加0.14個月。第三組將DA-Net結(jié)構(gòu)與Xception網(wǎng)絡(luò)融合，得到誤差結(jié)果為6.14個月。第四組將ECA和SA模塊以雙支路方式與Xception網(wǎng)絡(luò)融合，得到回歸誤差相對于第三組實驗降低0.49個月。第五組實驗為本文方法，將第四組兩個注意模塊更換為DPECA與ACSA模塊構(gòu)成雙重注意力機(jī)制，最終骨齡評估結(jié)果為5.37個月。

為了探究不同網(wǎng)絡(luò)的骨齡回歸方式，本文將后四組實驗的網(wǎng)絡(luò)結(jié)構(gòu)繪制熱力圖進(jìn)行網(wǎng)絡(luò)的可視化，其結(jié)果如圖12所示。每一列對應(yīng)不同網(wǎng)絡(luò)結(jié)構(gòu)的注意力圖。

可以看到，第二組實驗中雙線性結(jié)構(gòu)對骨齡評估手部區(qū)域關(guān)注度不足，因此相對于Xception原始網(wǎng)絡(luò)結(jié)構(gòu)骨齡評估誤差增大；第三組實驗為Xception網(wǎng)絡(luò)結(jié)合DA-Net，從其熱力圖可以看到，該網(wǎng)絡(luò)中不僅提取手部區(qū)域特征，而且關(guān)注手部邊沿背景信息，網(wǎng)絡(luò)圖像背景特征降低骨齡評估結(jié)果。

第四組與第五組實驗為在Xception網(wǎng)絡(luò)結(jié)構(gòu)中加入原始的雙重注意力與本文所改進(jìn)雙重注意力對比，在圖12中兩種網(wǎng)絡(luò)結(jié)構(gòu)關(guān)注區(qū)域相似，但第五組關(guān)注手部區(qū)域面積更大且更加關(guān)注手部關(guān)鍵性區(qū)域，從最終骨齡回歸結(jié)果得知，本文方法在此基礎(chǔ)上誤差減小0.28個月。因此采用DPECA與ACSA模塊，能夠更加有效地提取手部特征。

2.6.3 性別因素對比實驗

在人的生長發(fā)育中，男性與女性在同一年齡段手部發(fā)育成熟程度存在差異，探究性別因素對骨齡評估結(jié)果如圖13所示。

實驗分為四個部分：a）單獨對RSNA數(shù)據(jù)集中男性手部X射線圖像進(jìn)行骨齡評估；b）單獨對女性進(jìn)行骨齡評估；c）在RSNA數(shù)據(jù)集中剔除性別信息進(jìn)行骨齡評估；d）加入性別信息進(jìn)行骨齡評估。單獨對男性和女性分別進(jìn)行骨齡評估，平均絕對誤差為5.43和5.65個月，不加入性別特征骨齡評估誤差為6.52個月，在骨齡評估中加入性別信息MAE為5.37個月。在對單一性別進(jìn)行骨齡評估時，相比于不加入性別誤差分別減小了1.09和0.87個月，而性別因素的加入使誤差減小1.15個月，故在骨齡評估中加入性別信息能夠有效減小誤差值，提高回歸精度。

2.7 不同深度學(xué)習(xí)方法對比分析

為了更好地說明本文方法在骨齡評估中的先進(jìn)性，對近年來其他骨齡評估方法進(jìn)行比較，表4展示了不同方法下的骨齡評估平均絕對誤差值。

在表4中，文獻(xiàn)［12］將骨齡評估工作分為兩個階段，先對圖像進(jìn)行分割，去除手部X射線圖像中的背景干擾信息，然后采用VGG16網(wǎng)絡(luò)進(jìn)行骨齡回歸，最終回歸誤差為9.97個月。文獻(xiàn)［12～14，19］同樣采取上述思路，先對數(shù)據(jù)集中的圖像分割手部區(qū)域，剔除圖像中的干擾標(biāo)簽信息，然后將分割圖像輸入骨齡回歸網(wǎng)絡(luò)，最終得到每張圖像的骨齡評估結(jié)果，這三種方法最終得到回歸誤差分別為7.38、6.05和6.39個月。圖像分割方法有效地去除了圖像背景干擾，優(yōu)化骨齡評估結(jié)果，但分割方法需對數(shù)據(jù)集中圖像手部區(qū)域進(jìn)行大量人工標(biāo)注工作。與上述分割方法相比，本文提出的將圖像手部對齊方法僅需要對少量圖像進(jìn)行弱注釋，利用對齊網(wǎng)絡(luò)自動提取手部RoI特征，使每張圖像手部的RoI趨于一致，同時本文方法中圖像預(yù)處理工作能夠抑制圖像中的噪聲干擾。

文獻(xiàn)［18］提出在骨齡評估網(wǎng)絡(luò)中加入圖像的無損壓縮模塊，在降低圖像尺寸時保證圖像的質(zhì)量穩(wěn)定，隨后將圖像輸入到SE注意力機(jī)制和ResNet網(wǎng)絡(luò)結(jié)合的骨齡回歸網(wǎng)絡(luò)中，最終骨齡評估誤差為6.04個月。文獻(xiàn)［13］加入殘差注意力使網(wǎng)絡(luò)更關(guān)注RoI，相比于在網(wǎng)絡(luò)中單一加入注意力機(jī)制，本文采用雙支路方式加入通道與空間并行注意力機(jī)制，最終得到5.37個月的骨齡評估誤差，優(yōu)于表4中的其他方法，進(jìn)一步提高了評估精度。

綜上所述，本文方法在骨齡評估中僅需輕量級圖像標(biāo)注信息即可完成圖像的對齊工作，無須過多的人工處理，臨床應(yīng)用可行性更高。此外，采用雙重注意力結(jié)構(gòu)進(jìn)行骨齡回歸工作相對線性網(wǎng)絡(luò)中加入注意力機(jī)制能夠更充分地提取手部特征信息，進(jìn)一步提高準(zhǔn)確性，減小骨齡評估誤差。

3 結(jié)束語

針對目前骨齡評估中手部X射線存在圖像質(zhì)量不高，手部區(qū)域在圖像中尺寸、角度存在差異的情況，本文在改善X射線圖像質(zhì)量的基礎(chǔ)上，對圖像手部進(jìn)行對齊，同時創(chuàng)新性地提出了將Xception網(wǎng)絡(luò)和兩種注意機(jī)制通過雙支路并行結(jié)構(gòu)方式結(jié)合的網(wǎng)絡(luò)DA-Xception。

本文的骨齡評估方法分為兩個部分：第一部分對X射線圖像進(jìn)行預(yù)處理，使圖像的對比度、亮度統(tǒng)一，并使用Swin Transformer網(wǎng)絡(luò)進(jìn)行特征提取，使X射線圖像手部感興趣區(qū)域?qū)R；第二部分采用DA-Xception網(wǎng)絡(luò)提取手部感興趣區(qū)域特征后骨齡回歸得到評估結(jié)果。最后通過實驗證明本文方法可以有效地減小圖像質(zhì)量對評估結(jié)果的影響，并與當(dāng)前其他骨齡評估方法相比，評估結(jié)果精度更高，為后續(xù)骨齡評估工作提供了重要的參考價值，更有助于預(yù)防青少年生長發(fā)育疾病。

參考文獻(xiàn)：

［1］Fishman L S. Radiographic evaluation of skeletal maturation： a clinically oriented method based on hand-wrist films ［J］. The Angle Orthodontist，1982，52（2）： 88-112.

［2］Liversidge H M，Molleson T I. Developing permanent tooth length as an estimate of age ［J］. Journal of Forensic Science，1999，44（5）： 917-920.

［3］Martin D D，Wit J M，Hochberg Z，et al. The use of bone age in clinical practice-part 1 ［J］. Hormone Research in Paediatrics，2011，76（1）： 1-9.

［4］Bayer L M. Radiographic atlas of skeletal development of the hand and wrist ［J］. California Medicine，1959，91（1）： 53.

［5］King D G，Steventon D M，Osullivan M P，et al. Reproducibility of bone ages when performed by radiology registrars： an audit of Tanner and Whitehouse Ⅱ versus Greulich and Pyle methods ［J］. The British Journal of Radiology，1994，67（801）： 848-851.

［6］Tanner J M，Oshman D，Bahhage F，et al. Tanner-Whitehouse bone age reference values for North American children ［J］. Journal of Pediatrics，1997，131（1）： 34-40.

［7］張紹巖，劉麗娟，吳真列，等.中國人手腕骨發(fā)育標(biāo)準(zhǔn)—中華05L. TW3-CRUS，TW3-C腕骨和RUSCHN方法 ［J］. 中國運(yùn)動醫(yī)學(xué)雜志，2006，25（5）： 509-516. （Zhang Shaoyan，Liu Lijuan，Wu Zhenlie，et al. The skeletal development standards of hand and wrist for Chinese Children-China 05 I. TW3-CRUS，TW3-C Carpal，and RUS-CHN methods ［J］. Chinese Journal of Sports Medicine，2006，25（5）： 509-516.）

［8］Thodberg H H，Kreibor S，Juul A，et al. The BoneXpert method for automated determination of skeletal maturity ［J］. IEEE Trans on Medical Imaging，2009，28（1）： 52-66.

［9］Spampinato C，Palazzo S，Giordano D，et al. Deep learning for automated skeletal bone age assessment in X-ray images ［J］. Medical Image Analysis，2017，36： 41-51.

［10］Igiovikov V I，Rakhlin A，Kalinin A A，et al. Paediatric bone age assessment using deep convolutional neural networks ［M］. Cham： Springer，2018： 300-308.

［11］Liang Baoyu，Zhai Yunkai，Tong Chao，et al. A deep automated skeletal bone age assessment model via region based convolutional neural network ［J］. Future Generation Computer Systems，2019，98（9）： 54-59.

［12］Gao Yunyuan，Zhu Tao，Xu Xiaohua. Bone age assessment based on deep convolution neural network incorporated with segmentation ［J］. International Journal of Computer Assisted Radiology and Surgery，2020，15（12）： 1951-1962.

［13］Wu E，Kong Bin，Wang Xin，et al. Residual attention based network for hand bone age assessment ［C］// Proc of the 16th International Symposium on Biomedical Imaging. Piscataway，NJ： IEEE Press，2019： 1158-1161.

［14］Liu Bo，Zhang Yu，Chu Meicheng，et al. Bone age assessment based on rank-monotonicity enhanced ranking CNN ［J］. IEEE Access，2019，7： 120976-120983.

［15］Simonyan K，Zisserman A. Very deep convolutional networks for large-scale image recognition ［EB/OL］. （2015-04-10） . https：//arxiv. org/pdf/1409. 1556. pdf.

［16］Ronneberger O，F(xiàn)ischer P，Brox T. U-Net： convolutional networks for biomedical image segmentation ［C］// Proc of International Confe-rence on Medical Image Computing and Computer-Assisted Intervention. Cham： Springer，2015： 234-241.

［17］Hao Pengyi，Xie Xuhang，Han Tianxing，et al. Overlap classification mechanism for skeletal bone age assessment ［C］// Proc of the 2nd ACM International Conference on Multimedia in Asia. New York： ACM Press，2021： 1-7.

［18］He Jin，Jiang Dan. Fully automatic model based on SE-ResNet for bone age assessment ［J］. IEEE Access，2021，9： 62460-62466.

［19］Salim I，Hamza A B. Ridge regression neural network for pediatric bone age assessment ［J］. Multimedia Tools and Applications，2021，80（20）： 1-18.

［20］Dosovitskiy A，Beyer L，Kolesnikov A，et al. An image is worth 16×16 words： transformers for image recognition at scale ［EB/OL］. （2021-06-03） . https：//arxiv. org/pdf/2010. 11929. pdf.

［21］Liu Ze，Lin Yutong，Cao Yue，et al. Swin Transformer： hierarchical vision transformer using shifted windows ［C］// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway，NJ： IEEE Press，2021： 10012-10022.

［22］Liu Jingyu，Zhao Gangming，F(xiàn)ei Yu，et al. Align，attend and locate： chest X-Ray diagnosis via contrast induced attention network with limi-ted supervision ［C］// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway，NJ： IEEE Press，2019： 10632-10641.

［23］Chollet F. Xception： deep learning with depthwise separable convolutions ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press. 2017： 1251-1258.

［24］Szegedy C，Vanhoucke V，Ioffe S，et al. Rethinking the inception architecture for computer vision ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2016： 2818-2826.

［25］Fu Jun，Liu Jing，Tian Haijie，et al. Dual attention network for scene segmentation ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2019： 3146-3154.

［26］Lin T Y，Roy Chowdhury A，Maji S. Bilinear CNN models for fine-grained visual recognition ［C］// Proc of IEEE International Confe-rence on Computer Vision. Piscataway，NJ： IEEE Press，2015： 1449-1457.

［27］Liu Shuai，Zhang Lu，Lu Huchuan，et al. Center-boundary dual attention for oriented object detection in remote sensing images ［J］. IEEE Trans on Geoscience and Remote Sensing，2021，60： 1-14.

［28］Wang Qilong，Wu Banggu，Zhu Pengfei，et al. ECA-Net： efficient channel attention for deep convolutional neural networks ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2020： 11534-11542.

［29］Woo S，Park J，Lee J Y，et al. CBAM： convolutional block attention module ［C］// Proc of the 15th European Conference on Computer Vision. Cham： Springer，2018： 3-19.

［30］Kingma D，Jimmy B. Adam： a method for stochastic optimization ［EB/OL］. （2017-01-30）. https：//arxiv. org/pdf/1412. 6980. pdf.