圖像型全自動(dòng)骨齡評(píng)測算法及應(yīng)用研究進(jìn)展

賈 陽，陳偉光，王海娟，杜涵容，韓俊崗，靳曉輝，楊 斌

(1.西安郵電大學(xué) 計(jì)算機(jī)學(xué)院，陜西 西安710121；2.西安郵電大學(xué) 陜西省網(wǎng)絡(luò)數(shù)據(jù)智能處理重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710121；3.西安郵電大學(xué) 西安市大數(shù)據(jù)與智能計(jì)算重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710121；4.西安市紅會(huì)醫(yī)院 放射科,陜西 西安 710054)

骨骼的成熟程度會(huì)在人體的不同部位表現(xiàn)出來，尤其是在手腕部，各骨化中心的出現(xiàn)、長骨骨骺和骨干干骺的形狀、長骨骨骺與骨干的融合等特征具有普遍性和不可逆性。骨齡是骨骼發(fā)育成熟度年齡的簡稱，骨齡比時(shí)間年齡更能準(zhǔn)確的反映機(jī)體的成熟度。骨齡評(píng)測(Bone Age Assessment，BAA)是根據(jù)特定人群骨骼發(fā)育的共有特征，通過預(yù)測骨齡和時(shí)間年齡的差異評(píng)估個(gè)體骨骼發(fā)育成熟程度的方法和技術(shù)，是目前臨床測評(píng)個(gè)體發(fā)育偏離程度最準(zhǔn)確、最客觀的方法。評(píng)測時(shí)，將骨骼X線圖像和標(biāo)準(zhǔn)骨骼發(fā)育圖譜進(jìn)行比對(duì)，若存在差異，則需進(jìn)一步診斷評(píng)估。青少年骨齡評(píng)測在兒科內(nèi)分泌問題和兒童成長障礙診斷方面有重要作用[1]，常用于青少年內(nèi)分泌紊亂、生長發(fā)育延遲、先天性腎上腺皮質(zhì)増生等癥狀的篩查，也可對(duì)激素使用的干預(yù)效果進(jìn)行評(píng)價(jià)。另外，骨齡也可用于鑒定未成年人的真實(shí)年齡，在青少年犯罪案件中認(rèn)定嫌疑人年齡[2]、體育比賽中確認(rèn)選手年齡、運(yùn)動(dòng)員身高預(yù)測和選拔[3]中都有廣泛應(yīng)用。

隨著計(jì)算機(jī)數(shù)據(jù)處理能力和人工智能技術(shù)的發(fā)展，大型影像診斷設(shè)備結(jié)合圖像識(shí)別以及人工智能技術(shù)提供了更為準(zhǔn)確的診斷報(bào)告[4]，應(yīng)用人工智能算法從數(shù)據(jù)中學(xué)習(xí)并進(jìn)行診斷、預(yù)測已成為智能醫(yī)療中的一個(gè)重要方向。圖像型全自動(dòng)骨齡評(píng)測算法及系統(tǒng)相關(guān)研究對(duì)骨齡評(píng)測發(fā)展具有重要意義，從20世紀(jì)90年代開始，就有研究人員設(shè)計(jì)相關(guān)專家系統(tǒng)對(duì)自動(dòng)化BAA進(jìn)行嘗試，通過圖像處理、模式識(shí)別進(jìn)行骨齡的估計(jì)。近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，也出現(xiàn)了基于深度神經(jīng)網(wǎng)絡(luò)的端到端的骨齡評(píng)測。在骨齡評(píng)測中，相關(guān)的評(píng)測標(biāo)準(zhǔn)都有確定且標(biāo)準(zhǔn)化的按照年齡排序的對(duì)應(yīng)骨齡，因此，通過機(jī)器學(xué)習(xí)方法實(shí)現(xiàn)全自動(dòng)的骨齡評(píng)測已成為可能。通過分析骨齡評(píng)測的基本醫(yī)學(xué)方法，將基于手骨X線片的全自動(dòng)BAA方法分為圖譜法與計(jì)分法兩類。介紹幾種常用的X線片手骨分割方法，以及現(xiàn)有基于深度學(xué)習(xí)的自動(dòng)骨齡評(píng)測算法，對(duì)比分析骨齡評(píng)測結(jié)果。最后，綜述計(jì)算機(jī)輔助BAA的應(yīng)用發(fā)展情況及其他骨齡評(píng)測手段，并對(duì)目前存在的問題進(jìn)行討論與展望。

1 骨齡評(píng)測基本醫(yī)學(xué)方法

隨著骨齡研究的不斷深入和數(shù)字化影像技術(shù)的發(fā)展，骨齡評(píng)測已在發(fā)育疾病診斷、身高預(yù)測、實(shí)際年齡檢測中廣泛使用。目前，國際上常用的基本醫(yī)學(xué)方法有G-P圖譜法、RWT膝部骨齡評(píng)價(jià)法和TW計(jì)分法等3種。

1)G-P法[5]。G-P中對(duì)不同年齡階段的標(biāo)準(zhǔn)圖譜分別進(jìn)行了說明，詳細(xì)列出手腕各骨的成熟度指征，并標(biāo)示出樣片中各骨的骨齡。該方法使用簡便、直觀，在國際上有較高的權(quán)威性，目前國內(nèi)很多醫(yī)院均在使用。不過該方法在整片比較中需要綜合考慮各種成熟度指征，主觀性相對(duì)較大。

2)RWT法[6]。RWT法通過縱向追蹤大量樣本，根據(jù)膝關(guān)節(jié)部位股骨下端、脛骨上端和腓骨上端等不同骨性成熟指征建立評(píng)價(jià)體系，并依此建立Latent Trait數(shù)學(xué)模型，將各年齡組的系列指征描述成一條關(guān)于骨齡發(fā)育的函數(shù)曲線，據(jù)此進(jìn)行未知骨的骨齡判斷。該方法首次把計(jì)算機(jī)技術(shù)和數(shù)學(xué)方法應(yīng)用到骨齡評(píng)價(jià)中，解決了圖譜法中依靠經(jīng)驗(yàn)和人工判讀的誤差問題，也為計(jì)分法的產(chǎn)生、圖像分割和計(jì)算機(jī)輔助BAA提供了方法學(xué)基礎(chǔ)。

3)TW法。TW法是目前國內(nèi)外最常用的BAA基本方法，TW1[7]、TW2[8]和TW3[9]等TW系列和中國人手腕骨發(fā)育標(biāo)準(zhǔn)(CHN)法[10]、中國兒童骨齡評(píng)分法和RC法(中華-05 RUS-CHN)都源于這種方法，其基本思想是先選擇手腕部的參評(píng)骨，按照骨性指征的發(fā)育規(guī)律將被評(píng)定各骨的發(fā)育全過程劃分為若干個(gè)發(fā)育等級(jí)，依據(jù)其對(duì)整個(gè)骨發(fā)育成熟度的得分貢獻(xiàn)賦予各骨各等級(jí)一定的分值，評(píng)定時(shí)逐一對(duì)各骨進(jìn)行等級(jí)判讀，對(duì)照骨發(fā)育等級(jí)得分表查找該等級(jí)的得分，然后計(jì)算所有參評(píng)骨的成熟度得分總和，最后查找得分與骨齡對(duì)照表確定骨齡。TW計(jì)分法中選取的手骨參評(píng)骨示例如圖1所示，圖1(a)中方框標(biāo)示了TW評(píng)分指標(biāo)中的部分骨骺，圖1(b) 中箭頭標(biāo)示分割難度極大的軟組織區(qū)域，采樣點(diǎn)標(biāo)示骨骼的不同灰度分布。TW法使骨齡評(píng)價(jià)更精確、有效。

圖1 TW計(jì)分法中選取的手骨參評(píng)骨示例

TW1對(duì)選取的20塊骨骺進(jìn)行分級(jí)，依據(jù)不同骨間成熟度得分總方差和最小化計(jì)算方法確定不同等級(jí)的得分，該方法未區(qū)分男女差異，在應(yīng)用中仍存在諸多不足。TW2[8]中重新修訂了各骨的發(fā)育等級(jí)和成熟度得分表。隨著生活水平的提高，青少年生長發(fā)育速度明顯提高，骨齡發(fā)育也出現(xiàn)顯著加速生長的長期趨勢。2001年Tanner等人重新采集樣本數(shù)據(jù)，調(diào)整骨成熟度得分百分位曲線，制定了TW3[9]。TW系列是目前骨齡研究中方法學(xué)基礎(chǔ)介紹最全面、最詳細(xì)的方法，在國際上被廣泛認(rèn)可，很多國家也據(jù)此建立了自己的骨齡發(fā)育標(biāo)準(zhǔn)。

自20世紀(jì)50年代起我國學(xué)者也開始了骨齡方面的研究，常用的骨齡檢測方法有顧氏圖譜法、“百分計(jì)數(shù)法”(簡稱“李氏法”)、中國人手腕骨發(fā)育標(biāo)準(zhǔn)(CHN)法和“中國兒童骨齡評(píng)分法”(簡稱“葉氏法”)等4種。

1)顧氏圖譜法。20世紀(jì)60年代，顧光寧挑選了男女兒童從出生到手腕部骨骼完全融合的代表性骨齡標(biāo)準(zhǔn)片，制定了顧氏圖譜[11]。該方法使用簡便應(yīng)用廣泛，但病例與標(biāo)準(zhǔn)圖譜不一致的情況較多，評(píng)測的主觀性過強(qiáng)。

2)百分計(jì)數(shù)法。1979年李果珍[8]根據(jù)北京市1 200多例健康兒童手腕部的不同發(fā)育程度確定其成熟度發(fā)育分期，采用統(tǒng)計(jì)方法制定出骨發(fā)育成熟度評(píng)價(jià)方法，將不同發(fā)育成熟度的骨骼換算成當(dāng)量分值，并給出了描線圖示和骨齡對(duì)照表。但是，該法僅以一次性橫向資料為基礎(chǔ)，在穩(wěn)定性、讀片、分期重復(fù)性及可比性方面均較TW2法差，并且隨著我國生活水平的提高，青少年身高發(fā)育加速，“李氏法”已不太適合目前青少年的骨齡評(píng)價(jià)。

3)中國人手腕骨發(fā)育標(biāo)準(zhǔn)(CHN)法。張紹巖等[10]對(duì)TW2法進(jìn)行修改，并利用方差極小化和迭代的數(shù)學(xué)方法，參考G-P法重新確定了骨發(fā)育分級(jí)及各級(jí)分值，提出了中國人骨發(fā)育等級(jí)標(biāo)準(zhǔn)。該方法通過對(duì)14塊手腕骨觀察，分期進(jìn)行計(jì)分，統(tǒng)計(jì)總分后查圖表定骨齡。目前，該標(biāo)準(zhǔn)已經(jīng)在體育、刑偵、司法、醫(yī)療衛(wèi)生系統(tǒng)和高校廣泛應(yīng)用。

4)中國兒童骨齡評(píng)分法。葉義言等人[12]從用TW2評(píng)價(jià)標(biāo)準(zhǔn)計(jì)算出每個(gè)樣本的骨發(fā)育成熟度得分，再按照年齡組計(jì)算出中位值，并依此作為成熟度和骨齡的對(duì)照值。“葉氏法”通過對(duì)TW2法進(jìn)行了修正，實(shí)現(xiàn)了骨發(fā)育分期系統(tǒng)本地化。

基于手骨X線片的全自動(dòng)BAA方法均基于上述醫(yī)學(xué)評(píng)判方法中的某一種進(jìn)行計(jì)算機(jī)輔助分析，因此，BAA方法大致可以分為圖譜法與計(jì)分法兩類。圖譜法即輸入X線片，對(duì)照標(biāo)準(zhǔn)圖譜進(jìn)行判斷，最終給出骨齡結(jié)果，是一種端到端的處理方式。計(jì)分法是將所需判斷的骨骼及骨骺全部先分割出來，對(duì)每一塊進(jìn)行分析判斷給出分?jǐn)?shù)，通過加權(quán)求和最終給出骨齡的值。但是，這兩類方法實(shí)際上均為根據(jù)骨齡標(biāo)準(zhǔn)對(duì)每位被試X線片的骨骼進(jìn)行評(píng)估，最終匯總得到骨齡評(píng)價(jià)結(jié)果。要實(shí)現(xiàn)BAA的自動(dòng)化，還需進(jìn)行手骨(或手掌區(qū)域)分割、特征提取和骨齡預(yù)測。

2 手骨分割方法

手部X線片可分為背景、軟組織區(qū)域和骨骼等3個(gè)不同的區(qū)域，最具挑戰(zhàn)性的部分是去除手部的軟組織區(qū)域，只保留手骨區(qū)域供骨齡分析使用。雖然人們普遍認(rèn)為在X線片中骨骼的灰度值有其特有的分布范圍，但由于骨骼區(qū)域和軟組織區(qū)域、軟組織區(qū)域和背景之間的部分像素灰度重疊，尤其是某些骨骺區(qū)域，如圖1(b)中箭頭指向的區(qū)域所示，從軟組織中分割出完整的手骨并非易事，故研究者針對(duì)使用穩(wěn)健的手骨分割技術(shù)以識(shí)別骨骼邊緣和形狀進(jìn)行了大量研究。常見的手骨分割方法有閾值法、聚類法、主動(dòng)輪廓模型方法、水平集方法以及優(yōu)化方法，分割結(jié)果[16]如圖2所示。

圖2 參考標(biāo)準(zhǔn)及部分手骨分割結(jié)果

2.1 閾值法

圖1中A、B、C三處采樣位置的灰度區(qū)別較大，閾值分割很難滿足完整骨骼分割的需求。使用多閾值分割方法，在樣本數(shù)量巨大的處理中，不同手骨X線片的灰度值分布可能差異較大，如何對(duì)所有的圖像進(jìn)行亮度標(biāo)準(zhǔn)化是首先需要解決的問題。Otsu閾值法[13]和基于Tsallis熵的閾值法[14]的手骨分割結(jié)果分別如圖2(b)和圖2(c)所示。可以看出，基于Tsallis熵的閾值法在手骨分割時(shí)表現(xiàn)并不如意，但可以考慮使用該方法進(jìn)行手掌區(qū)域的分割。Thodberg等人[15]采用先分割再識(shí)別的方法，使用13塊手骨，提取骨骼的形狀、灰度值和Gabor紋理作為特征進(jìn)行了骨齡預(yù)測。

2.2 聚類法

2.2.1 基于K-means和KGRF的自適應(yīng)分割法

基于K-means和Gibbs隨機(jī)場(K-means Data from Bing and Google，KGRF)的自適應(yīng)分割法主要分兩步，第一步是使用K-means根據(jù)像素坐標(biāo)和像素灰度值將圖像聚為n類，第二步是將每一類都看作灰度緩慢變化的函數(shù)，使用Gibbs隨機(jī)場模型描述灰度級(jí)分布。Gibbs隨機(jī)場理論很好地描述了當(dāng)前像素與其鄰域像素之間的相互關(guān)系，以Gibbs能量的形式引入鄰域約束進(jìn)行圖像分割，分割結(jié)果由后驗(yàn)概率估計(jì)所得，即

(1)

2.2.2 使用灰度共生矩陣紋理的K-means聚類

將圖像分成幾個(gè)豎直方向和水平方向的小塊，對(duì)圖像的灰度值進(jìn)行K-means聚類，然后分析聚類后的各個(gè)塊的灰度共生矩陣(Gray-Level Co-occurrence Matrix，GLCM)紋理[17]并據(jù)此對(duì)圖像進(jìn)行重建，最終得到手骨分割結(jié)果[18]，如圖2(e)所示。該方法可用于分割手掌區(qū)域，不適于分割手骨區(qū)域，又因人為將圖像分為數(shù)個(gè)區(qū)塊，塊與塊之間的灰度分布不一，產(chǎn)生明顯的邊緣，故此問題應(yīng)在得到最終分割結(jié)果之前解決。

2.2.3 自適應(yīng)正則核模糊C均值聚類法

在模糊C均值聚類法(Fuzzy C-means，F(xiàn)CM)中，每個(gè)數(shù)據(jù)點(diǎn)到每個(gè)簇都存在一個(gè)隸屬度，每個(gè)數(shù)據(jù)點(diǎn)到所有簇的隸屬度之和為1。自適應(yīng)正則核模糊C均值聚類(Adaptively Regularized Kernel-Based FCM，ARKFCM)法首先指定每個(gè)數(shù)據(jù)到各個(gè)簇的隸屬度，然后根據(jù)隸屬度計(jì)算每一個(gè)簇的質(zhì)心，接著更新隸屬度矩陣，直到所有隸屬度的變化的絕對(duì)值都低于所設(shè)定閾值終止。文獻(xiàn)[19]考慮了樣本空間非線性，采用高斯徑向基函數(shù)核方法，得到了更好的高維特征映射空間，同時(shí)使用正則化增加分割的魯棒性，保留更多圖像細(xì)節(jié)，改進(jìn)了聚類效果。

FCM算法的目標(biāo)函數(shù)表示為

(2)

2.2.4 雙凸模糊變分法

該方法結(jié)合模糊邏輯算法和Chan-Vese(CV)模型構(gòu)造雙凸目標(biāo)函數(shù)，模糊能量函數(shù)表示為

(3)

其中：u為嚴(yán)格雙凸的隸屬函數(shù)；m是正整數(shù)常量；w1和w2是權(quán)重；b1和b2是在圖像輪廓R內(nèi)部和外部的像素的平均灰度值。分割結(jié)果如圖2(i)所示，與圖2(e)效果類似。

聚類法中除了使用GLCM[18]進(jìn)行分析能得到較完整的手掌區(qū)域外，其他方法都無法得到較完整的分割結(jié)果，無法滿足后期BAA的需求。

2.3 主動(dòng)輪廓模型方法

黃飛等人[20]結(jié)合AdaBoost級(jí)聯(lián)分類器，提出基于主動(dòng)形狀模型(Active Shape Model，ASM)的手骨邊緣提取方法。ASM受初始位置影響很大，引入AdaBoost預(yù)先定位手指骨的矩形區(qū)域，此矩形區(qū)域包含目標(biāo)手指骨的大體位置信息，將此作為ASM搜索的初始位置，但該研究只提取一塊手骨，需要手動(dòng)設(shè)置輪廓初始位置，如果提取所有手骨，則需要框選所有手指骨，工作量過大，與實(shí)際應(yīng)用也有較大差別。文獻(xiàn)[21]也用了類似的方法進(jìn)行指骨分割，同樣存在需要手工標(biāo)記輪廓點(diǎn)的問題。

文獻(xiàn)[22]使用腕骨骨骺和骨干末端進(jìn)行骨齡預(yù)測，引入氣球力的主動(dòng)輪廓模型[23]進(jìn)行分割，該方法分割效果較好，但耗時(shí)較長，僅分割腕骨的骨骺和骨干末端兩塊區(qū)域需要約209.387 s，若使用該方法分割數(shù)十塊BAA所需的手骨，時(shí)間復(fù)雜度過高。

2.4 水平集方法

Simu等人[24]在圖像預(yù)處理、指骨感興趣區(qū)域提取和邊緣增強(qiáng)之后，用水平集方法進(jìn)行指骨分割，構(gòu)造的能量函數(shù)表示為

(4)

對(duì)比大津法[25]、K-means[26]、KGRF自適應(yīng)分割法[27]、粒子群優(yōu)化(Particle Swarm Optimization，PSO)算法、ARKFCM[19]和雙凸模糊變分法[28]等6種方法與水平集方法的分割結(jié)果，表明水平集方法得到的分割效果優(yōu)于其他6種方法，分割準(zhǔn)確率在94%以上。但是，該方法使用了較多閾值處理和形態(tài)學(xué)操作，在實(shí)際應(yīng)用中，圖像采集設(shè)備不同會(huì)導(dǎo)致圖像灰度分布差異，在使用此類方法時(shí)容易失效，需要進(jìn)一步考慮算法的泛化性及魯棒性。

2.5 優(yōu)化方法

(5)

其中，w1(th)和w2(th)是使用原先的閾值th將前景、背景區(qū)分開的概率。每一步迭代都計(jì)算每個(gè)粒子的適應(yīng)度函數(shù)，粒子的速度更新表達(dá)式為

v(i+1)=v(i)+λ1r(i)[lbest(i)-x(i)]+
λ2r(i)[gbest(i)-x(i)]

(6)

其中：v(i)為粒子的速度；x(i)為當(dāng)前粒子的位置；λ1和λ2為學(xué)習(xí)因子；r(i)是0～1之間的隨機(jī)數(shù)；lbest(i)和gbest(i)為前一次計(jì)算出的局部最優(yōu)和全局最優(yōu)。粒子位置的更新表達(dá)式為

x(i+1)=x(i)+v(i+1)

(7)

當(dāng)類間方差的值與前一次的差小于設(shè)定閾值時(shí)停止迭代，得到最終的分割結(jié)果，如圖2(j)所示。PSO容易陷入局部最優(yōu)，故采用達(dá)爾文粒子群優(yōu)化方法(Darwinian Particle Swarm Optimization,DPSO)進(jìn)行改進(jìn)[30]，加入種群內(nèi)個(gè)體數(shù)量限制，當(dāng)數(shù)量超出設(shè)定閾值時(shí)刪除該種群，據(jù)此得到最優(yōu)解，但從分割結(jié)果來看，如圖2(k)所示，與傳統(tǒng)方法并無較大差別。

文獻(xiàn)[16]利用Li等人[31]提出的能量最小化方法(Multiplicative Intrinsic Component Optimization，MICO)進(jìn)行手骨分割，采集到得的圖像Mimg(x)可分解為偏移場b(x)和真實(shí)圖像Gimg(x)的乘積與噪聲n(x)的疊加，即

Mimg(x)=b(x)Gimg(x)+n(x)

(8)

(9)

上述5種分割方法均屬于經(jīng)典分割方法，由于手骨不同部位的灰度分布有一定的差異且不同組織之間灰度重疊，因此閾值法不是很適合用于進(jìn)行手骨分割。聚類法核心思想還是要將同質(zhì)性的像素歸為一類，但與閾值法類似，也不是很適于進(jìn)行手骨分割。ASM和水平集方法時(shí)間復(fù)雜度較高，且很多情況下需要人工進(jìn)行初始點(diǎn)的標(biāo)記，工作量大操作復(fù)雜。相比較而言，優(yōu)化方法得到的手骨分割結(jié)果最好。

3 基于深度學(xué)習(xí)的自動(dòng)骨齡評(píng)測

基于深度學(xué)習(xí)的醫(yī)學(xué)圖像分析已成為醫(yī)學(xué)領(lǐng)域和計(jì)算機(jī)領(lǐng)域的研究熱點(diǎn)[32-33]。從基于深度學(xué)習(xí)的自動(dòng)骨齡評(píng)測通用框架切入，進(jìn)而對(duì)多種基于神經(jīng)網(wǎng)絡(luò)模型的自動(dòng)骨齡評(píng)測算法進(jìn)行綜述和性能對(duì)比。

3.1 基于通用框架的自動(dòng)骨齡評(píng)測算法

基于深度學(xué)習(xí)的自動(dòng)骨齡評(píng)測算法分為輸入圖像預(yù)處理、基于卷積神經(jīng)網(wǎng)絡(luò)的特征提取以及使用回歸網(wǎng)絡(luò)得到骨齡數(shù)值等3部分，通用框架[34]如圖3所示。預(yù)處理部分通常包括手骨X線片的灰度值均衡化、圖像裁剪、圖像角度校正(圖像角度標(biāo)準(zhǔn)化處理)和原始圖像數(shù)據(jù)集增強(qiáng)[34-35](通過形變處理增加樣本)。

圖3 基于深度學(xué)習(xí)的自動(dòng)骨齡評(píng)測算法框架

3.1.1 手骨X線片灰度值均衡化

不同的X光機(jī)拍攝的手骨圖像可能會(huì)有較大差異，不同背景、大小的手骨X線片[36]如圖4所示，手骨X線片的背景有白色也有黑色，從圖像邊緣區(qū)域采樣檢測圖像背景判斷是否為白色，如果是，則將所有圖像的背景都統(tǒng)一處理為黑色，以降低圖像差異帶來的影響。

圖4 不同背景、大小的手骨X線片

文獻(xiàn)[37]使用灰度均衡化方法抑制與手骨無關(guān)的區(qū)域，增強(qiáng)手骨區(qū)域。而采用生成式對(duì)抗神經(jīng)網(wǎng)絡(luò)(Generative Adversarial Networks，GAN)對(duì)分割結(jié)果進(jìn)行增強(qiáng)，可得到更好的特征進(jìn)行骨齡預(yù)測，增強(qiáng)后的圖像作為輸入也可提升算法性能[33]。預(yù)處理中的背景抑制有利于后續(xù)手骨分割，對(duì)后期的特征提取也有及其重要的作用。

3.1.2 手骨X線片圖像裁剪與角度變換

較多神經(jīng)網(wǎng)絡(luò)要求輸入圖像為正方形，故原始X線片手骨圖像經(jīng)過擴(kuò)充和裁剪處理后的大小通常為224×224[37]、256×256[38]、299×299[39]和512×512[36]等。文獻(xiàn)[36]中所有的手骨X線片圖像都是豎長矩形，在保持圖像長寬比不變下，將高變換為512像素，補(bǔ)零擴(kuò)展后得到512×512的圖像，之所以使用512×512，一是因?yàn)槠浯笥诰W(wǎng)絡(luò)所需224×224的尺寸，要將圖像縮小到小尺寸，操作較容易；另一方面是考慮到平衡預(yù)處理速度和檢測效果，選擇512×512較為合適。輸入圖像過小會(huì)丟失圖像細(xì)節(jié)，圖像過大會(huì)增加計(jì)算開銷。由于大部分原始圖像是512×512和1 024×1 024，在計(jì)算硬件條件滿足的情況下，選擇512×512大小的圖像可以較好的平衡圖像質(zhì)量和計(jì)算復(fù)雜度，適于作為神經(jīng)網(wǎng)絡(luò)的輸入，若想提高訓(xùn)練速度，也可嘗試224×224或256×256大小的樣本進(jìn)行訓(xùn)練。

將所有手骨圖像進(jìn)行旋轉(zhuǎn)，使其在X線片中位置與方向統(tǒng)一，檢測中指指尖、大拇指指尖和手掌頭狀骨中心點(diǎn)，由此確定整個(gè)手掌的位置，對(duì)其進(jìn)行旋轉(zhuǎn)、縮放等仿射變換，從而實(shí)現(xiàn)所有手骨的角度校正[40]。在圖像校正方面，主要有兩種思路：第一種是通過仿射變換對(duì)圖像進(jìn)行一致性和標(biāo)準(zhǔn)化處理，降低樣本的差異性，減小需要學(xué)習(xí)的樣本規(guī)模[37]；第二種是將手骨看做是非剛性對(duì)象，通過形變等處理增加樣本規(guī)模，實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)，覆蓋更多的手骨X線片樣本[34]。

3.2 基于神經(jīng)網(wǎng)絡(luò)模型的自動(dòng)骨齡評(píng)測算法

結(jié)合深度學(xué)習(xí)方法輔助的BAA結(jié)果可以提高評(píng)估準(zhǔn)確性，降低變異性和均方根誤差進(jìn)而提升骨齡評(píng)估性能[41]。在基于深度學(xué)習(xí)的自動(dòng)骨齡評(píng)測算法中，常用的神經(jīng)網(wǎng)絡(luò)模型主要包括Inception V3+DenseNet、ResNet、CaffeNet、U-Net+VGG、AlexNet和BoNet，以平均絕對(duì)誤差(Mean Absolute Error，MAE)為評(píng)價(jià)指標(biāo)，基于不同神經(jīng)網(wǎng)絡(luò)模型的自動(dòng)骨齡評(píng)測算法結(jié)果如表1所示。

表1 基于不同神經(jīng)網(wǎng)絡(luò)模型的自動(dòng)骨齡評(píng)測算法結(jié)果

續(xù)表1基于不同神經(jīng)網(wǎng)絡(luò)模型的自動(dòng)骨齡評(píng)測算法結(jié)果算法結(jié)果(測試集)數(shù)據(jù)集Caffenet Architecture [37]最大誤差:24.4個(gè)月MAE:6.4個(gè)月RSNA數(shù)據(jù)集訓(xùn)練集∶測試集=2∶1U-Net+VGG-style+Linear combination[40]MAE:7.52 月RSNA數(shù)據(jù)集AlexNet(共八層,5層卷積層,3層全連接層)[43]MAE 8.4月的準(zhǔn)確率為男性71.2%,女性66.2%維吾爾族男女左手腕關(guān)節(jié)DR圖像,男性245,女性227訓(xùn)練集∶測試集=7∶3BoNet(ad-hoc CNN,6層)[34]MAE:9.48月Digital Hand Atlas Database System總數(shù)據(jù)量:13 91男性700,女性691CNN分割+Lenet骨齡預(yù)測[36]MAE小于12個(gè)月的準(zhǔn)確率為92.29%男性4 278,女性4 047訓(xùn)練集∶驗(yàn)證集∶測試集=70∶15∶15基于LeNet-5 的CNN[41]MAE小于12個(gè)月的準(zhǔn)確率為98.6%,RMSE 6.558個(gè)月總數(shù)據(jù)量:8 045訓(xùn)練集∶測試集=85∶15

3.2.1 Inception V3+DenseNet

Inception V3處理的原始圖像像素為500×500，將0表示女，1表示男的性別信息輸入32個(gè)神經(jīng)元的Dense層，連接圖像信息和性別信息，輸入至兩個(gè)1 000個(gè)神經(jīng)元的Dense層，最后使用單輸出的線性層得到最終的骨齡預(yù)測結(jié)果，具體網(wǎng)絡(luò)模型[44]如圖5所示。

圖5 Inception V3網(wǎng)絡(luò)模型

Inception V3+Densenet模型的MAE約為4.27個(gè)月。Ren等人[42]使用基于Inception V3模型的回歸卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)對(duì)手骨X線片和注意力圖[45]進(jìn)行特征提取和預(yù)測，最終在RSNA數(shù)據(jù)集上的MAE為5.2個(gè)月。結(jié)合表1，可以看出使用Inception V3模型在端到端的骨齡評(píng)測中達(dá)到的效果較為突出。

Inception模塊通過對(duì)輸入圖像并行執(zhí)行多個(gè)卷積或池化操作，將所有的輸出結(jié)果拼接為一個(gè)更深的特征圖。盡管增加模型規(guī)模和計(jì)算代價(jià)能夠獲得更好的結(jié)果，但更高的計(jì)算效率和更少的參數(shù)更有利于深度學(xué)習(xí)模型在移動(dòng)端和大數(shù)據(jù)場景下的應(yīng)用。Inception V3[46]網(wǎng)絡(luò)主要通過對(duì)卷積進(jìn)行分解和正則化提高計(jì)算效率，核心策略就是將一個(gè)大的卷積核分解為幾個(gè)小的卷積核，如將n×n的卷積核尺寸分解為1×n和n×1兩個(gè)卷積，n=3時(shí)計(jì)算成本降低33%。訓(xùn)練時(shí)使用RMSProp(Root Mean Square Prop)優(yōu)化器[47]代替隨機(jī)梯度下降(Stochastic Gradient Descent，SGD)，使用Batch Normalization防止梯度彌散，使用標(biāo)簽平滑防止過擬合。

Synho等人[36]采用Inception模型進(jìn)行BAA。先對(duì)圖像灰度分布及大小進(jìn)行歸一化，將手骨部分、其他組織、背景區(qū)域和標(biāo)記文字等區(qū)域均進(jìn)行區(qū)塊采樣，通過CNN實(shí)現(xiàn)手骨區(qū)域的分割，然后使用GoogLeNet進(jìn)行骨齡預(yù)測，誤差小于一歲的準(zhǔn)確率為92.29%，一次耗時(shí)約為1.4～7.9 min。該研究排除了0～4歲的兒童，骨齡都以“X歲，6個(gè)月”給出，由于數(shù)據(jù)集的骨齡時(shí)間分辨率為半年，模型最終可能會(huì)引入時(shí)間上的誤差。

DenseNet[48]將每一層的輸出都導(dǎo)入后面所有層，保證了層與層之間最大程度的信息傳輸，這種密集連接大幅減少了網(wǎng)絡(luò)的參數(shù)量，也減輕了過擬合現(xiàn)象，網(wǎng)絡(luò)旁路加強(qiáng)了特征的重用，在一定程度上緩解了梯度消失的問題。DenseNet第l層的輸出為

xl=Hl([x0,x1,…,xl-1])

(10)

其中，Hl表示一個(gè)非線性變換。DenseNet將所有層的輸出進(jìn)行通道合并，保證網(wǎng)絡(luò)中信息流的完整性。

文獻(xiàn)[33]采用FC-DenseNet進(jìn)行手掌特征提取，同時(shí)采用QBC(Query By Committee)算法對(duì)特征進(jìn)行度量，從總的數(shù)據(jù)中選擇差異最大的樣本(含有更多信息)進(jìn)行模型訓(xùn)練(主動(dòng)學(xué)習(xí))，最終得到手掌區(qū)域分割結(jié)果。為了得到更好地輸入數(shù)據(jù)進(jìn)行骨齡評(píng)測，采用生成式對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Networks,GAN)訓(xùn)練生成增強(qiáng)后的X線片手掌區(qū)域，并提出PTL(Paced Transfer Learning)進(jìn)行自頂向下的逐步訓(xùn)練。初期只對(duì)隨機(jī)初始化的頂層全連接層進(jìn)行精調(diào)，當(dāng)損失函數(shù)的值下降到穩(wěn)定階段后再對(duì)次高層進(jìn)行精調(diào)，逐步向下直到模型收斂，最終MAE值男性為5.99個(gè)月，女性為6.26個(gè)月。骨齡評(píng)測整體框架如圖6所示。

3.2.2 ResNet

ResNet[49]主要是通過使用殘差解決網(wǎng)絡(luò)深度增加時(shí)的神經(jīng)網(wǎng)絡(luò)性能退化問題，ResNet的l層的輸出是l-1層的輸出加上l-1層輸出的非線性變換，即

xl=Hl(xl-1)+xl-1

(11)

殘差的旁路只傳遞了部分信息，會(huì)造成信息丟失。Mutasa等人[38]提出了MABAL(Machine-Assisted Bone Age Labeling)模型，通過結(jié)合Inception模型和殘差模型用14層的網(wǎng)絡(luò)進(jìn)行骨齡預(yù)測，殘差層和Inception層不同組合方式的測試結(jié)果表明前些層用殘差，后期使用Inception效果最好，最佳MAE約為0.64年。Pan[15]等人使用ImageNet與訓(xùn)練的精調(diào)ResNet-50，通過數(shù)據(jù)增強(qiáng)和模型組合防止過擬合，提高了算法性能，最終MAE約為4.4個(gè)月。

3.2.3 CaffeNet

Lee等人[50]首先對(duì)原始圖像進(jìn)行了剪切和灰度直方圖調(diào)整，然后使用CNN模型CaffeNet[51]對(duì)224×224的圖像進(jìn)行一系列的卷積、池化操作，最終得到1 000維的特征向量，在處理中用到了ImageNet上的預(yù)訓(xùn)練模型權(quán)重，最終的平均絕對(duì)誤差約為6.4個(gè)月，最大誤差為24.4個(gè)月，但該實(shí)驗(yàn)數(shù)據(jù)量較少，訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)分別為400張和200張，數(shù)據(jù)少導(dǎo)致了一定的過擬合，增加樣本數(shù)量可能會(huì)解決這個(gè)問題。

3.2.4 U-Net+VGG

Iglovikov等人[40]使用U-Net[52]進(jìn)行手部的分割，通過關(guān)鍵點(diǎn)檢測對(duì)手的位置進(jìn)行了一致性的校正和對(duì)齊，然后使用VGG模型進(jìn)行骨齡預(yù)測。評(píng)估發(fā)現(xiàn)，將手的圖像、腕骨區(qū)域、掌骨及指骨等3部分進(jìn)行線性組合后骨齡預(yù)測效果最好，MAE為7.52個(gè)月。

U-Net分割加上圖像特征提取與骨齡預(yù)測是常見的處理流程，U-Net將圖像分割看作像素分類問題，通過多次卷積進(jìn)行特征提取，然后進(jìn)行反卷積將分類后的像素進(jìn)行位置復(fù)原，實(shí)現(xiàn)圖像分割。

計(jì)算機(jī)視覺組(Visual Geometry Group，VGG)網(wǎng)絡(luò)由5層卷積層、3層全連接層和1層softmax輸出層構(gòu)成，層與層之間使用最大池化，所有隱層的激活單元均采用ReLU函數(shù)[53]。VGG證明了卷積神經(jīng)網(wǎng)絡(luò)的深度增加及小卷積核(3×3的卷積核)的使用有利于提升網(wǎng)絡(luò)的最終分類識(shí)別效果。

3.2.5 AlexNet

AlexNet[54]為8層深度神經(jīng)網(wǎng)絡(luò)，其中包含5層卷積層和3層全連接層，不計(jì)局部響應(yīng)歸一化層(Local Response Normalization，LRN)和池化層。AlexNet中將ReLU作為激活函數(shù)，使用Dropout避免過擬合，通過LRN層對(duì)局部神經(jīng)元?jiǎng)?chuàng)建競爭機(jī)制，使得響應(yīng)較大的值變得相對(duì)更大，并抑制其他反饋較小的神經(jīng)元，增強(qiáng)模型泛化能力，使用數(shù)據(jù)增強(qiáng)減輕過擬合、增加模型泛化能力。

胡婷鴻等人[43]使用AlexNet[54]作為圖像識(shí)別回歸模型對(duì)維吾爾族青少年左手腕關(guān)節(jié)骨齡進(jìn)行識(shí)別，在誤差8.4個(gè)月時(shí)準(zhǔn)確率約為70%，但無法用于我國青少年骨齡鑒定檢案實(shí)踐，后期將繼續(xù)增加樣本量，進(jìn)一步提高準(zhǔn)確率，并逐步克服隨精度要求增加時(shí)準(zhǔn)確率波動(dòng)的現(xiàn)象。

3.2.6 BoNet

Spampinato等人構(gòu)造了BoNet[34]進(jìn)行骨齡預(yù)測，其中關(guān)鍵技術(shù)包括使用OverFeat[55]特征提取網(wǎng)絡(luò)的第一層卷積層對(duì)低層視覺特征進(jìn)行編碼，降低X線片數(shù)量少所帶來的過擬合風(fēng)險(xiǎn)，使用形變層以獲得手骨的非剛性形變，增加樣本數(shù)量，使用回歸網(wǎng)絡(luò)來得到預(yù)測的骨齡。在公共數(shù)據(jù)集上測試結(jié)果表明，將卷積層從2增加到6，發(fā)現(xiàn)卷積層并不是越多越好，使用5層就能夠達(dá)到最好的性能，MAE約為9.48個(gè)月。將BoNet不同深度卷積層提取的特征所對(duì)應(yīng)的感興趣區(qū)域(Region of Interest，ROI)與TW法中所使用的ROI進(jìn)行對(duì)比，如圖7所示。可以看出，BoNet覆蓋了所有的TW法建議的區(qū)域，但是同時(shí)也發(fā)現(xiàn)有一些區(qū)域?qū)τ陬A(yù)測骨齡并非是必須的。

4 應(yīng)用技術(shù)發(fā)展

傳統(tǒng)人工評(píng)估骨齡方法繁瑣費(fèi)時(shí)且易受主觀影響，隨機(jī)誤差大，骨發(fā)育等級(jí)標(biāo)準(zhǔn)的文字描述實(shí)際應(yīng)用起來比較復(fù)雜、系統(tǒng)誤差較大，因此，從90年代初期開始，通過計(jì)算機(jī)輔助進(jìn)行骨齡評(píng)測。

4.1 計(jì)算機(jī)輔助骨齡評(píng)分系統(tǒng)

計(jì)算機(jī)輔助骨齡評(píng)分系統(tǒng)[56]由計(jì)算機(jī)自動(dòng)查表給出總分及骨齡。該方法對(duì)手在X線圖像中的位置要求嚴(yán)格，結(jié)果受圖像質(zhì)量影響較大，不能識(shí)別重疊較多的骨骼，處理病態(tài)手較困難。

4.2 基于數(shù)字手譜的計(jì)算機(jī)輔助診斷系統(tǒng)

計(jì)算機(jī)輔助診斷系統(tǒng)[57]用于骨齡評(píng)測的過程如圖8所示，由醫(yī)生用鼠標(biāo)標(biāo)記感興趣區(qū)域，再進(jìn)行精細(xì)分割和特征提取，實(shí)現(xiàn)分類識(shí)別。該方法并非全自動(dòng)方法，仍需要醫(yī)生標(biāo)記多個(gè)區(qū)域進(jìn)行圖像處理。

圖8 計(jì)算機(jī)輔助診斷系統(tǒng)用于骨齡評(píng)測的過程

4.3 BoneXpert

BoneXpert[58]是由丹麥等國聯(lián)合開發(fā)的用于骨齡評(píng)測的軟件。該軟件基于主動(dòng)外觀模型(Active Appearance Model，AAM)方法提取1、3、5指骨，1～5掌骨及尺橈骨共15塊骨頭，提取各骨示意圖如圖9所示。

圖9 BoneXpert提取各骨示意圖

通過識(shí)別每塊骨頭的形狀、密度，重建骨頭邊緣，評(píng)估除2、4掌骨外的其余13塊骨頭的骨齡。如果所有骨頭的均值相差大于2.4歲，則無法評(píng)估該樣本骨齡，最終將這些骨齡轉(zhuǎn)化為G-P及TW3骨齡[59]，評(píng)估過程平均單位耗時(shí)為14.5 s。該軟件已廣泛應(yīng)用于各國醫(yī)生的診斷與科研中[60-61]。Pinsker[62]測試了BoneXpert對(duì)有損壓縮的JPEG格式手骨X線圖像的處理效果，證明了JPEG圖像也可得到較高的檢測準(zhǔn)確率。不過該軟件樣本采用的均為高加索兒童，與我國兒童有一定的差異，使用時(shí)需要進(jìn)行相應(yīng)的調(diào)整。

4.4 雙能X射線吸收法

Sanchez[63]等人對(duì)使用傳統(tǒng)X線和使用Norland XR-800雙能X射線吸收法(Dualenergy X-ray Absorptiometry,DXA)進(jìn)行骨齡評(píng)測結(jié)果對(duì)比，發(fā)現(xiàn)兩種方法結(jié)果高度相關(guān)。但是，使用DXA方法能夠發(fā)現(xiàn)更加細(xì)微的變化，可以測到兒童3個(gè)月的骨齡變化，在需要測試短期內(nèi)兒童發(fā)育情況變化時(shí)使用DXA更加有效。

4.5 依圖科技

通過依圖自主研發(fā)并優(yōu)化的人工智能模型，對(duì)兒童骨齡片進(jìn)行基于G-P/TW3標(biāo)準(zhǔn)的智能判讀，5 s以內(nèi)給出精準(zhǔn)評(píng)分結(jié)果，最大誤差在3個(gè)月內(nèi)，診斷結(jié)果采納率超過99%，結(jié)果與自身專家無統(tǒng)計(jì)學(xué)差異，目前還未見醫(yī)學(xué)領(lǐng)域?qū)υ撥浖南嚓P(guān)評(píng)測文獻(xiàn)[64]。

5 其他骨齡評(píng)測方法

除了常見的使用手骨X線片進(jìn)行骨齡評(píng)測，還有使用超聲波、磁共振成像(Magnetic Resonance Imaging，MRI)、電子計(jì)算機(jī)斷層掃描(Computed Tomography，CT)圖像和基于骨盆X線圖像進(jìn)行骨齡評(píng)測的方法。

5.1 超聲波手骨骨齡評(píng)測

骨齡超聲系統(tǒng)BAUSTM進(jìn)行骨齡評(píng)估，最大的優(yōu)勢就是無輻射，準(zhǔn)確率可精確到月。Rachmiel[65]等人將超聲檢測結(jié)果與G-P和TW3法進(jìn)行了比對(duì)，發(fā)現(xiàn)超聲法也可以得到與經(jīng)典X線檢測方法相當(dāng)?shù)男Ч?/p>

5.2 手骨MRI圖像骨齡評(píng)測

由于使用X線片進(jìn)行骨齡評(píng)測的方法對(duì)人體有輻射，有些國家禁止進(jìn)行非診斷用的手骨X線片拍攝，所以考慮使用MRI圖像進(jìn)行骨齡評(píng)測[66-67]。文獻(xiàn)[68]使用左手的3D MRI圖像進(jìn)行全自動(dòng)骨齡評(píng)測，首先使用回歸隨機(jī)森林方法分粗定位和精細(xì)定位兩步得到骨骺間隙區(qū)域，然后將這些區(qū)域的圖像特征，主要是所定位的點(diǎn)的亮度值、不同位置點(diǎn)之間的亮度差異及平均亮度值映射到按照順序排好的年齡上，通過回歸分析得到最終的骨齡預(yù)測結(jié)果，56名男性白人被試的最終MAE約為10.56±6.96個(gè)月。Stern等人[69]使用132張3D的MR手部圖像進(jìn)行基于隨機(jī)回歸森林算法的骨齡評(píng)測，MAE約為9.84±6.72個(gè)月。

5.3 電子計(jì)算機(jī)斷層掃描圖像鎖骨骨骺骨齡評(píng)測

Schmeling[70]提出如果X線中發(fā)現(xiàn)骨骼已經(jīng)發(fā)育完全，在某些刑事、民事、庇護(hù)和養(yǎng)老程序中需要判定對(duì)象是否成年時(shí)，建議使用電子計(jì)算機(jī)斷層掃描(Computed Tomography，CT)評(píng)價(jià)鎖骨內(nèi)側(cè)骺的骨化程度，Ufuk等人[71]對(duì)354例被試的CT圖像進(jìn)行分析后，證實(shí)鎖骨內(nèi)側(cè)骨骺有助于法醫(yī)學(xué)鑒定年齡，我國也有學(xué)者做了類似的回顧性研究[72]。

5.4 基于骨盆X線圖像的骨齡評(píng)測

隨著年齡增長，基于手骨的骨齡評(píng)測變得困難，而使用骨盆X線片進(jìn)行骨齡評(píng)測也被證實(shí)有效[73]。Zhang等人[74]使用AlexNet處理骨盆X線片圖像最終得到骨齡數(shù)據(jù)，MAE為10.68月。該方法對(duì)于一般骨齡測試者都適用，即使是較大年齡，如19～21歲的被試都適用，超過22歲(含22歲)不適用。

6 討論與展望

隨著國內(nèi)醫(yī)療水平的提高，通過評(píng)估青少年骨齡，可了解其生長發(fā)育情況并積極采取相關(guān)干預(yù)。在各種青少年體育賽事中，使用骨齡評(píng)測方法獲取青少年真實(shí)年齡的手段更加普遍，社會(huì)對(duì)骨齡評(píng)測算法及設(shè)備的研發(fā)也有很大需求。目前，基于整體圖譜進(jìn)行骨齡評(píng)測的軟件及算法效果較好，但在時(shí)間精確度上仍需要進(jìn)一步提高，在各類骨結(jié)構(gòu)精確分割任務(wù)與更加詳細(xì)的評(píng)估方法等方面還需要研究，具體的問題及下一步可能的研究方向主要有以下5個(gè)方面。

1)文獻(xiàn)[36,41]中的數(shù)據(jù)集骨齡精度為6個(gè)月，會(huì)影響算法的評(píng)估精度，因此，在后期的研究中應(yīng)收集精度更高的數(shù)據(jù)集，如將樣本X線片的骨齡精度提高到月或以天計(jì)算，有利于訓(xùn)練出精度更高的骨齡評(píng)測模型。從兒科醫(yī)生對(duì)青少年生長發(fā)育治療的角度來看，骨齡評(píng)測需要有更高的精度，對(duì)發(fā)育、病情發(fā)展的短期跟蹤更有意義，如通過軟件發(fā)現(xiàn)在短期內(nèi)兒童骨骼的變化，有利于醫(yī)生評(píng)估患者接受生長激素等干預(yù)的效果，及時(shí)對(duì)患者的治療方案做出調(diào)整。

2)在骨齡評(píng)測算法方面，目前的深度學(xué)習(xí)均使用端到端的方法，輸入X線片最終輸出骨齡數(shù)值。但是，臨床醫(yī)生認(rèn)為計(jì)分法能夠給出更加準(zhǔn)確的結(jié)果，可以看到各骨骼的發(fā)展情況，而不僅僅是給出最終的骨齡結(jié)果。若軟件能夠自動(dòng)標(biāo)注某一患者時(shí)序上的骨骼發(fā)育變化，將各骨發(fā)展變化情況都直觀展現(xiàn)出來，顯示患者一段治療時(shí)期內(nèi)骨齡的微小變化，對(duì)于分析患者病情發(fā)展，調(diào)整治療方案更有價(jià)值。后期骨齡評(píng)測算法研究可以深入到手骨各骨分割(多目標(biāo)分割)、基于計(jì)分法的手骨各骨骨齡評(píng)測、手骨圖像微弱差異分析與標(biāo)注等方向。

3)在手骨分割方面，效果較好的有雙凸模糊變分、能量最小化和U-Net等方法。但是，目前的分割都屬于單目標(biāo)分割，即將整個(gè)手掌區(qū)域或手骨區(qū)域看作需要分割的目標(biāo)，最終得到一個(gè)二值圖像。要滿足醫(yī)學(xué)上更具精準(zhǔn)的診斷需求，有必要研究手部各骨的多目標(biāo)分割方法，但該研究有一定難度，主要原因有兩個(gè)方面。一方面是分割目標(biāo)數(shù)目不定，在兒童發(fā)育過程中手部骨骺出現(xiàn)時(shí)間不一，在X線片中需要分割骨骺數(shù)量不定，使用模板法時(shí)需謹(jǐn)慎。另一方面是根據(jù)TW3法標(biāo)準(zhǔn)，骨齡的評(píng)定涉及到骨骺、手骨的微小形態(tài)變化，X線片中有的骨骺、骨骼邊緣模糊，要得到所有骨骺、手骨的精確分割結(jié)果有一定的難度，需要更魯棒的多目標(biāo)X線片分割方法，可以考慮使用GAN和DenseNet開展手骨的精細(xì)分割研究。

4)已有研究通過深度神經(jīng)網(wǎng)絡(luò)對(duì)手掌不同區(qū)域的激活情況進(jìn)行分析，發(fā)現(xiàn)手骨的不同區(qū)域?qū)驱g的貢獻(xiàn)也不同[33]，有一定的可能性真正對(duì)骨齡評(píng)測起作用的只有更少數(shù)量的手骨，可以通過進(jìn)一步的深度學(xué)習(xí)分析確認(rèn)。隨著生活水平的提高、兒童發(fā)育時(shí)間提前，經(jīng)典骨齡標(biāo)準(zhǔn)可能已經(jīng)不適用于目前的少年兒童，可通過對(duì)新樣本使用深度學(xué)習(xí)方法提取特征，通過統(tǒng)計(jì)分析進(jìn)行確認(rèn)，對(duì)骨齡標(biāo)準(zhǔn)進(jìn)行修正，或提出新的骨齡標(biāo)準(zhǔn)。

5)目前也有一些其他的方法手段進(jìn)行骨齡評(píng)測，但是基于手骨X線片的骨齡評(píng)測對(duì)于大多數(shù)生長發(fā)育診斷及真實(shí)年齡鑒定仍是最簡單、最廣泛使用的方法，也是發(fā)展歷史最久的一種方法。有較多的基礎(chǔ)理論支持和較大規(guī)模的數(shù)據(jù)集，在算法及技術(shù)研究方面最容易突破，但其他手段也有各自的優(yōu)勢，如在大齡青少年骨齡評(píng)測、使用超聲波避免X線輻射等，也有一定的研究意義。