采用輕量級姿態(tài)估計網(wǎng)絡(luò)的脊柱側(cè)彎篩查方法

魏旋旋，黃子健，曹樂，楊皓，方宇

（1.上海工程技術(shù)大學(xué) 機械與汽車工程學(xué)院, 上海 201620; 2.上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院, 上海201620）

全球約有2%～5%的青少年患特發(fā)性脊柱側(cè)彎，這種畸形通常隨著脊柱的快速生長而出現(xiàn)，并會影響身體外觀、心肺功能，甚至導(dǎo)致癱瘓[1]。美國疾控中心數(shù)據(jù)顯示，早期篩查及時發(fā)現(xiàn)脊柱側(cè)彎，能夠有效避免該疾病的產(chǎn)生，因此，脊柱側(cè)彎的篩查及早期診斷尤為重要。傳統(tǒng)篩查方法是采用目測、Adams 前屈試驗和脊柱側(cè)彎尺的方法進行初步篩查，再拍攝X 光片，并測量Cobb 角進行確診[2]。但這種方法多依賴醫(yī)師個人經(jīng)驗具有不確定性且效率極低，難以大范圍推廣。

研究表明，脊柱側(cè)彎疾病與患者肩部、臀部和肩胛骨等的對稱性異常有關(guān)，近年來大量學(xué)者利用雙目視覺、深度相機和超聲波等方法對人體背部進行三維重建，利用三維數(shù)據(jù)計算人體背部的對稱和非對稱度信息，以此衡量脊柱側(cè)彎的程度[3-5]。Yang 等[6]利用深度學(xué)習(xí)開發(fā)和建立了基于人體裸露背部圖像的脊柱側(cè)彎智能篩查系統(tǒng)，該系統(tǒng)篩查準(zhǔn)確率可達人類專家平均水平。但上述方法均需要需脫去衣物檢查（不利隱私保護），且設(shè)備價格昂貴、效率較低，阻礙了脊柱側(cè)彎篩查在健康普測中大面積應(yīng)用。

針對以上問題，本文構(gòu)建了一種較為輕量級的人體姿態(tài)估計網(wǎng)絡(luò)去提取人的關(guān)節(jié)點坐標(biāo)，再利用SVM（support vector machine）分類器對脊柱側(cè)彎程度進行分類。實現(xiàn)了在正常環(huán)境下準(zhǔn)確快速地對脊柱側(cè)彎進行篩查。本文主要研究貢獻包括：

1) 利用人體關(guān)節(jié)點，提出一種全新的脊柱側(cè)彎篩查方法，并通過自制數(shù)據(jù)集實驗驗證了該方法的有效性。

2) 將MobileNetV3 作為網(wǎng)絡(luò)模型的主框架，結(jié)合反池化反卷積的上采樣方法，設(shè)計了用于提取人體關(guān)節(jié)點的輕量級人體姿態(tài)估計模型，便于移植到嵌入式平臺，推動脊柱側(cè)彎篩查在健康普測中大面積應(yīng)用。

1 相關(guān)研究

1.1 輕量級姿態(tài)估計網(wǎng)絡(luò)

姿態(tài)估計方法可分為基于坐標(biāo)回歸和基于熱圖檢測兩種類型，基于熱圖檢測的方法是目前的研究主流[7]，各種優(yōu)秀的人體姿態(tài)估計方法如卷積位姿機[8]、高分辨率網(wǎng)絡(luò)[9]和沙漏堆疊網(wǎng)絡(luò)[10]等都是基于熱圖回歸。Zhao 等[11]提出一種新的人體位姿估計網(wǎng)絡(luò)架構(gòu)，“平行金字塔”網(wǎng)絡(luò)架構(gòu)，實現(xiàn)了速度和精度之間的良好平衡。Zhao等[12]還通過在端到端人體姿勢學(xué)習(xí)中添加質(zhì)量預(yù)測塊，來提高平均精確率(average precision，AP)值。但由于網(wǎng)絡(luò)復(fù)雜和運算量大的原因，無法布置在移動硬件設(shè)備上，限制了這類姿態(tài)估計算法的實際應(yīng)用。

近年來，輕量級姿態(tài)估計網(wǎng)絡(luò)成為研究的熱點。Osokin[13]采用輕量級Open Pose 網(wǎng)絡(luò)實現(xiàn)了CPU 上的實時2D 多人姿態(tài)估計，檢測速度可達28 f/s；Luo 等[14]以Simple Baseline 架構(gòu)為基礎(chǔ)，利用深度卷積和注意力機制設(shè)計了一個輕量級瓶頸塊，使得設(shè)計出來的網(wǎng)絡(luò)模型相比Simple Baseline網(wǎng)絡(luò)復(fù)雜度減少91%，而計算復(fù)雜度只有其11%；Ren 等[15]在Luo 的基礎(chǔ)上，將結(jié)構(gòu)相似性度量概念引入輕量級瓶頸塊中，用以細(xì)化固有特征圖的適當(dāng)比例和減小模型大小，使得計算成本大大降低；Bazarevsky 等[16]設(shè)計了一種用于人體姿勢估計的輕量級卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)Blaze Pose，實現(xiàn)了移動設(shè)備上人體姿勢估計的實時推理；谷歌提出的MobileNetV3[17]卷積神經(jīng)網(wǎng)絡(luò)模型，可以直接將算法搭載到嵌入式開發(fā)板中運行；國內(nèi)也有不少研究者對現(xiàn)有經(jīng)典網(wǎng)絡(luò)進行修改使之輕量化，并應(yīng)用在姿勢評估的研究方面[18-20]。

1.2 機器學(xué)習(xí)在脊柱畸形檢測中的應(yīng)用

機器學(xué)習(xí)在脊柱畸形檢測方面的應(yīng)用是當(dāng)今的熱門領(lǐng)域。Ramirez 等[21]結(jié)合人體背部表面形貌圖和臨床數(shù)據(jù)，利用支持向量機分類器進行分類，成功將Cobb 角的大小分為3 類（小于 30°、 30°～50°和大于 50°），準(zhǔn)確率在69%～85%；Seoud 等[22]在Ramirez 的基礎(chǔ)上成功對脊柱的彎曲類型進行分類，準(zhǔn)確率達到72.2%；Sun 等[23]利用結(jié)構(gòu)化支持向量回歸，實現(xiàn)了從X 光片圖像中對Cobb 角的高精度估算；Zhang 等[24]將深度神經(jīng)網(wǎng)絡(luò)用于估算X 光片的錐體斜率，再由斜率估算Cobb 角；類似的還有采用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)[25]、Mask R-CNN[26]以及U-Net[27]等網(wǎng)絡(luò)的方法對椎骨進行分割、重建和計算脊柱曲率。Tan 等[28]使用Unet 網(wǎng)絡(luò)分割X 光片中的脊柱，再通過最小外包絡(luò)矩形不斷在局部區(qū)域逼近椎體邊界，最終擬合出脊柱邊界曲線用SVM對脊柱進行分型，實驗結(jié)果與醫(yī)生評估的結(jié)論相同。

2 基于輕量級人體姿態(tài)估計網(wǎng)絡(luò)的脊柱側(cè)彎篩查算法

圖1 為本文提出的采用輕量級姿態(tài)估計網(wǎng)絡(luò)的脊柱側(cè)彎篩查算法流程。首先，對采集到的RGB 圖像進行簡單的預(yù)處理，再將其輸入本文搭建的輕量級人體姿態(tài)估計模型獲取人體關(guān)鍵點的二維坐標(biāo)信息。接著，從關(guān)鍵點二維坐標(biāo)中提取人體姿態(tài)的空間特征送進訓(xùn)練好的SVM 分類器中完成脊柱側(cè)彎程度的分類。

圖1 脊柱側(cè)彎篩查算法流程Fig.1 Scoliosis screening algorithm flow

2.1 輕量級姿態(tài)估計網(wǎng)絡(luò)設(shè)計

由于MobileNetV3 具有體積小、計算量少和精度高的優(yōu)點，所以本文在設(shè)計輕量級姿態(tài)估計網(wǎng)絡(luò)時以MobileNetV3 為編碼器來構(gòu)建網(wǎng)絡(luò)模型。本文設(shè)計的模型主要分為3 部分：編碼器、解碼器和坐標(biāo)解碼（即熱圖回歸），如圖2 所示。

圖2 輕量級姿態(tài)估計網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Lightweight pose estimation network architecture

網(wǎng)絡(luò)直接使用MobileNetV3 的前13 層作為編碼器來提取輸入圖片的特征圖，這樣做可以在保證模型輕量級的同時減少網(wǎng)絡(luò)計算量。經(jīng)過編碼器提取的多維特征需要通過上采樣的方式進行可視化，為此，采用5 層反池化反卷積的上采樣方法提取人體各關(guān)節(jié)點的熱圖，具體操作如圖3 所示。最終通過一系列的反池化、反卷積操作預(yù)測出各個關(guān)鍵點的熱圖。反卷積反池化網(wǎng)絡(luò)的具體結(jié)構(gòu)和參數(shù)如表1 所示，其中K是關(guān)鍵點的個數(shù)。

表1 反卷積反池化網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)設(shè)置Table 1 Deconvolution depoolerization network structure and parameter settings

2.2 坐標(biāo)解碼

在得到關(guān)鍵點的熱圖后，為了得到各關(guān)鍵點的二維坐標(biāo)需要將對應(yīng)的分辨率恢復(fù)轉(zhuǎn)換回原始的坐標(biāo)空間，并預(yù)測關(guān)節(jié)在原始圖像坐標(biāo)空間中的位置，這個過程被稱為坐標(biāo)解碼即熱圖回歸。

人體關(guān)節(jié)坐標(biāo)按比例編碼到熱圖中可以表示為

式中：λ是分辨率降低率，p與p′對應(yīng)圖中及熱圖中的點坐標(biāo)。

被預(yù)測熱圖的二維高斯分布表示為

式中：μ為待估計關(guān)節(jié)位置對應(yīng)的高斯均值；協(xié)方差Σ是一個對角矩陣，與坐標(biāo)編碼中使用的矩陣相同。

采用二維高斯編碼的熱圖，高斯分布的均值μ所對應(yīng)的坐標(biāo)即原圖的人體關(guān)節(jié)點的坐標(biāo)。解碼的過程就是從帶有誤差的高斯分布中估計均值μ的坐標(biāo)的過程。

如何獲取μ值本文有如下推理：

作為極值點，方程滿足在x = μ時一階導(dǎo)數(shù)為0，可表示為

再由泰勒展開式可得：

其中，

將式(5)～(7)聯(lián)立可得：

在得到μ后，再利用式(1)預(yù)測原始圖像空間中的關(guān)節(jié)點坐標(biāo)p。

2.3 人體姿態(tài)空間特征提取

為將脊柱側(cè)彎疾病進行詳細(xì)分級，需要提取人體姿態(tài)的空間特征。主要有：X和Y軸上的差值、體態(tài)角度。

體態(tài)角度分為傾角和夾角，如圖4(a)所示，關(guān)節(jié)點記作p1=[x1y1]T，p2=[x2y2]T，其連線向量為l=[x1-x2y1-y2]T，垂直方向單位向量為e=[0 1]T，所以傾角θ的計算公式為

圖4 體態(tài)角度和空間特征示意Fig.4 Schematic diagram of posture angle and spatial characteristics

如圖4(b)所示，關(guān)節(jié)點記作p1=[x1y1]T，p2=[x2y2]T，p3=[x3y3]T，記l1=p1-p2，l2=p3-p2，所以夾角β的計算公式為

圖4(c)和(d)是人體正面和側(cè)面空間特征的具體部位。將上述所得的關(guān)節(jié)點坐標(biāo)和人體姿態(tài)的空間特征組成體態(tài)矩陣，并結(jié)合脊柱側(cè)彎的標(biāo)簽，送入SVM 分類器進行訓(xùn)練，最終實現(xiàn)脊柱側(cè)彎的分類即脊柱側(cè)彎篩查的目的。

3 實驗結(jié)果及分析

3.1 姿態(tài)估計實驗

本文的實驗設(shè)備為NVIDIAGTX 1080-Ti, 10 GB內(nèi)存的計算機，使用的是Tensorflow 2.1.0 深度學(xué)習(xí)框架。在MSCOCO 和MPII 數(shù)據(jù)集上進行了實驗，用以評估輕量級人體姿態(tài)估計網(wǎng)絡(luò)的性能。MSCOCO 數(shù)據(jù)集由微軟公司制作，含25 萬個人體實例和18 個關(guān)鍵點；MPII 數(shù)據(jù)集是從各種真實世界活動拍攝的，對全身的姿態(tài)都有注釋。

PCP(percentage correct parts)[29]是人體姿態(tài)估計評估準(zhǔn)確性的常用評價標(biāo)準(zhǔn)，本次姿態(tài)估計實驗使用該標(biāo)準(zhǔn)作為實驗結(jié)果的評價指標(biāo)。另外，用參數(shù)量(Params)和計算量(FLOPs)判斷網(wǎng)絡(luò)模型的輕量級。訓(xùn)練時通過隨機旋轉(zhuǎn)[ -45°, 4 5°]、隨機尺度[0.65, 1.35]和翻轉(zhuǎn)的方式對數(shù)據(jù)進行增強。在優(yōu)化器的選擇上，本文使用Adam 優(yōu)化器，初始學(xué)習(xí)率設(shè)為10-3，經(jīng)過第90 次和120 次迭代后分別減小為10-4和10-5。總共迭代次數(shù)設(shè)置為200 次。

為進一步驗證本文所采用輕量級姿態(tài)估計網(wǎng)絡(luò)的先進性，將該模型與Simple Baseline、Deep Pose 和HRNet 這3 種具有代表性的模型在MPII數(shù)據(jù)集上進行對比，其結(jié)果如表2 所示（輸入圖片大小為224 像素×224 像素）。

表2 MPII 數(shù)據(jù)集在不同方法下的參數(shù)量、計算量和PCPTable 2 Params, GFLOPs and PCP of MPII dataset under different methods

根據(jù)表2 所示，本文提出的方法在參數(shù)量上相比Simple Baseline、Deep Pose、HRNet 分別減少68.9%、48.8%、62.8%，同時在計算量上也分別減少2.5、1.1、5.9 GB。各個關(guān)鍵點的平均識別率也有所提高，可達到93.9%。結(jié)果表明本文算法能夠很好地對人體關(guān)鍵點進行提取。

3.2 脊柱側(cè)彎分類實驗

由于目前國內(nèi)外沒有利用姿態(tài)識別進行脊柱側(cè)彎篩查的案例和相應(yīng)的數(shù)據(jù)庫，所以本文自行采集制作了一個500 人的脊柱側(cè)彎數(shù)據(jù)集，用于驗證算法的可行性。利用Kinect 相機采集500 名年齡在12～15 歲中小學(xué)生在自然站立下（雙手自然下垂，雙腳并攏）的正面照和側(cè)面照，其中男生274 名，女生226 名，無側(cè)彎208 人，側(cè)彎Ⅰ度40人，側(cè)彎Ⅱ度180 人，側(cè)彎Ⅲ度72 人。側(cè)彎程度是由專業(yè)的醫(yī)生利用脊柱側(cè)彎尺和Adams 前屈實驗，根據(jù)《兒童青少年脊柱彎曲異常的篩查標(biāo)準(zhǔn)（GB/T16133—2014）》[30]判斷得到。脊柱側(cè)彎類型分為無側(cè)彎（脊柱側(cè)彎測量儀＜ 5°）、側(cè)彎Ⅰ度（ 5°≤ 脊柱側(cè)彎測量儀＜7°） 、側(cè)彎Ⅱ度（ 7°≤脊柱側(cè)彎測量儀＜1 0°）、側(cè)彎Ⅲ度（脊柱側(cè)彎測量儀≥1 0°），分別用0、1、2、3 作為標(biāo)簽方便后續(xù)訓(xùn)練。本實驗自制數(shù)據(jù)集的訓(xùn)練集數(shù)據(jù)和測試集數(shù)據(jù)如表3 所示。圖5 是不同程度側(cè)彎人群的圖片展示。

表3 脊柱側(cè)彎數(shù)據(jù)集Table 3 Scoliosis datasets

圖5 4 種不同程度的脊柱側(cè)彎Fig.5 Four different degrees of scoliosis

本文使用SVM 分類器對脊柱側(cè)彎疾病進行詳細(xì)分級，為提高模型的可靠性和泛化能力，本文實驗均采用四折交叉驗證的方式進行訓(xùn)練。將采集的數(shù)據(jù)直接輸入SVM 分類模型進行訓(xùn)練得到混淆矩陣如圖6(a)所示，對于4 種不同程度的側(cè)彎分類的準(zhǔn)確率分別是85.0%、62.0%、74.0%、81.0%。為了進一步提高分類的準(zhǔn)確率，本文提出利用3 個SVM 二分類分類器對脊柱側(cè)彎程度進行細(xì)化分級。具體操作為：1)分類器SVMⅠ將側(cè)彎分為無側(cè)彎和有側(cè)彎兩類；(2)利用分類器SVMⅡ?qū)⒂袀?cè)彎的分為側(cè)彎Ⅰ度和其他；(3) 利用分類器SVMⅢ完成最終分類。訓(xùn)練后得到的混淆矩陣如圖6(b)所示，4 種不同程度的脊柱側(cè)彎分類的準(zhǔn)確率分別為93.0%、81.7% (0.95×0.86=0.817)、81.3% (0.95×0.94×0.91≈0.813)、86.6% (0.95×0.94×0.97≈0.866)，可以更好地完成脊柱側(cè)彎的詳細(xì)分級。

圖6 脊柱側(cè)彎分類的混淆矩陣Fig.6 Confusion matrix for scoliosis classification

3.3 便攜式脊柱側(cè)彎篩查系統(tǒng)設(shè)計

將本文訓(xùn)練好的算法模型嵌入到開發(fā)板上構(gòu)建了便攜式脊柱側(cè)彎篩查系統(tǒng)，外部RGB 圖像的采集，使用1080 P 高清USB 攝像頭。該系統(tǒng)具有成本低、攜帶方便和快速篩查等特點，便于推廣到學(xué)校和社區(qū)大范圍應(yīng)用。圖7 是便攜式脊柱側(cè)彎篩查系統(tǒng)的檢測流程，圖8 是該系統(tǒng)現(xiàn)場的篩查檢測結(jié)果，在實際篩查中可實現(xiàn)每人20 s 的篩查速度。

圖7 嵌入式脊柱側(cè)彎篩查系統(tǒng)算法流程Fig.7 Embedded scoliosis screening system algorithm flow

圖8 脊柱側(cè)彎篩查系統(tǒng)實現(xiàn)Fig.8 Scoliosis screening system implementation

4 結(jié)束語

本研究提出采用輕量級姿態(tài)估計網(wǎng)絡(luò)的脊柱側(cè)彎篩查方法。該網(wǎng)絡(luò)參數(shù)量上相比Simple Baseline、Deep Pose、HRNet 分別減少68.9%、48.8%、62.8%，在計算量上分別減少2.5、1.1、5.9 GB，且關(guān)鍵點的平均識別率達到93.9%。在脊柱側(cè)彎分類時采用3 個SVM 二分類進行詳細(xì)分級，在4 種不同程度的側(cè)彎中準(zhǔn)確率分別達到93.0%、81.7%、81.3%、86.6%，比單獨采用一個SVM 進行四分類時分別高出8.0%、19.7%、7.3%、5.6%。設(shè)計開發(fā)了便攜式脊柱側(cè)彎篩查系統(tǒng)，實際篩查時可實現(xiàn)每人20 s的篩查速度。

本文采集的脊柱側(cè)彎數(shù)據(jù)集存在一定誤差，且數(shù)據(jù)集的數(shù)量相對較少，這些因素對模型訓(xùn)練和評估產(chǎn)生一定影響，后期將通過擴大數(shù)據(jù)集和引進X 光片診斷結(jié)果作為標(biāo)簽的方法進一步對該方法進行優(yōu)化完善。