基于視覺信息的智能下肢假肢路況識別

喻貝貝，孟青云，喻洪流，曹武警，趙偉亮

1.上海理工大學(xué)康復(fù)工程與技術(shù)研究所，上海市200093；2.上海健康醫(yī)學(xué)院，上海市201318；3.上海康復(fù)器械工程技術(shù)研究中心，上海市200093

人體下肢是人類移動步行的重要器官，具有很高的靈活性，可以協(xié)同其他器官完成多種動作[1-2]。由于先天性疾病、工傷或交通事故等原因，每年都有數(shù)以萬計的人失去下肢[3]。根據(jù)2006年國務(wù)院公布的第二次全國殘疾人抽樣調(diào)查數(shù)據(jù)顯示，我國肢體殘疾人數(shù)為2412萬人，占全國總?cè)丝诒壤?.34%[4]。由于當(dāng)前的醫(yī)療水平還不能使失去的肢體重新生長出來[5]，所以大多數(shù)患者都是通過佩戴下肢假肢恢復(fù)行走能力[6]。膝上下肢假肢包括接受腔、膝關(guān)節(jié)、小腿腿管、假腳[7]。其中膝關(guān)節(jié)對膝上下肢假肢穿戴者的行走能力具有決定性的影響[8]。然而傳統(tǒng)膝關(guān)節(jié)假肢不能在水平行走、上下樓梯等多種運(yùn)動模式之間進(jìn)行切換，導(dǎo)致下肢假肢穿戴者的運(yùn)動范圍受到極大的限制[9-10]，不能在復(fù)雜的環(huán)境下進(jìn)行有效的社會活動。因此，識別出下肢假肢穿戴者的行走路況，根據(jù)路況切換運(yùn)動模式，是智能膝關(guān)節(jié)研究的關(guān)鍵內(nèi)容[11-12]。

國內(nèi)外學(xué)者對智能膝關(guān)節(jié)的路況識別進(jìn)行了一定程度的研究。河北工業(yè)大學(xué)張燕等[13]通過在腰部安置傳感器采集距離信息和地形高度信息，提取特征值，并進(jìn)行簡單訓(xùn)練來識別不同的路況；北京大學(xué)王啟寧等[14]通過三軸陀螺儀、加速度計、力敏電阻和定時器等多傳感器融合的方式，采用實(shí)時模糊邏輯控制去識別不同的地形；美國的Afzal等[15]通過肌肉協(xié)同提取算法，用運(yùn)動模式分類的方式來實(shí)現(xiàn)對不同路況的識別；Shahmoradi等[16]提出通過讓患者佩戴慣性測量單元(inertial measurement unit,IMU)和電阻式壓力傳感器(force sensing resistor,FSR)傳感器采集捕獲運(yùn)動數(shù)據(jù)和步態(tài)時間，用模糊序列的識別方法去識別不同的運(yùn)動模式。綜上可以看出，當(dāng)前路況識別研究大都是基于力學(xué)、運(yùn)動學(xué)和肌電信息進(jìn)行相應(yīng)的處理。運(yùn)動學(xué)和力學(xué)信息具有滯后性，不能及時反映最新的數(shù)據(jù)信息；肌電信號通常比較微弱，而且容易受到鄰近肌肉信號的干擾，其安全性無法保證[17]；多傳感信息融合雖然可以提高精度，但是對算法的要求更高，處理過程更為復(fù)雜[18-19]。

視覺信息直觀、準(zhǔn)確，已在多領(lǐng)域得到了廣泛應(yīng)用[20]，但是基于視覺信息的智能膝關(guān)節(jié)路況識別研究還處于空白。因此，本工作從視覺信息角度出發(fā)，將機(jī)器視覺模塊嵌入智能膝關(guān)節(jié)的控制系統(tǒng)。通過視覺傳感器將采集到的路況圖像信息進(jìn)行實(shí)時處理，探索基于視覺信息的智能膝關(guān)節(jié)假肢路況識別的精度和實(shí)時性。

1 材料與方法

1.1 智能膝關(guān)節(jié)系統(tǒng)研究

該路況識別研究方案是在已經(jīng)研制的智能膝關(guān)節(jié)樣機(jī)的基礎(chǔ)上實(shí)現(xiàn)的[21]。執(zhí)行智能假肢膝關(guān)節(jié)具體功能的部分還是智能膝關(guān)節(jié)的結(jié)構(gòu)，因此膝關(guān)節(jié)機(jī)械結(jié)構(gòu)的設(shè)計尤為重要。假肢膝關(guān)節(jié)的樣機(jī)結(jié)構(gòu)如圖1所示，整體結(jié)構(gòu)設(shè)計緊湊，縮減了裝配高度，并進(jìn)行相關(guān)的有限元分析、運(yùn)動學(xué)分析驗(yàn)證了機(jī)械結(jié)構(gòu)的合理性和可行性。

基于前期的基礎(chǔ)理論研究和相關(guān)實(shí)驗(yàn)，設(shè)計了智能液壓假肢膝關(guān)節(jié)的總體控制框圖。見圖2。

圖1 液壓假肢膝關(guān)節(jié)機(jī)械設(shè)計圖

圖2 智能液壓仿生膝關(guān)節(jié)整體控制框圖

樣機(jī)采用兩個獨(dú)立液壓缸通過直線電機(jī)獨(dú)立調(diào)節(jié)閥門，分別控制屈曲和伸展過程中的行走阻尼，實(shí)現(xiàn)仿真步態(tài)；在膝關(guān)節(jié)轉(zhuǎn)動軸處放置角度傳感器，采集膝關(guān)節(jié)的運(yùn)動信息；在樣機(jī)上搭載一塊單片機(jī)控制板，用JHBM-7-V(承重壓力傳感器)實(shí)時檢測假肢當(dāng)前承受的重力，識別膝關(guān)節(jié)在擺動過程中的支撐期和擺動期；將OpenMV模塊(機(jī)器視覺模塊)放在膝關(guān)節(jié)軸心處，實(shí)時拍攝假肢膝關(guān)節(jié)前方的外界路況。整個膝關(guān)節(jié)總體長度240 mm，總質(zhì)量1.2 kg，最大承受重量100 kg。

1.2 視覺模塊及特點(diǎn)

OpenMV是一個基于STM32F765VI ARM CortexM7處理器的單片機(jī)和OV7670圖像傳感器的開源微型機(jī)器視覺模塊。OpenMV模塊自帶python3解釋器，可以使用Python腳本編程，大大提高開發(fā)速度。OpenMV所有的引腳輸出3.3 V且兼容5 V，而且留出異步串口總線接口，可以方便地與單片機(jī)通信。同時留出高速SPI接口，可以把簡單的圖像數(shù)據(jù)流傳輸給其他控制器[22]。

OpenMV視覺模塊擁有豐富的硬件資源，引出UART、I2C、SPI、PWM及GPIO等接口，方便拓展外圍功能，其自帶的Python編程接口，為視覺處理開發(fā)帶來極大的方便[23]。視覺模塊體積小巧、功耗低的特點(diǎn)，使其可以方便地集成在電路里面。

1.3 圖像處理算法

歸一化互相關(guān)(normalized cross correlation,NCC)算法用來比較兩幅圖像的相似程度，已經(jīng)是一個常見的圖像處理手段，在工業(yè)生產(chǎn)環(huán)節(jié)檢測、監(jiān)控領(lǐng)域?qū)ο髾z測與識別均有應(yīng)用。NCC算法可以有效降低光照對圖像比較結(jié)果的影響[24]。對于圖像來說，每個像素點(diǎn)都可以看成是RGB數(shù)值，這樣整幅圖像就可以看成是一個樣本數(shù)據(jù)的集合。如果它有一個子集與另外一個樣本數(shù)據(jù)相互匹配則它的NCC值為1，表示相關(guān)性很高；如果是-1，則表示完全不相關(guān)。基于這個原理，實(shí)現(xiàn)圖像基于模板匹配識別算法，其中第一步就是要?dú)w一化數(shù)據(jù)，NCC相似性度量函數(shù)數(shù)學(xué)公式如下[25]。

尋找點(diǎn)(x,y)在模板中的匹配過程就是在找最合適的d，使得NCC(x,y,d)最大，這樣對應(yīng)的數(shù)據(jù)樣本就與模板匹配。NCC算法具有很高的準(zhǔn)確性和適應(yīng)性，且所求的NCC值不受灰度值線性變換的影響。

1.4 實(shí)驗(yàn)過程

從上文公式推導(dǎo)可以看出，NCC的數(shù)據(jù)量比較大，但是其抗噪聲能力相對較強(qiáng)，綜合考慮識別精度和識別時間，本設(shè)計中相似度閾值設(shè)為0.7。當(dāng)攝像頭采集所得的外界路況數(shù)據(jù)與模板圖片在閾值范圍內(nèi)匹配時，用白色矩形標(biāo)出識別的區(qū)域，并在上位機(jī)中顯示。在實(shí)際應(yīng)用時，若識別到上下樓梯、上下坡等不同的路況時，系統(tǒng)會根據(jù)識別的結(jié)果去控制液壓缸阻尼，切換到相應(yīng)的步態(tài)，從而保證假肢識別路況的實(shí)時性。

將OpenMV模塊集成在假肢膝關(guān)節(jié)控制系統(tǒng)，實(shí)際圖片如圖3。

本工作在前期采集圖像模板和后期實(shí)驗(yàn)的時候，均采用鹵素?zé)粽彰鳎沟迷O(shè)定的場景光源恒定[26]，可最大程度減少因光源的變化而引起識別的誤差等問題。

讓正常人穿戴改裝好的假肢膝關(guān)節(jié)，以較慢的速度上下樓梯，模擬患者穿戴假肢行走，在灰度模式下，從不同的角度分別去采集上下樓梯圖像數(shù)據(jù)、平地圖像數(shù)據(jù)、上下坡圖像數(shù)據(jù)，并將拍攝所得的圖片保存至上位機(jī)。默認(rèn)保存的圖片是bmp格式的，需要用圖片處理工具將圖片轉(zhuǎn)化為PGM格式的圖片，將處理后的圖片作為模板保存到SD卡中。多角度采集模板圖像，這對后面識別時間和識別精度有很大影響，因此一定要做好采集的工作。

圖3 膝關(guān)節(jié)整體模塊圖片

穿戴測試的實(shí)驗(yàn)對象為上海假肢廠的一名下肢截肢患者，男性，58歲，體質(zhì)量65 kg，身高172 cm，左側(cè)截肢。讓患者穿戴裝配好的假肢，在設(shè)定的場景中行走，同時上位機(jī)通過接收藍(lán)牙模塊傳輸?shù)臄?shù)據(jù)實(shí)時顯示識別的時間和識別的結(jié)果，并記錄結(jié)果。

實(shí)驗(yàn)過程中，當(dāng)攝像頭識別到與當(dāng)前路況不一樣的路況時，若患者等待3 s以上，則執(zhí)行另一種路況的步態(tài)；否則，執(zhí)行與當(dāng)前一樣的步態(tài)。由于本工作是純視覺信息去處理路況，后期可考慮加上慣性傳感器輔助處理達(dá)到更好的執(zhí)行效果。

2 結(jié)果

患者在設(shè)定的場景中接收測試，進(jìn)行多次實(shí)驗(yàn)，記錄識別時間和識別次數(shù)。實(shí)驗(yàn)證明當(dāng)放置圖片模板過多時，會影響識別的速度；當(dāng)放置的圖片模板過少時，又無法達(dá)到識別的精度。在實(shí)驗(yàn)時，分別放置不同路況的圖片模板數(shù)據(jù)，讓患者分別進(jìn)行測試并記錄數(shù)據(jù)。見表1。

綜合考慮識別的速度和精度，針對上/下樓梯、上/下坡、平地5種路況，實(shí)際應(yīng)用中選擇在TF卡中放置5張上樓梯圖片模板、4張下樓梯圖像模板、4張上坡圖片模板、3張下坡圖片模板、2張平地圖片模板共18張5種不同路況的圖片模板進(jìn)行匹配。識別平地、上/下坡、上/下樓梯5種路況的準(zhǔn)確率分別為88.6%、85.3%、78.4%、87.5%和77.9%。結(jié)果證明，視覺模塊可以有效識別不同的路況。

由于本工作目前處于實(shí)驗(yàn)室階段，故沒有考慮大腿假肢穿戴的時候褲子外衣等遮擋攝像頭的問題。在實(shí)驗(yàn)時，假肢是直接裸露的。后期準(zhǔn)備將攝像頭模塊單獨(dú)拿出來，綁在大腿殘肢。

表1 不同數(shù)量不同路況的模板識別結(jié)果

3 結(jié)論

路況識別是假肢智能膝關(guān)節(jié)功能實(shí)現(xiàn)的重要組成部分。相對于傳統(tǒng)的肌電信號和運(yùn)動學(xué)力學(xué)等多傳感器融合的研究，本工作采用視覺信息的方式，通過處理實(shí)時采集的圖像去進(jìn)行路況識別，結(jié)果表明視覺信息可以在智能膝關(guān)節(jié)路況識別中起到良好的效果，提升識別精度以及速度。后續(xù)可考慮將視覺信息與其他信息結(jié)合，更深入地進(jìn)行智能膝關(guān)節(jié)路況及步態(tài)識別的研究。