基于雙目視覺的三維重構(gòu)在運動損傷中的應(yīng)用與研究

盧 榮，宋權(quán)予

（廣東科技學(xué)院 廣東 東莞 523083）

1 引言

目前，我們有很多場景是通過普通相機無法拍攝的，更不可能得到三維全景圖像，比如說人體的膝關(guān)節(jié)。而基于雙目視覺的三維膝關(guān)節(jié)重構(gòu)，通過兩臺相機獲得的數(shù)據(jù)進行立體匹配后，得到深度信息，之后進行三維模型的構(gòu)建，也就是從二維圖像到三維模型的構(gòu)建。這項技術(shù)除了對VR技術(shù)、計算機視覺方面有著重要的影響外，對醫(yī)學(xué)中的人體結(jié)構(gòu)的三維重構(gòu)也具有很深的臨床醫(yī)學(xué)研究價值。

2 研究現(xiàn)狀

通過兩個感光CCD攝像機固定在同一條水平軸上類似于人眼看物體時雙眼成像的原理，然后兩個角度同時去觀測膝關(guān)節(jié)，將不同視角下的不同光照環(huán)境下的膝關(guān)節(jié)圖像，利用水平視差得出深度信息，然后采用立體匹配的方式。立體匹配是為搜索物體同一點在左右兩個視覺圖中的投影。為了能夠在重建精度效果和時間效率上均衡，可通過模式匹配處理算法，來進行圖像的均勻增強和圖像的分割。三維重建技術(shù)是計算機視覺、人工智能、虛擬現(xiàn)實等領(lǐng)域研究的熱點和難點問題，用計算機來顯示虛擬的人體膝關(guān)節(jié)技術(shù)，三維建模的關(guān)節(jié)測量數(shù)據(jù)值接近真實人體，對如何選擇關(guān)節(jié)內(nèi)口位置具有顯著的臨床醫(yī)學(xué)意義，通過測量的數(shù)據(jù)進行統(tǒng)計分析，比對運動屈曲狀態(tài)和伸直狀態(tài)下的膝關(guān)節(jié)數(shù)據(jù)進行膝關(guān)節(jié)的三維重構(gòu)，比原始的二維數(shù)據(jù)更加真實貼切。

在基于雙目視覺的三維重構(gòu)發(fā)展史上，日本東京大學(xué)研發(fā)了機器人動態(tài)行走導(dǎo)航方針系統(tǒng)，大阪大學(xué)則研發(fā)了自適應(yīng)的雙目視覺伺服系統(tǒng)，實現(xiàn)了自適應(yīng)的運動數(shù)據(jù)跟蹤。日本的Nihon大學(xué)則采用雙目視覺進行對人體身高自動測量的研究。我國多個科研機構(gòu)諸如中科院自動化研究所、浙大機械系都曾采用了雙目視覺進行了機械物的三維重構(gòu)。

三維建模后的模型和真實實體相差無異，對模型上的測量數(shù)據(jù)甚至可以替代對實體上的測量，仿佛實體上的測量，不需要切除所覆蓋的組織即可深入內(nèi)部測量，可以任意增加大量的測量點，使得測量點均勻的分布在要測量的膝關(guān)節(jié)內(nèi)部，這樣通過關(guān)節(jié)的運動，對測量點的運動軌跡的追蹤和數(shù)據(jù)的分析，更容易找出膝關(guān)節(jié)中的關(guān)鍵數(shù)據(jù)-等距點。該模型的建立除了具有良好的研究價值外，還利于外科手術(shù)的定位，有利于臨床醫(yī)學(xué)的研究和手術(shù)當(dāng)中的應(yīng)用。

3 研究策略

在體育運動當(dāng)中，有關(guān)體育運動的損傷大多數(shù)都是人體關(guān)節(jié)的損傷，而這其中以膝關(guān)節(jié)和踝關(guān)節(jié)居多。前交叉韌帶是維持膝關(guān)節(jié)穩(wěn)定的重要靜力結(jié)構(gòu)，在運動和外傷中經(jīng)常受損，如不及時修復(fù)將會造成膝關(guān)節(jié)其他韌帶的松弛，以及關(guān)節(jié)內(nèi)部軟骨和半月板的受損，都對關(guān)節(jié)運動產(chǎn)生不可逆轉(zhuǎn)的巨大影響，甚至影響到今后的關(guān)節(jié)屈曲運動。關(guān)節(jié)鏡下ACL重建術(shù)作為修復(fù)ACL是延緩關(guān)節(jié)退變的重要方法，對關(guān)節(jié)鏡下ACL重建術(shù)后10天內(nèi)的患者，進行多層螺旋CT三維重建，具有非常高的臨床醫(yī)學(xué)價值。有關(guān)膝關(guān)節(jié)的韌帶損傷，通過外部物理檢測誤差較大，雖關(guān)節(jié)鏡檢測精度較高，可是關(guān)節(jié)鏡是有創(chuàng)操作，有一定的風(fēng)險，很難被患者所接受。本課題的主要意義是通過對人體關(guān)節(jié)點的三維重構(gòu)，再現(xiàn)關(guān)節(jié)外部及內(nèi)部韌帶結(jié)構(gòu)，來實現(xiàn)對體育運動中人體膝關(guān)節(jié)外部和韌帶損傷的檢測，從而對患者實施有效的重建手術(shù)。

本文是對標(biāo)定方法、匹配方法和深度后處理等方法進行深入的研究，并將人體部位進行具有較好直觀效果的三維重構(gòu)。所采用的技術(shù)儲備方案有三種：

（1）技術(shù)儲備一：攝像機標(biāo)定技術(shù)。研究基礎(chǔ)是在傳統(tǒng)的攝像機標(biāo)定方法上提出基于棋盤平面方格的半自動攝像機標(biāo)定方法。

（2）技術(shù)儲備二：匹配策略與匹配算法。同過研究平滑窗口函數(shù)自適應(yīng)算法以及和Harris角點與區(qū)域聯(lián)合的立體匹配算法。

（3）技術(shù)儲備三：深度信息處理求和后續(xù)處理。深度的感知測量從而進行了三維重建，通過不同視角下的雙目視差，進行了數(shù)據(jù)測量從而獲得了3D的建模數(shù)據(jù)，通過深度數(shù)據(jù)分析、計算和統(tǒng)計，在MFC的OpenGL平臺上，進行深度提取和三維重建。

4 實驗效果

本項目的特色和創(chuàng)新之處，將人工智能、模式識別與圖像處理等技術(shù)綜合應(yīng)用于開發(fā)，從技術(shù)上實現(xiàn)三維重構(gòu)在人體組織上的有效應(yīng)用。通過高效率且低成本的三維重構(gòu)人體運動關(guān)關(guān)節(jié)，基于特征的匹配，重構(gòu)的三維模型更接近真實人體關(guān)節(jié)，在運動關(guān)節(jié)的病理臨床治療上提供了一個更加真實的參考模型，因此具備一定的醫(yī)學(xué)研究價值。

如圖1所示，暫時未考慮軟骨組織的人體左右膝關(guān)節(jié)三維重建圖。

5 結(jié)論與改進

5.1 結(jié)論

本文研究的最終目的是為了醫(yī)學(xué)重建ACL，通過最終建立的ACL模型的參數(shù)和人體損傷的關(guān)節(jié)所反饋出來的疼痛感來對ACL的受損程度進行判斷。如果為嚴(yán)重的關(guān)節(jié)損傷者，那么則需要最終重建ACL損傷部位來植入到患者關(guān)節(jié)當(dāng)中。

5.2 改進

（1）如何解決匹配速度與精度以及匹配窗口大小難以選擇的問題；（2）如何利用區(qū)域匹配視差圖的致密性以及特征匹配視差圖的魯棒性；（3）如何解決匹配誤差及標(biāo)定偏差等原因帶來的深度圖不平滑、邊界不對齊的問題；（4）如何完成韌帶醫(yī)學(xué)的三維重建。

[1]余俊.基于雙目視覺的機器人目標(biāo)檢測與控制研究[D].背景交通大學(xué)，2011.

[2]佟帥、徐曉剛，等.基于視覺的三維重建技術(shù)綜述[J].計算機應(yīng)用技術(shù)研究.2011，28(7)：2411-2417.

[3]薛亞東.雙目視覺技術(shù)在人體交互體育運動中的應(yīng)用[J].自動化與儀器儀表.2016年第8期：267-268.

[4]高艷、唐曉英，等.基于物體空間序法的CT圖像三維重建算法的研究[J].北京生物醫(yī)學(xué)工程.2003，22(3)：180-183.