基于視觸融合的正畸弓絲彎制

呂天宇，鄒英永

長春大學，吉林長春，130028

0 引言

隨著生活水平越來越高，人們對自身的外貌形象越來越看重，其中牙齒的美觀非常關鍵。但據統計，錯頜畸形的發病率非常之高，是第三大口腔疾病[1]。錯頜畸形輕則會影響人們的外貌美觀，重則會對患者的口腔健康、頜面發育等造成嚴重影響，而且可能還會受到別人異樣的眼光而在一定程度上影響患者的心理狀態。所以牙齒的畸形矯正是很有必要的。我國青少年兒童有一半以上屬于錯頜畸形，約有1.2億的青少年需要接受正畸治療[2]。正畸就是矯正畸形的牙齒，使畸形的牙齒排列整齊。對于矯正錯頜畸形的方法，通常是使用正畸弓絲對牙齒施加正畸力，迫使牙齒向正確的地方偏移，從而達到牙齒正畸的效果。一般都是醫師手工彎制正畸弓絲[3]，這樣不僅費時費力，還有需要醫師豐富的彎制經驗，不然很容易彎制失敗，而且我們國家的牙科醫師數量非常少，只占總人口的0.012%[4]，所以很多時候矯治器都供不應求。近年來機器人技術發展越來越快，所以我們不用拘泥于傳統的手工來操作，可以考慮用機器人去完成正畸弓絲的彎制工作[5]。正畸弓絲的自動彎制，既可以省下人工成本又提高了彎制的效率[6]，非常具有研究意義。正畸弓絲的彎制主要問題就是彎制點、彎制角度和彎制方向，以及弓絲的回彈對彎制結果的影響。所以針對這些問題，運用機器視覺和觸覺，實現正畸弓絲的自動彎制。

1 確定正畸弓絲的三維信息

在我們得到正畸弓絲的三維信息之后，就能知道在弓絲的哪個點去彎，需要彎多少度以及往哪個方向去彎。機器雙目立體視覺系統，顧名思義就是把攝像機模擬成人的眼睛來采集被測物的形態信息，雙目指的就是兩個攝像機。由攝像機拍下正畸弓絲，然后將拍到的圖像經過一系列的處理，就能得到弓絲的三維信息。

1.1 平行式立體視覺模型

平行式立體視覺模型就是把兩部攝像機放在相互平行的位置，這兩部攝像機配置必須要完全相同[7-8]。此模型必須要讓兩部攝像機處于完全平行的位置，所以要求精度比較高，而且通常情況下會受到很多因素的影響，比如我們進行實驗時會不小心碰到而導致有晃動，這樣可能會使兩部攝像機不再平行或者機位不準，這會嚴重影響到實驗結果的精度，所以我們實驗前要進行平行校正，另外做實驗時要盡量小心一些。

1.2 攝像機的標定

攝像機的標定一般分為兩種，傳統標定和自標定。這兩種標定法各有利弊，所以需要找到一個比較合適的標定方法。“張正友標定”是指張正友教授1998年提出的攝像機標定方法，此標定法兼顧傳統標定和自標定的優點。另外，在實際中鏡頭會產生畸變，張氏標定法只計算主要的徑向畸變[9]。下面是張氏標定法的主要步驟。

1.2.1 計算單應性矩陣H

將世界坐標系投影在棋盤格平面上，令棋盤格平面為Z=0的平面。此時：

H是一個齊次矩陣，因有8個未知數，所以至少需要8個方程，也就是需要四個對應點，就可以解出單應性矩陣H。

1.2.2 計算內參數矩陣

由上式可得：

代入可得：

每個單應性矩陣能提供兩個方程，而內參數矩陣包含5個參數，想要求解，則至少需要3個單應性矩陣。通過改變相機與標定板之間的相對位置來得到三個不同的單應性矩陣。為了方便計算，定義如下：

B是一個對稱陣，它的有效元素為六個，簡化為向量b，即：

從上可以得到：

利用約束條件可以得到：

然后通過cholesky分解，得到相機的內參數矩陣K。

1.2.3 計算外參數矩陣

由以上的推導，可得：

1.3 圖像數據處理

1.3.1 圖像降噪

開始得到的圖像中都會有一定的噪聲，噪聲會對圖像的精度有很大的影響，比如會使圖像的清晰度下降、對比度不明顯等，所以首先對圖像進行降噪是非常重要的。降噪手段常見的有兩種，一種是均值濾波，一種是中值濾波。

均值濾波是通過求出某個鄰域內像素點的平均值來進行降噪的，在一個方形鄰域S內，均值濾波的計算公式如下所示：

其中M為S鄰域內的像素值個數。但均值濾波有比較明顯缺點，它在降噪過程中會毀壞圖像的細節，所以本文不采用此降噪方式。

中值濾波法是將每一像素點的灰度值設置為該點某鄰域窗口內的所有像素點灰度值的中值。中值就是一組按大小順序排列的變量中處于中間位置的那個變量，由中值的定義可以知道中值濾波是一種非線性的降噪方式，它屬于平滑濾波。中值濾波的具體原理如下：

中值濾波能夠很好地保護圖像尖銳的邊緣，中值作為輸出點也非常合適，所以降噪效果相對來說比較好，我們采用中值濾波進行圖像降噪處理。

1.3.2 直方圖均衡化

對圖像降噪完成之后，我們還需要對圖像進行進一步處理。直方圖均衡化是一種常用的灰度變換方式，它可以增強圖像的對比度。設定圖像的灰度級的范圍為，可以用=表示，其中為第級灰度值，為圖像中灰度值為的像素個數。假設灰度圖像的維數是，則圖像的像素總數為，灰度直方圖可以表示為：

經過歸一化后，能夠得到均衡化的直方圖結果：

1.3.3 LOG邊緣檢測

LOG算法有兩個步驟，首先高斯濾波，然后拉普拉斯邊緣提取。Laplace算子對通過圖像進行操作實現邊緣檢測時，對離散點和噪聲比較敏感。所以，首先對圖像進行高斯卷積濾波進行降噪處理，再采用Laplace算子進行邊緣檢測，就能夠提高算子對噪聲的抗干擾能力。

1.3.4 圖像二值化

當我們把圖像中的目標分割出來時，需要用到圖像的二值化。本文二值化的方法就是設定一個合適的灰度閾值，然后圖像中的灰度值只有兩種結果，要么大于閾值要么小于閾值，灰度大于閾值的像素為這樣就能把圖像中的背景和目標分割出來了。

1.3.5 線特征提取方法

一般來說，線段檢測方法可以分為兩大類：基于梯度方向的線段檢測方法和基于梯度幅度的線段檢測方法。我們用到的Canny算法屬于后者，它主要分為五個步驟。（1）為了避免過多的噪聲對邊緣檢測的干擾，用高斯濾波和圖像進行卷積來平滑圖像。（2）利用梯度算子計算梯度的大小和方向。（3）用非最大抑制來決定像素是否比相鄰像素更適合作為邊緣候選，以消除雜散響應。（4）用雙閾值檢測來判別真實邊緣和潛在邊緣。（5）不僅真實邊緣會產生弱邊緣，那些雜散響應也會產生，所以檢測到的邊緣還會有誤差。為了消除這些誤差，需要抑制那些孤立的低閾值點。經過上面幾個步驟就可以得到圖像中目標的線特征。

1.3.6 基于線特征的立體匹配

以上所說的是二維圖像，我們需要讓其恢復到三維物體，所以需要進行立體匹配。通過立體匹配后，機器人按照得到的三維信息，就能進行正畸弓絲的彎制。

2 機器人觸覺監測回彈

在彎制過程中，正畸弓絲的變形分為兩種，彈性形變和塑性形變。發生彈性形變時，弓絲在卸掉施加力之后會自動復原，也就是回彈，所以即便我們把弓絲彎制成標準形狀，松開后弓絲還會回彈，造成實驗結果的誤差。要將彈性形變變成塑性形變，弓絲才能不會回彈。如果正畸弓絲發生的塑性形變剛好到標準形狀，就說明弓絲彎制成功。弓絲在彈性形變時，回彈會有回彈力，我們可以通過檢測弓絲的回彈力來判斷是彈性形變還是塑性形變，有回彈力時是彈性形變，回彈力為零時才是塑性形變。具體步驟如下：得到正畸弓絲需要彎制的角度之后，較這個角度多彎制一些角度，為角度，靜置若干時間，然后機械臂再原路返回到角度，通過靈巧手上的觸覺傳感器檢測彎制弓絲的回彈力，如果此時回彈力為零，說明彎制成功；如果此時回彈力不為零，在角度的基礎上再多彎制角度，重復以上操作，直到回彈力為零為止。在實際中，要讓回彈力達到絕對為零是比較困難的，所以我們在精度允許范圍內設置一個回彈力值，只要即可認為完成任務。

3 視覺和觸覺相融合

我們可以把彎制個性化正畸弓絲的過程分為了兩部分。前半部分過程是運用機器視覺通過標準的正畸弓絲的形狀來確定弓絲彎制的位置點、彎制角度以及彎制方向，包括張氏標定法標定攝像機、選擇中值濾波對圖像進行降噪處理、直方圖均衡化增加圖像對比度、使用LOG算法對圖像的目標進行邊緣檢測、經過圖像二值化把圖像中的背景和目標分割出來、線特征提取以及最后的立體匹配使弓絲的二維圖像恢復到三維立體模型，然后機器人根據這些三維信息進行正畸弓絲的彎制。當前半部分工作完成后，雖然我們已經根據機器視覺獲取的三維信息把正畸弓絲彎制到位，但是由于弓絲材料具有回彈性，當撤銷對弓絲施加的作用力之后弓絲會有一定的回彈量，這樣會使弓絲不能按預期成形，對彎制結果的精度造成嚴重的影響。所以，如何去解決掉正畸弓絲彎制過程中的回彈問題是非常重要的，決定著我們最終實驗結果的成功。我們運用機器觸覺去監測弓絲彎制過程中的回彈力，當弓絲彎制到位以后并且回彈力低于規定的值后，也就說明此時的弓絲幾乎不會再回彈，然后正畸弓絲才算真正的彎制成功，從而解決了正畸弓絲在彎制過程中的回彈問題。

4 結語

建立了平行式雙目立體視覺模型，利用幾何關系可以求出被測物的三維坐標；對攝像機進行標定，選擇了張正友標定法，求得攝像機內外參數；比較了均值濾波和中值濾波，選擇中值濾波對圖像進行降噪處理；直方圖均衡化增強圖像的對比度，使圖像細節更為清晰；使用LOG算法對圖像的目標進行邊緣檢測；為了把圖像中的背景和目標分割出來，利用二值化對圖像進行處理；使Canny算法對圖像中的正畸弓絲進行線特征提取；最后基于線特征的立體匹配使攝像機拍攝的二維圖像恢復到三維物體。提出了運用機器觸覺去監測弓絲的回彈力，解決正畸弓絲在彎制過程中的回彈問題。