基于雙目立體視覺的壩體形變測量方法

羅 奕

（中國煤炭科工集團西安研究院，陜西西安,710054）

0 引言

壩體形變是壩體在某一時間段內發生的位移速度比較緩慢的向水平方向、垂直方向沉降的變形。目前，壩體的形變監測主要采用大地測量方法，用傳統或現代的測角測距儀器、光學或電子水準儀以及全球定位系統GPS等進行周期性測量。GPS技術具有全天候、自動化監測、精度高的優點，可用于大壩的動態實時位移監測、振動頻率測試和安全運行報警系統。

但是GPS技術不能可視化的顯示壩體圖像、觀測點必須對空開闊，不能少于4顆衛星，而且成本較高。為了克服GPS技術的不足，本文采用計算機雙目立體視覺測量技術實現了壩體形變的實時測量，利用相機拍攝壩體圖像，通過對壩體特征點數據的處理，獲取壩體的形變數據。該方法能實時的顯示壩體的形變數據，并且能可視化的輸出壩體真實圖像及模擬圖像。

1 測量原理

壩體形變測量方法采用照相機作為監測設備，為此本文采用雙目立體視覺技術來實現對壩體形變的測量。測量模型圖如圖1.1所示。

圖1.1 壩體監測模型圖

雙目立體視覺技術的基本原理是采用從兩個不同視點觀察壩體，從而獲取在不同視角下的物體圖像，再通過成像的幾何原理計算圖像像素間位視差，最終獲取壩體的三維信息。雙目立體視覺模型原理圖如圖1.2所示。

圖1.2 雙目立體視覺模型原理圖

在模型圖中，假設空間任一點P，則C1與C2上的圖像點p1與p2已經從兩個圖像中分別檢測出來，即已知p1與p2為空間同一點P的對應點，并且假定C1與C2相機已經標定，它們的投影矩陣分別為M1與M2。于是有：

其中，(u1,v1,1)與(u2,v2,1)分別為p1與p2點在各自圖像中的圖像齊次坐標；(X,Y,Z,1)為P點在世界坐標系下的齊次坐標；(k=1,2;i=1,…,3;j=1,…,4)分別為Mk的第i行第j列元素。按照相機的線性模型公式，可在上式中消去ZC1和ZC2，從而得到關于X，Y，Z的四個線性方程：

由于空間點P是O1p1和O2p2的交點。因此，聯立兩個方程便可求出空間點P的坐標(X,Y,Z)。

2 壩體形變測量方法采用的主要技術

該方法主要結合計算機視覺和計算機圖像處理的方法實現壩體形變情況的實時監測及可視化輸出。首先應對相機進行標定，以獲取相機的參數；再采用人工制作的檢測目標物作為監測對象；最后對檢測目標物上的特征點進行檢測獲取壩體的形變數據。

2.1 相機標定

相機標定的程精確與否，直接影響到壩體實時的測量精度，通過標定確立相機圖像像素位置與壩體場景點位置間的關系。這一過相機需要標定的模型參數分為內部參數和外部參數，如表2.1所示。

如表2.1所示。

表2.1中，ax、ay、u0、v0、g是線性模型的內部參數，故ax、ay分別為u軸和v軸尺度因子，或稱為有效焦距(即ax =f/ dx，ay=f/dy，其中dx、dy分別為水平方向與豎直方向的像元間距)，而u0、v0為光學中心，g是u軸和v軸不垂直因子；R和T是旋轉矩陣和平移矩陣，稱為外部參數，外部參數隨著相機的位置而改變，因此必須要通過實驗與計算獲取；對于非線性模型的內部參數，除了線性模型的內部參數ax、ay、u0、v0和g外，還包括徑向畸變參數k1，k2和切向畸變參數p1，p2。

2.2 特征點的選擇

利用雙目立體視覺采集的左右圖像，必須要對左右圖像進行匹配才能進行計算。由于壩體環境復雜，壩體特征點難以實現準確的匹配，因此本文在壩體上設置檢測目標物，通過計算檢測目標物的特征點來分析壩體形變情況。

采用人工設置特征點的原因是因為規則物體的特征信息比較明顯，例如圓形，三角形和矩形等。本文制作的檢測目標物如圖2.1所示，白色矩形為檢測目標物的背景，黑色矩形為檢測的目標，通過黑色跟白色的色彩對比度，可以提高對黑色矩形四個頂點檢測的準確率。

2.3 特征點的檢測及匹配

圖2.1 本文自制的檢測目標物

經相機采集到的壩體圖像傳輸到處理系統的過程中，通常是含有干擾和噪聲等因素影響的，故不能直接進行特征點檢測，因此要先對圖像進行預處理。我們一般會采用圖像平滑、、圖像銳化、直方圖均衡化增強等圖像預處理方法，從而使圖像在增強了圖像的特征信息的同時去除圖像噪聲。在經過圖像預處理后的圖像，通常角點的信息較比明顯，因此采用Harris角點檢測算子檢測圖像上的特征點，再利用立體匹配的方法，將左右圖像對的特征點進行匹配，獲取一系列匹配點，具體處理的過程如下所示。

2.3.1 圖像預處理

圖像預處理的目的是使經處理后的圖像，便于后期的特征點檢測。因此圖像預處理利用自適應中值濾波算法來消除圖像在采集及傳輸過程中所產生的噪聲和干擾信息；利用直方圖均衡增強因光線等因素影響而導致圖像偏暗的顯示效果；利用Wallis算子對圖像進行銳化處理，增強特征圖像的特征信息以便于檢測。

2.3.2 角點檢測

本文對黑色矩形的4個頂點檢測采用了Harris角點檢測算法。Schmid的實驗結果表明，Harris角點檢測法具有較好的效果。在本方法的應用中，Harris角點檢測算法需人為給出一個閾值T，在角點檢測運行中，合適的閾值設定可以得到理想的角點，通過多次試驗，本文給閾值設定了一個合理的值，Harris角點檢測算法的步驟如下：

Step1：計算圖像像素點在水平和垂直方向上的梯度，以及兩者的乘積，得到M中4個元素的值：

Step2：對圖像進行高斯濾波，得到新的M。離散二維零均值高斯函數為

表2.1 相機模型參數

Step3：計算原圖像上對應的每個像素點的興趣值，即R值。

Step4：選取局部極值點。Harris方法認為，特征點是局部范圍內的極大興趣值對應的像素點。

Step5：設定閾值，選取一定量的角點。

2.3.3 特征點匹配

基于特征的匹配方法的優點是計算量、小匹配點少。通常一幅圖像中的某一特征基元在另一幅圖像中可能會有多個候選匹配對象，可真正同名的結構基元只有一個，因此很可能會出現歧義匹配。在這種環境條件下，需要根據物體的某些約束條件知先驗識和來消除誤匹配，降低匹配工作量，提高匹配準確度、精度和速度。我們常用到的約束原則如下：(1)極線約束；(2)唯一性約束；(3)連續性約束；

(4)相似性約束；(5)順序一致性約束。極線約束是匹配過程中一種很重要的約束準則，如圖2.2所示，I1、I2是相機獲得的兩幅圖像，P1、P2是空間物體點在這兩幅圖像中上的投影點，O1、O2分別為兩個相機的光心位置。物體點P與兩個相機的光心O1、O2組成一個平面，這個平面稱之為極平面。極平面與圖像平面相交得到一條直線，我們稱這條線為極線。圖像平面上的每一個像素點均對應著另一個圖像平面上的一條極線。當物體點P在I1光心O1和投影點P1確定的射線上移動時，即深度發生變化時，I1上的投影點P1會相應地在右極線L1上移動。所有極線都會穿過一點，我們稱這點為極點，極點其實就是光心O1、O2的連線與兩個圖像平面的相交點e1、e2。

圖2.2 極線幾何約束

我們在圖像I1上取一任意點P1，如果我們知道它在圖像I2上對應點的位置，我們就可以用立體視覺的方法計算出空間點的三維坐標。因此問題的關鍵在于如何對圖像I1中的點P1找出它在圖像I2中的對應點P2。

由于對于位于直線O1P上的任意點P＇，在I1上的投影都是P1，所以P＇在I1上的投影也應該在直線L1上，因此對于I1上的任意點P1，我們在I2上搜索P 1的對應點時，并不需要在整幅圖像中搜索，只需在I2上由對應于P1點的極線搜索。這使得原來的搜索范圍由二維降低到一維，大大減少了匹配搜索的時間，從而提高了匹配效率。

本文采用Hartley提出了改進的八點算法對基礎矩陣進行精確估計。

由此可見，只要知道8對匹配點，即可得到一個由8個線性方程組，在相差一個常數因子的意義下求出F矩陣。如果匹配點對的數目多于8個，則可利用雖小二乘法求解。將 個這樣的方程疊加而得到一組線性方程組

其中

3 監測實驗及結果分析

監測設備采用兩部麥典MD901攝像頭，采用CMOS傳感器類型，傳感器像素為30萬像素，自制的標定模板及特征點如圖3.1所示。

圖3.1 標定模板及檢測目標物圖像

3.1 攝像頭的標定

利用兩個相機同時采集了16張不同位置不同角度的標定模板圖像，通過標定程序計算出攝像頭的參數如下：

(1)內部參數：

左攝像頭內部參數：

有效焦距：[axay]=[ 721.95894 721.22351]

光學中心：[u0v0]=[ 300.92704 300.92704]

畸變系數：kc= -0.17300

右攝像頭內部參數：

有效焦距：[axay]=[ 722.05612 722.20932]

表3.1 特征點的空間坐標及與左攝像頭的空間距離

光學中心：[u0v0]=[ 300.26608 299.32395]

畸變系數：kc=-0.20545

(2)外部參數(右攝像頭相對左攝像頭的位置關系)：

平移向量：T=[-490.09857 4.99563 7.32671]T

3.2 圖像采集

圖3.2為實驗系統采集的左右圖像對經過相機參數修正后的圖像。

圖3.2 左右攝像頭分別采集到的圖像

3.3 特征點的計算

利用公式(1.3)和(1.4)及攝像頭的標定參數把特征點的圖像坐標轉化為三維空間坐標，并計算每個特征點與左攝像頭的歐式距離。計算結果如表3.1所示：

從表3.1的數據顯示可見，測量距離與實際距離之間存在著一定的誤差。

人工改變仿真壩體的位置，采集圖像如圖3.3所示，經計算后獲取的壩體表面擬合圖及壩體形變的矢量圖如圖3.4所示。

圖3.3 仿真壩體改變位置后的左右圖像

圖3.4中，壩體擬合圖顯示了根據壩體的表面特征點擬合出來的壩體表面圖。壩體形變矢量圖直觀的顯示出壩體的位移變化。

4 總結

圖3.4 壩體擬合圖及壩體形變矢量圖

本文設計了一種基于雙目立體視覺的壩體形變實時監測方法。該方法采用雙目立體視覺的測量原理，結合圖像預處理、圖像分割、角點檢測、塊配準和立體匹配的方法，計算設置在壩體上特征點的三維空間坐標，從而獲取壩體形變信息。本文利用人工制作的檢測目標物作為壩體特征點，有效的解決了壩體不利于直接進行立體匹配的缺陷。仿真實驗表明，該壩體形變實時監測方法能實時顯示壩體形變數據，并且其可視化的輸出結果能夠直觀的顯示壩體形變狀態。系統建立綜合性的監管平臺，依托智能的軟件系統，當壩體位移出現異常時，及時預報預警，提醒相關部門盡快啟動相應的處理措施及預案，保障水庫安全。

[1] 郭川,黃玖,周彧.利用GPS技術監測水壩變形[J].河北水利科技,1999,20(1):30-32.

[2] 汪偉,李郝林.基于數碼相機圖像的三維重構[J].上海理工大學學報,2005,27(5):429-432.

[3] 黨樂.基于雙目立體視覺的三維重建方法研究[D].陜西西安:長安大學,2009.

[4] Janne Heikkila ,Olli Silvén.A Four-step Camera Calibration Procedure with Implicit Image Correction[A].IEEE Computer Society Conference on Computer’ Vision and Pattern Recognition(CVPR’97) [C] ,San Juan ,Puerto Rico,1106-1112.

[5] 張旭明,徐濱士,董世運.用于圖像處理的自適應中值濾波[J].計算機輔助設計與圖形學學報,2005,17(2):295-299.

[6] Schmid C,Mohr R, Bauckhage C.Evaluation of Interesting Point Detectors[J].International Journal of Computer Vision, 2000,37(2):151-172.

[7] 趙萬金,龔聲蓉,劉純平,沈項軍.一種自適應的Harris角點檢測算法[J].計算機工程,2008,34(10):212-217.

[8] 孫龍祥,程義民,王以孝,孫啟彬.深度圖像分析[M].電子工業出版社.1996.

[9] Hartley R I.In defense of eight-point algorithm[J].IEEE TRANS,PAMI,1997,19(6):580-593.