基于單目視覺的三角測量在儀器識別中的實現

楊靜

關鍵詞：單目視覺；三角測量；垂直刻度指針式儀表；AMR激光定位姿態；儀表平面

1引言

巡檢機器人通過智能識別算法結合各種環境探測器，可智能收集分析煙霧、溫濕度、PM2.5、有毒氣體、水浸、氣流組織等環境信息數據，實現各設備狀態信息的識別與分析[1]。同時，結合實時通信系統、供電系統、后臺軟件，可實現城軌交通機房設備與環境的無人巡檢。真正實現實時告警、遠程監測、智能巡檢的目標。在軌道交通中的自動化巡邏監控中，包括各式各樣的儀器儀表，由于工作環境原因，其中大部分屬于指針式儀表，如何自動、準確、高效地完成各式儀表的數字化數據采集工作尤為重要[2]。

本文提出一種基于單目視覺的三角測量法，可高度定位，從而精準地捕捉儀器儀表讀數。

2單目測量處理基本過程

2.1使用單目相機采集待檢測的儀表圖像

單個相機固定在可移動自動化巡邏機器人頂部，通過巡邏機器人的導航系統移動到垂直刻度指針式儀表盤所在區域，機器人每次采集圖像的位置不固定，攝像機實時采集現場儀表盤以及表盤周圍背景環境的圖像[3-4]。相機事前經過針孔模型的標定，存有針孔模型的內參參數和相機安裝位置的相機外參參數。

2.2實時預處理，定位有效儀表像素區域

對采集的圖像進行預處理。因為采集的圖像通常含有非感興趣區域，即表盤像素區域以外的環境背景像素。為了去除背景，對圖像進行一系列預處理，包括利用OpenCV自帶的庫函數對整幅圖像進行高斯模糊、Canny邊緣檢測、二值化、形態學處理、頂帽變換，去除明顯的離群點噪聲，以及去除明顯的環境背景區域，即儀表表盤以外的區域。然后進行輪廓提取，根據設置最大連通域的閾值和最小輪廓外接矩形的大小，最大限度保留儀表的有效區域，以得到含有儀表的圖像像素區域，以及表盤圖像像素區域。

2.3提取固定數量的消失點

在數字圖像領域，消失點又被稱為滅點[5]?？臻g上相同方向的平行線相交在圖像上的點即為消失點。因為儀表的刻度區域以及儀表的外觀輪廓都符合曼哈頓世界的假設，即輪廓線段和表盤刻度線段都處于或近似處于空間正交狀態。所以，對上一步得到的目標區域圖像進行消失點的提取，進一步篩選歐拉空間中X，Y，Z軸對應的消失點。

3單目視覺三角測量法

3.1測量依據

在單目視覺中，僅通過單張圖像無法獲得像素的深度信息，需要通過三角測量（Triangulation）（或三角化）的方法來估計實物點的深度[6-8]。三角測量是指，通過在兩處觀察同一個點的夾角，確定該點的距離。三角測量最早由高斯提出并應用于測量學中，它在天文學、地理學的測量中都有應用。例如，我們可以通過不同季節觀察到星星的角度，估計它離我們的距離。在單目視覺中，主要用三角化來估計像素點的距離。

如圖1所示，考慮圖像11和12，以左圖為參考，右圖的變換矩陣為。相機光心為01和02。在11中有特征點P1，對應12中有特征點P2。理論上直線OiP1與02P2在場景中會相交于一點P，該點即兩個特征點所對應的地圖點在三維場景中的位置。然而，由于噪聲的影響，這兩條直線往往無法相交。因此，（又）可以通過最二小乘去求解。

按照對極幾何中的定義，設x1，x2為兩個特征點的歸一化坐標，那么它們滿足：

對于單目視覺來說，無論是單目的對極幾何或是單目的三角測量，都存在一個尺度問題，如圖2和圖3所示。

尺度問題會帶來單位問題，意味著測量結果的單位不確定，這使得三角測量在實際應用中存在一個“比例尺”問題。但在本測試中，采用了具有定位導航功能的AMR自動導航叉車，利用了AMR的準確定位姿態，為三角測量提供具有絕對尺度的姿態齊次矩陣，從而解除了單目視覺三角測量的應用限制。

3.2仿真論證

按照立體矩形的輪廓，給定一組先驗3D點，如圖4所示，并假設如下。

（1）-個理想狀態下的相機內參矩陣。

（2）在相機的所有可視角內，所有3D都能“被”看見。為不失一般性，仿真中采用的空間坐標點取自立體矩形的邊框，具體的，是沿著立體矩陣的所有邊，以2cm為間隔，均勻取點。如圖4所示。

（3）在實際中，在相機的視角里面，立體矩陣會有部分遮擋而不會出現在相機的圖像畫面中。但在仿真中，可以假設所有點都能“被”看見，由此，能更好地驗證空間3D點與三角測量的關系。如圖5所示。

3.3現場測試

測試設備：AMR叉車具備室內自動導航定位功能，能夠提供精確的激光定位數據，定位精度為+0.005 m，角度為±0.10。本測試中的單目視覺三角測量功能，使用的是AMR叉車上的相機，型號是FM830-45 RI。這是一款工業用相機，能夠以30 fps的幀率不間斷地采集1280*720的彩色圖片，并使用全局曝光的SONY CMOS，消除因曝光延時差異造成的“果凍”現象，確保視覺特征點匹配的準確性和視覺測量的精度。如圖6所示。

在實際測量時，為了能定量地測試三角測量的效果和精度，本次測試使用人工布置的角點作為待檢測的特征點，這可以免掉特征匹配的步驟，消除對極幾何匹配時的誤匹配的外點，從而可以準確地定量測量三角測量的精度。

3.4測試方法和步驟

（1）在測試現場，隨機選擇一個位置，使得大部分人工角點能夠被AMR上的相機觀測到；（2）記錄此時的AMR激光定位姿態與相機圖像畫面；（3）移動AMR到地圖中的另一位置，并保證此位置與初始位置有一定的旋轉差異和平移，記錄下此時AMR激光定位姿態與相機圖像畫面；（4）將前后兩次的測試數據（包括AMR姿態和相機圖像）放到指定目錄，運行事先編寫好的測試程序；（5）重復（1）～（4），記錄多次數據。如圖7和圖8所示。

3.5現場測試情況

基于單目視覺的三角測量，可以充分利用相機可視角度和豐富的視覺信息[9-13]。通過AMR自動引導車給出的姿態齊次矩陣Rt，多次采集AMR移動前后兩幅圖片，驗證了通過單目視覺三角化可以正確算出角點對應物體的距離。

事先編寫好的測試程序會將重投影誤差與對應的圖像投影點顯示出來，以便于定性地排除測量過程中出現的錯誤匹配。如圖9所示。

項目組打印了每個空間點在兩個相機坐標系下的投影坐標與像素坐標——相當于P的投影位置與看到的特征點位置。由于誤差的存在，它們會有一些微小的差異。以下是某一特征點的信息：可以看到，誤差的量級大約在小數點后第三位。

另外，針對單目視覺的三角測量，在使用中需要注意：三角測量是由平移得到的，有平移才會有對極幾何中的三角形約束，才談得上三角測量。因此，純旋轉是無法使用三角測量的，因為對極約束將永遠滿足。這一點在實際使用中要特別注意。如圖10所示。

4測試與驗證結論

通過以上測試驗證，可以得出以下結論。

（1）單目視覺的定位精度高：通過以上定量的測試結果可以看出，使用單目相機的情況下，定位的精度能夠達到毫米級別。

（2）基于單目視覺的深度三角測量具有一定的局限陛：如圖10的分析，三角測量的結果嚴重依賴姿態平移量，因此，測量精度與平移量有負相關的關系，即隨著姿態平移量的減少而使誤差增大；使用輔助手段提供精確的姿態矩陣，如使用具有定位功能的AMR叉車，基于視覺的深度測量方法，特別是基于單目視覺的深度測量方法是可行的，是能夠應用于實際測量的。