雙目視覺技術在散貨堆場中的應用研究

吳振華（交通運輸部水運科學研究院，北京 100088）

雙目視覺技術在散貨堆場中的應用研究

吳振華（交通運輸部水運科學研究院，北京 100088）

機器視覺技術在國民經濟的各個領域得到廣泛的研究與應用。為了解決散貨堆場信息獲取環節中存在的問題、提高自動化水平，基于雙目視覺技術，對其在散貨堆場三維信息獲取中的應用進行了研究。

立體視覺；特征提取；三維重建

散貨堆場上，散貨具有堆放零散、形狀不規則的特點。為了獲取散貨的分布情況、重量等信息，采用人工測量方法耗費人力較多且時間較長。研究與探討一種便捷、有效的散貨信息獲取方法是很有必要的。雙目視覺技術是一種非接觸、高效的三維測量技術。通過散貨三維信息，可直接獲知散貨分布情況；結合散貨密度等先驗知識，可獲得散貨重量。自20世紀60年代誕生以來，立體視覺技術不斷完善、發展。目前該技術已成功應用于國民經濟的多個領域，尤其體現在智能交通領域，智能無人駕駛汽車已經逐步走進人們的生活。根據散貨堆場對信息獲取的需求，針對目前信息獲取方法存在的問題，基于立體視覺技術對散貨堆場信息獲取方法進行探討。

1 立體視覺技術綜述

1.1 Marr視覺理論

20世紀60年代中期美國麻省理工學院的Robert把二維圖像分析推廣到三維景物分析，標志著計算機立體視覺技術的誕生。70年代中期到80年代中期，Marr提出了第一個計算機視覺領域的理論框架[1]，極大地推動了計算機視覺的發展，并最終形成了這一領域的主導思想。

Marr從視覺計算理論出發，將系統從輸入的二維圖像數據到輸出的3D描述信息分為了自上而下的三個階段。第一階段，構建由二維圖像中的邊緣點、曲線、紋理等基本幾何元素組成的基元圖（Primary Sketch）。第二階段，在以觀察者為中心的坐標系中，表達可見區域的方向、深度值和不連續輪廓等不完整的三維信息，又稱為對環境的2.5維描述。第三階段，由2.5維描述最終獲得場景中物體的三維描述，確定三維場景中物體的位置和姿態，如圖1所示。

1.2 雙目視覺測量原理

立體視覺技術可分為單目視覺技術、雙目視覺技術和多目視覺技術。單目視覺技術對三維信息的獲取總是依賴于一定的假設條件、先驗知識等輔助信息，檢測結果直接依賴于假設和信息的準確性。雙目、多目視覺系統技術根據視差原理測量，檢測結果不依賴于任何假設條件、先驗知識等輔助信息的存在。綜合以上分析，本文采用雙目視覺技術。

圖1 Marr的視覺理論框架

雙目立體視覺基于視差原理進行三維測量，以簡單的平視雙目立體視覺系統為例說明測量原理，如圖2所示。

圖2 雙目立體視覺測量原理

其中左右攝像機光心分別為Ol、Or，兩攝像機光心間距（基線距）為b。在以左攝像機光心為原點的世界坐標系中，世界坐標系中一點P坐標為 P( xw,yw,zw)， Pl( xl, yl,)、 Pr( xr,yr,)分別是其在左右攝像機中對應的像點，其中圖像坐標系原點為各自成像平面的中心點。理想情況下，兩攝像機均無畸變且參數完全相同，由三角幾何關系，可得式（1）。

2 立體視覺技術在堆場中的應用探討

采用立體視覺技術獲取散貨堆場上散貨的三維信息，包括堆場上散貨的平面相對坐標、高度、面積和體積。主要分為三個步驟：圖像預處理、特征提取與匹配、三維重建。

2.1 圖像預處理

獲取彩色圖像后，需對其進行圖像預處理。圖像預處理主要包括圖像灰度化和圖像濾波。彩色RGB圖像轉換到灰度圖像，有多種模型：YUV、YIQ等。其中YUV模型用于PAL制式的電視系統，YIQ模型用于NTSC制式的電視系統。兩種模型中Y均代表亮度，且轉換公式是一樣的，如式（3）。

實際采集的道路圖像中存在大量噪聲干擾，圖像灰度化以后需要對圖像進行濾波。主要的濾波算法有：中值濾波、均值濾波、高斯濾波、小波濾波算法等。在濾波環節需考慮兩方面因素：一是要去除噪聲干擾；二是要盡量保持圖像的原有信息。工程中一般采用能夠有效抑制噪聲、保持原圖像有效信息且實時性好的中值濾波方法。

2.2 特征提取與特征匹配

為了獲取測距所需的視差信息，應先進行特征匹配，特征匹配前需進行特征提取。圖像中的特征是由于景物的物理、幾何特性使圖像中局部區域的灰度產生明顯變化而形成的。一般特征分成三類：區域特征、邊界特征和角點特征。其中角點特征具有旋轉不變性和不隨光照變化而改變的優點，具有直觀性和高可靠性的優點。目前已有的點特征提取算子，大致分為兩種方法：一種是基于模板的方法，另一種是基于幾何特征的提取方法[2]。

SUSAN算子是一種基于幾何特征的，直接對圖像灰度信息進行處理的類積分特征提取算法。該算法利用圓形模板對角點待提取區域進行掃描，并對模板中心點和非中心點灰度值進行比較、運算，所得結果與閾值比較后，判斷此中心點是否為特征點[3]。SUSAN特征提取算法有抗噪性強和處理速度快的優點。采用SUSAN算子可有效提取出堆場上散貨的角點信息，以左攝像機所攝取的左圖像為例，如圖3所示。

圖3 散貨堆場特征提取效果示意圖

下一步是特征匹配，進行特征匹配的目的是建立左右圖像中特征點的一一對應關系，進而求得視差信息，最終結合攝像機標定結果最終獲取三維信息。匹配的過程總是依賴于一定的相似測度函數，通過對多種相似性測度函數的分析比較，采用實時性好的最小絕對差算法SAD (Sum of Absolute Differences)相似測度函數，如式（4）。

CSAD值越小，則相似度越大，匹配過程中為了降低對應點匹配的復雜程度，提高匹配正確率，應結合一定約束條件。這些約束條件有：外極線約束、唯一性約束、連續性約束、視差有限約束、順序一致性約束、光度匹配約束、幾何相似約束等。特征匹配后可建立左右圖像中特征角點的一一對應關系，散貨堆場角點特征匹配效果示意圖，如圖4所示。

2.3 三維重建

攝像頭成像過程總是有一定的畸變，三維重建前需對攝像機進行標定以獲取攝像機參數。攝像機參數分為表征攝像機內部幾何學和光學特征的內部參數和表征攝像機坐標系相對于世界坐標系的位置和方向的外部參數。雙目視覺系統中攝像機外部參數包括：左右攝像機坐標系相對于世界坐標系的旋轉矩陣和平移矩陣。攝像機的內部參數主要包括：鏡頭畸變系數和焦距。

攝像機標定后，最后結合標定[4～5]結果對堆場進行三維重建，以最終獲取堆場的相對平面坐標、高度信息。經由空間幾何計算，可獲取堆場上散貨的體積，結合密度可獲取堆場上堆積散貨的重量。最終這些信息可傳送到管理信息系統，以實時監測、記錄堆場內散貨的相關信息。

3 結語

立體視覺技術是一種非接觸、高效的三維測量技術。自誕生以來，立體視覺技術不斷完善、發展，已成功應用于國民經濟的多個領域。本文針對目前散貨堆場信息獲取方法存在的問題，基于立體視覺技術對散貨堆場信息獲取方法進行了探討，以期為后續研究提供一定的參考。隨著更多的研發力量轉到該領域的研究、設計與實現、市場推廣等方面，有理由相信立體視覺技術將在散貨堆場信息獲取中廣泛應用。

[1] Marr D. Vision: A computational investigation into the human representation and processing of visual information[M]. San Francisco: W.H.Freeman and Company, 1982.

[2] 官云蘭, 張紅軍. 點特征提取算法探討[J]. 華東理工學院學報, 2007, 30(1): 42 - 46.

[3] 劉博, 仲思東. 一種基于自適應閾值的SUSAN角點提取方法[J]. 紅外技術, 2006, 28(6): 331 - 333.

[4] 賀俊吉, 張廣軍, 楊憲銘. 基于交比不變性的鏡頭畸變參數標定方法[J].儀器儀表學報, 2004, 25(5): 597 - 599.

[5] 鄭榜貴, 田炳香, 段建民. 基于交比不變量的攝像機標定方法[J]. 北京工業大學學報，2008, 34(5): 476 - 480.

News[ 新聞 ]

“華龍一號”首堆示范工程開工 核電項目迎密集核準期

2015年5月7日，我國自主三代核電技術“華龍一號”首堆示范工程——中核集團福清5號機組正式開工建設，預計于2020年7月實現商業化運營。該技術的另一個示范項目防城港二期項目也計劃在今年7月底開工建設。

業內人士認為，2015年是核電重啟的關鍵之年，目前多個核電項目已做好開工準備，我國核電將迎來密集核準開工期，利好核電設備及核電材料供應商。

2015年3月29日，紅沿河核電廠二期項目（5號機組）開工建設，這是日本福島核事故4年來我國首個新核準核電項目開工，標志著我國核電規模化建設正式重啟。

據中國核能行業協會理事長張華祝介紹，目前我國在建核電機組26臺，裝機容量2850萬千瓦，在建規模繼續保持世界第一。按照國務院《核電發展中長期規劃》，至2020年中國核電裝機將達到5800萬千瓦，在建3000萬千瓦。預計年內將有6～8臺機組開工建設，有8臺核電機組投入商業運行，成為投入商業運行核電機組最多的一年。

目前，各大核電集團已做好項目核準或開工準備。中廣核集團“華龍一號”總設計師咸春宇介紹，作為“華龍一號”示范項目之一，防城港二期項目3、4號機組設計文件、設備采購及供貨、現場施工準備、項目核準與執照申請等各方面工作按計劃穩步推進，計劃今年7月底開工建設。

與此同時，山東石島灣已成為華能開發建設的第一個核電基地，高溫氣冷堆核電站示范工程將在今年6月實現從土建向安裝移交。中國華能集團核電事業部主任王永福透露，華能與國家核電技術有限公司共同投資2臺CAP1400機組，并規劃了后續4臺百萬千瓦級核電機組擴建工程，有望近期獲批開工建設。

有專家認為，2015年開始全行業進入為期6年的開工與投產雙高峰，而且核電發展出現代際更迭，設備商產業格局將出現重構。

Application of Binocular Vision Technology in Bulk Cargo Yard

The technology of machine vision has been extensively studied and applied in various fields of the national economy. In order to solve the existing problem in bulk yard information acquisition and improve the automation level, application in bulk cargo yard 3D information acquisition is studied based on the binocular vision technology.

Stereo vision; Feature extraction; 3D reconstruction

B

1003-0492(2015)05-0112-03

TP391

吳振華（1982-），男，河北保定人，工程師，碩士，現就職于交通運輸部水運科學研究院，主要從事港口自動化、智能交通方面的研究。