基于滑動導軌的雙目視覺系統設計

衛晨 李艾華 崔智高

摘要：當前，計算機視覺技術的蓬勃發展使雙目視覺系統成為智能監控領域的研究熱點。文章通過對六類雙目視覺系統的分析，決定使用雙目PTZ視覺系統進行本文的研究。然而，雙目視覺系統受相機之間距離（基線長度）影響較大，如基線長度小時，有利于雙目相機的協同跟蹤，而基線長度大時，有利于提高立體視覺的獲取精度。為了方便根據不同的場景應用或實現功能選擇合適的基線長度，文章設計了一種基于滑動導軌的可變基線雙目視覺系統。通過調試與驗證，文章所設計的變基線雙目視覺系統可實現兩相機距離的自動調節與控制，控制精度與反應延時均滿足要求，為雙目視覺系統的研究提供了實驗驗證平臺。

關鍵詞：雙目視覺;滑動導軌;串口通信;PTZ相機

中圖分類號：TP311 ? ? ? ?文獻標識碼：A

文章編號：1009-3044（2022）05-0088-03

1 前言

1.1 ?研究背景與意義

隨著技術的發展，人們對于自身安全的要求隨著安全意識的提升而不斷提高，因此智能監控系統在日常生活中使用的場景也更加寬廣，其中視覺技術當然是必不可少的。在雙目視覺技術中，PTZ攝像機的視角和焦距都可以實時改變，靈活性更強，應用范圍也更加廣闊，因此在視頻監控領域相關的研究非常活躍。運用兩個PTZ相機組成的雙目主動視覺系統既可以單獨工作，監控不同的區域，實現大場景動態監控，也可以雙目協同工作，通過調整各自PTZ參數，以不同視角，不同分辨率同時獲取全景圖像和空間物體的深度等更多詳細信息[1]，優勢十分明顯。

然而在實際場景應用中，雙目PTZ視覺系統兩個攝像機之間的距離（即基線距離）和攝像機的視野對系統影響很大。目前對于雙目視覺的研究還主要是使用定基線雙目相機，局限較大，為適應不同監控場景和不同監控功能的需求，本文設計了一種可變基線的雙目PTZ視覺系統。

1.2 ?研究現狀分析

1.2.1立體視覺技術

立體視覺技術是通過在不同位置的兩個攝像機拍攝同一個目標，利用兩個攝像機所拍圖像的視差，用三角測量原理計算出該點空間坐標值的方法。

要實現立體視覺，主要經過圖像獲取，攝像機標定，立體匹配和三維重建幾個步驟。

1）圖像獲取

立體視覺技術的圖像獲取是通過在不同的位置放置兩臺攝像機，通過兩個攝像機對空間內同一點觀測，得到一對圖像。上海交大經過理論分析與實驗，得出結論，在滿足測量誤差的情況下，兩攝像機間的夾角在50[°]～80[°]之間最好。

2）攝像機標定

為了從攝像機的圖像中獲取三維的空間信息，需要對攝像機進行標定，得知攝像機的位置參數。目前常用的攝像機標定技術總體可分為傳統標定方法和自標定法。傳統的標定方法需要借助實現已知的標定物，于是有了不依賴定標物的自標定法。

3）立體匹配

立體匹配包括特征提取和特征匹配。特征提取應滿足的要求是：要與所用傳感器技術相適應，具有差異性和不變性。特征匹配一直是立體視覺中最困難的步驟。受到視角的影響，拍照環境的影響，干擾會比較大。目前常用的匹配方法有基于灰度的匹配和基于特征的匹配。

1.2.2雙目視覺系統

如今市面上流行的攝像機主要有三種，分別是靜止攝像機、全向攝像機和主動攝像機。將它們組合，可以構成五種不同的雙目系統，下面對這五種系統優缺點進行分析。

1）雙目靜止視覺系統

雙目靜止系統是雙目視覺中最常見的一種，按照兩個攝像機視角與位置關系的不同，具體可分為三種情況。其一是兩攝像機視場重合較小的系統，這種系統所能觀測的視場范圍最大，適用于大場景監控。其二是兩攝像機重合視場較大，攝像機之間的基線距離也較大的系統，這種系統可以很好地避免視場內遮擋物產生盲區影響監控效果，適用于室內等遮擋物比較多的場景。其三是兩攝像機視場重合大且基線距離較小的系統，這種系統是最典型的雙目視覺系統，類似的產品有小覓智能發布的小覓雙目攝像機。該系統可應用于目標跟蹤，機器人視覺等。

2）雙目全向視覺系統

使用全向攝像機可以拍攝全景圖像，雙目全向相機可以發揮雙目視覺的優勢，得到全景深度信息，可以應用于機器人視覺中障礙物的檢測與標定，國外就有人將一系統應用于機器人足球比賽，幫助機器人識別球場障礙物做出相應的控制策略。但這一系統觀測到的圖像畸變嚴重，不利于人工觀察，并且標定精度不高，受到相機標定精度的影響。

3）靜止加全向視覺系統

雙全向攝像機圖像畸變嚴重，為解決這一問題，有人提出了一個靜止攝像機加一個全向攝像機組成的雙目視覺系統，提高了圖像分辨率，并且解決了圖像畸變。如果在系統中添加多個靜止攝像機，與全向攝像機協同，則可以實現全場景監控，通過全向攝像機觀察全局，發現異常，之后調用相應的靜止攝像機詳細觀察。兩個攝像機種類不同引起的標定復雜也是該系統的缺點之一。

4）靜止加主動視覺系統

靜止加主動攝像機構成的雙目視覺系統以靜止攝像機為基礎，加之以主動攝像機視角靈活，分辨率可變的特點，實現了通過靜止相機觀察，利用主動相機靈活地獲取目標高分辨率圖像，更好地完成目標檢測與跟蹤的任務。由于靜止攝像機視野有限，該系統適用于監控范圍不大，由單個靜止攝像機就能覆蓋的場景。該系統結合了靜止攝像機和主動攝像機的優點，易于實現。

5）雙目主動視覺系統

主動攝像機從直接獲取圖像范圍來說可能不如全向攝像機，但他視角可變，可以分多次拍攝;并且由于它分辨率可調，圖像畸變程度低，可視化效果更好。

通過對五類雙目視覺系統的分析，由于雙目主動視覺系統靈活性好，可實現較多功能，且具備大部分雙目視覺系統的優點，所以決定使用雙目PTZ視覺系統進行本文的研究。

然而目前國內外對于雙目視覺系統研究大都是在固定基線的雙目相機上進行的，包括圖像特征的提取[2]，多目協調跟蹤，對于多機器人多協作系統的研究提高了雙目視覺系統的信息獲取能力和獲取精度[3]。在變基線的雙目視覺系統研究領域，燕山大學的孔令富教授提出了一種基線可調的基于圓形軌道的雙目檢測系統，為攝像機避障問題提供了一種新的思路[4]。哈爾濱工程大學伏虎等人借鑒變色龍的雙目特征提出了一種仿生雙目視覺移動平臺，將大場景下的目標搜索和小范圍內目標精確定位結合在一起[5]。為雙目視覺系統的變基線研究提供了新的思路。

2 系統總體方案設計

2.1系統需求分析

可變基線的雙目視覺系統需要控制攝像機在空間內進行位置變換。為實現上述功能，可用步進電機來驅動滑動導軌，并將兩個PTZ相機分別置于兩個滑臺上，從而通過控制步進電機的轉動，改變滑臺之間的距離，以及進一步改變雙目攝像機的基線。步進電機驅動控制器接收到上位機軟件發出的指令，發出脈沖控制步進電機的轉動。電機的運行速度、運行方向、運行時間等參數可以通過上位機軟件來控制。此外，還應實現利用事先設計好的程序，讓步進電機自動運行，實現自動巡航功能。

在主動相機控制方面，可利用網絡云臺攝像機模擬PTZ攝像機，通過RJ45接口經網絡交換機與PC機相連接，把兩個攝像機的圖像傳到視頻服務器。同時，需要解析網絡云臺攝像機SDK開發包，實現攝像機圖像實時預覽、調用預置點位和分步控制。

3 步進電機驅動模塊設計

3.1 ?硬件設備選型

對于雙目視覺系統而言，要求步進電機驅動系統具備良好的啟動與停止性能和比較高的控制精度。步進電機被廣泛地運用在雕刻機、數控機床、激光切割機等大型自動化設備中[6]。

具體實施過程中，本文選用了57步進電機，型號是J-5718HB3401。其尺寸為78mm[*]8mm[*]20mm，步距角為1.8[°]，額定電流是4.4A，轉動慣量為450，重量1.04kg，轉矩為2.3N·m。選用了杰美康機電公司的2DM860H-RS485型驅動控制器。

滑動導軌是用于線性往復運動的機構，分為同步帶輪導軌和滾珠絲桿導軌兩種。它具有控制精度高，承受負荷能力強，性能可靠的優點，應用于各種自動化廠房。滑動導軌通常配合伺服電機或步進電機使用，通過配套的電機驅動程序可以實現自動化運行。

本文所用導軌長度1.2m，平臺大小為60[*]78mm，四個孔的距離是40[*]60mm。負載最大可達20kg。滑臺的定位精度極高，可以達到0.1mm～1mm，最大移動速度700mm/s。

3.2 ?硬件平臺搭建

步進電機驅動模塊安裝：先將57步進電機通過聯軸器接與滑動導軌一端，連接部分一定要擰緊，防止運行過程中脫落，接下來根據驅動器連接示意圖，把步進電機的4根線分別與驅動器對應的A+、A-、B+、B-端口相連。驅動器的VCC、GND端與實驗臺上24V直流電源相連。驅動器與上位機需要通過一根USB轉RS485的轉接線相連，同時需要在PC上安裝對應的驅動，之后打開設備管理器就可以看到電腦為驅動器分配的端口號。單個導軌連接圖如圖1所示。

3.3 ?步進電機驅動軟件設計

本文開發環境采用微軟的Visual Studio，它支持Basic、C++、C#、Java等多種高級編程語言，通過它可以創建自定義的Windows窗體應用程序、控制臺應用程序等。

本系統上位機軟件需要實現PC機與步進電機驅動器的串口通信，利用MSComm控件進行串口編程。

根據電機驅動模塊需要的功能，新建一個基于C#語言的Windows窗體，在上面添加MSComm控件，添加相應的功能按鈕，并為按鈕添加相應的事件，實現通過點擊按鈕為電機設置運行參數，并控制電機運行的功能。由于VS中已經不再自帶MSComm控件，需要自己手動添加。

根據通信協議說明書可知，傳輸數據格式為：“設備號+功能碼+起始地址+寄存器個數+CRC校驗”。

下面對軟件界面上各按鈕的功能進行說明。對步進電機的驅動部分主要包括基本參數設置，工程參數設置和手動操作按鈕。當設備按要求連接好之后首先進行串口號，設備號設定。設備號默認為1，串口號由每次接入時計算機分配，通過設備管理器查看。設定好點擊確認，如連接成功會顯示“連接成功”字樣，之后進入基本參數設置界面，如圖2所示。

設置完畢后保存參數并下載，基本參數就設置完畢了。設置完基本參數后，即進入手動控制界面通過點擊正轉，反轉，停止，單次運行按鈕，來控制電機運行。

建立讓電機自動運行的工程，在工程參數設置界面，如圖3所示。工程參數包括工程步數，運行方向，運行速度，距離，反復次數等，其中工程循環次數設置為0表示無限循環。實現電機自動運行。

4 云臺相機控制模塊設計

PTZ相機是一種主動相機，其中字母PTZ是Pan、Tilt和Zoom的縮寫，表示云臺可以上下左右移動和鏡頭可變焦。因為其具有可變視角，可變焦距的特點，在智能監控領域有廣泛運用。但是由于專業的PTZ相機價格比較貴，為達到檢測系統功能目的，本文決定選用普通的網絡云臺相機做演示。另外，兩臺相機與一臺相機的控制原理，步驟等都是一樣的，本文先用一臺相機做試驗。如果研究成功再進行下一步的升級改造。

4.1 ?實物連接

本文選用了海康威視的迷你云臺型網絡攝像機DS-2CD2Q10FD-IW。相機的安裝：先將攝像機底座用螺絲固定在滑動導軌的滑塊上，用自帶的適配器連接家用220V電源供電。攝像機與PC通過雙絞線網線相連，由于電腦上只有一個RJ45插口，所以接兩個相機的話需要通過一個集線器進行擴展。

圖4所示便是本系統的實物連接圖，1處標記的是滑動導軌，2處標記為步進電機，3處標記為步進電機驅動控制器，4處標記為USB轉485轉接頭，5處標記為網絡攝像機，6處標記為實驗臺的24V直流電源輸出。

4.2 ?云臺相機控制模塊編程實現

根據海康官網提供的云臺相機SDK包，對相機進行了二次開發，選取了登錄，實時預覽，抓圖和云臺控制部分功能，集成到上位機軟件中。本部分編程調用了大量海康封裝好的程序，其名稱與功能在附錄B中給出。其中實時預覽功能應用了NET_DVR_RealPlay_V40函數，云臺控制調用了NET_DVR_PTZControl函數。調用格式舉例如下：

BOOL NET_DVR_PTZControl（LONG lRealHandle，DWORDdwPTZCommand， ?DWORD dwStop）

圖像實時預覽模塊SDK的調用流程。首先對SDK進行初始化，然后根據需要設置超時，異常，接下來進行用戶設備注冊，注冊成功后返回設備IP，啟動預覽，結束后要釋放SDK資源。云臺控制模塊的調用流程與實時預覽調用流程類似。

相機控制界面如圖5所示。

相機控制界面編程步驟：首先每次打開軟件都要清除所有狀態，應用Dispose函數，函數中要包括停止預覽，注銷設備和初始化SDK的代碼;接下來登錄注冊設備，輸入IP，用戶名、密碼等，設置變量采集信息。登錄出錯應有提示，登錄成功進入下一步;圖像預覽，首先需設置一個顯示窗口，調用預覽實時回調函數REALDATACALLBACK。

圖像預覽窗口編程：設置一個啟動預覽的按鈕，當按鈕按下時，先判斷是否已登錄設備，如果未登錄，發出提示，如已登錄，則在PREVIEWINFO中存儲設備信息，而后調用實時預覽函數，啟動預覽，其格式為NET_DVR_RealPlay_V40（m_lUserID， ref lpPreviewInfo， null RealData， pUser），其中m_lUserID為函數返回值，lpPreviewInfo為預覽參數，包括通道號、碼流類型、取流協議等。之后將按鈕的text值改為停止預覽。按下按鈕調用NET_DVR_StopRealPlay函數停止預覽。

云臺控制編程：首先在主界面上添加按鈕，作用是打開云臺控制界面，打開界面同時完成參數的傳遞，包括用戶ID，通道號和預覽句柄。然后在控制界面添加控制按鈕，包括上，下，左，右等，云臺控制調用了NET_DVR_PTZControl函數。

云臺速度控制：速度控制調用的是另一個帶速度控制的函數NET_DVR_PTZControlWithSpeed，比之前的多了一個參數dwSpeed，表示運行速度，取值范圍是1～7。

在控制云臺動作前需要先獲取云臺可控范圍，這樣就能在云臺控制的P＼T＼Z參數文本框中輸入數值直接把云臺調整至一定的角度，通過PTZset按鈕實現。同時PTZget按鈕可以讀取現在云臺的P＼T＼Z參數顯示到文本框中。設置和讀取分別調用了NET_DVR_SetDVRConfig和NET_DVR_GetDVRConfig函數。

預置點操作：預置點操作包括設置預置點，調用預置點，刪除預置點和獲取預置點信息。設置預置點編程步驟為，首先在界面上設置4個文本框用來顯示當前預置點信息，分別為P＼T＼Z和名稱，然后做設置、調用、刪除按鈕，一個下拉文本框來設置預置點號。

圖6所示是最終的軟件界面。

5 系統測試

5.1滑動導軌驅動測試

首先進行手動控制測試。

第一步，按照系統連接圖接好電機、驅動器、電腦，確認無誤后，給驅動器上電。打開系統軟件，設置串口號。如果正常工作會顯示連接成功。第二步，進行手動控制功能測試。首先打開基本參數設置界面，設置步距角1.8，細分為8，啟動頻率和加減頻率都是50Hz，螺距0.6，波特率9600。之后保存下載。返回主界面。點擊手動控制按鈕進入手動控制界面，設置運行方向，速度，距離，下載參數，即可點擊正轉，反轉，停止按鈕，控制電機運行。

其次進行自動運行測試。在工程設置界面，新建工程，第一步，正轉1米，等待1秒后進行第二步，反轉1米，速度都為200。

第三，模擬視覺系統進行雙導軌聯合運行。首先控制兩個滑臺移動到設定的位置，兩者之間距離為1，將兩個電機的坐標都清零，模擬雙目攝像機初始狀態。假設這時收到了一個指令，現有的工作基線過小，不再能達到智能監控系統對圖像信息采集所要求的精度，需要調大基線。則控制滑臺一向左緩慢運行，當滿足要求時停止。完成任務后點擊回零按鈕，恢復初始狀態。

第四，模擬兩臺相機巡航監控。設置一號相機先正向移動1米，0.5秒后再反向移動1米，工程無限循環。設置二號滑臺與一號相向而行，也是無限循環。而后開始運行工程。

5.2云臺相機控制測試

1）連接好相機之后，打開系統軟件，登錄訪問相機，點擊預覽按鈕，即可讀取攝像機現在拍攝到的畫面;

2）在云臺控制界面，通過點擊方位按鈕來控制云臺轉動;

3）把攝像機轉到一定的角度，設置預置點。然后把攝像機轉到另一個角度，點擊調用預置位，即可使攝像機轉回原來的方位。

6 總結和展望

本文通過分析雙目視覺系統的研究現狀，設計了一種在滑動導軌基礎上建立的可變基線的雙目視覺系統。通過控制滑塊位置來改變雙目相機基線的功能，提高雙目視覺系統對復雜多變的環境的監控能力。通過對實際應用場景的思考，發現本系統還有一些缺陷，需要在之后的工作中改進。主要是：

1）本系統未加入圖像分析功能，即通過將攝像機拍到的畫面進行自動分析，從而自動控制攝像機調整PTZ參數以及基線距離對目標進行跟蹤。

2）在步進電機驅動部分，可以加一些擴展的輸入信號，如正反限位、機械零點等，從而實現攝像機對自身位置的感知，更有助于自動調整位置。

參考文獻：

[1] 萬定銳，周杰.雙PTZ攝像機系統的標定[J].中國圖象圖形學報，2008，13（4）：786-793.

[2] 劉巧娜.雙目主動視覺平臺下仿變色龍視覺行為研究[D].秦皇島：燕山大學，2012.

[3] 李造.多工業機器人系統中多級協作視覺系統的設計[D].杭州：浙江大學，2012.

[4] 孔令富，李林，張廣志.一種并聯機器人雙目主動視覺監測平臺避障方法的研究[J].燕山大學學報，2009，33（3）：189-193.

[5] 伏虎.仿生雙目PTZ視覺與移動平臺協調控制的研究[D].哈爾濱：哈爾濱工程大學，2014.

[6] 蔡杏山.電動機及控制線路咱得這么學[M].北京：機械工業出版社，2017.

【通聯編輯：聞翔軍】

收稿日期：2021-10-08

作者簡介：衛晨（1996—），男，山西晉城人，研究生，研究方向為機器人視覺;李艾華（1966—），男，河北滄州人，教授，博士生導師，研究方向為機器人視覺，模式識別，故障診斷;崔智高（1984—），男，河北邢臺人，副教授，碩士生導師，研究方向為模式識別，圖像處理，智能監控。