機器視覺基礎實驗平臺設計

吳思東 袁建英 劉甲甲 許林 馬忠麗 蔣濤

摘?要：圖像處理與機器視覺是自動化、機器人等相關專業一個重要的內容，為了便于學生掌握視覺傳感器工作原理特性、基礎機器視覺理論及實踐應用，自制了機器視覺基礎實驗平臺。該實驗平臺包含硬件平臺和軟件平臺，硬件平臺視覺傳感器采用兩臺大恒MARS88013GMP面陣相機，軟件平臺可實現雙臺相機驅動、相機設置、圖像采集、讀入圖像、圖像濾波、邊緣檢測、分割、雙目相機標定等功能。實驗平臺對每個功能模塊提供擴展接口，便于學生進行二次開發。

關鍵詞：機器視覺；實驗平臺；擴展模塊；視覺傳感器；QT

機器視覺是模式識別、人工智能領域重要研究內容之一，目的是利用機器實現檢測、測量、識別和判斷等功能，其主要研究內容是通過視覺傳感器設備采集目標圖像數據，經過視覺處理模塊，得到目標特定信息（如輪廓、距離、類別等），近年來受到廣泛應用。目前機器視覺相關企業已經開發出非常成熟的產品，但其產品多為綜合性功能產品，不利于剛入門學生學習，而針對高校的相關實驗設備、實驗平臺還相對較少［1］。教師在授課時只能講解相關理論知識，或者展示相關實驗素材，學生不能深入了解相關知識和工作原理。為了使學生對機器視覺相關基礎知識有更深入地理解和認識，設計了機器視覺基礎實驗平臺，方便學生進行相關學習和研究。另外，平臺還提供二次開發接口供算法優化等研究，便于學生將理論與實踐相結合，加深對機器視覺知識的理解。

1?機器視覺平臺總體設計

機器視覺實驗平臺是基礎性實驗平臺，和《圖像處理與機器視覺》類課程中機器視覺硬件、圖像處理基礎、雙目立體視覺等理論配合使用［2］。目的是讓學生深入理解視覺傳感器工作原理和不同算法功能和作用，構建能實現綜合機器視覺功能的系統。本平臺由硬件和軟件兩部分組成。實驗平臺總體設計如圖1所示。

2?硬件平臺設計

2.1?相機及鏡頭模塊

相機和鏡頭構成機器視覺圖像采集模塊，平臺相機為大恒MARS88013GMP，如圖2所示。為理解掌握鏡頭在成像方面的差異實驗平臺選配3套不同焦距鏡頭（8mm：VS0814H1，12mm：HN122620MC1/1X，35mm：HN352220MC1/1X），如圖3所示。

2.2?相機固定支架

相機支架包含相機固定板和轉動云臺兩部分，如圖4所示，雙目相機搭載固定支架上可調整相機基線、光軸夾角、俯仰角、相機高度。

2.3?其他硬件

其他硬件還包括標定板、計算機、開關電源、交換機等。標定板包含圓形和棋盤格標定板各一件；開關電源將220V轉12V相機工作電壓；交換機實現多相機連接和驅動。

3?軟件平臺設計

軟件平臺采用QT開發界面，編程語言采用C++，功能可分為三部分：相機操作、圖像操作、雙目標定。可實現對機器視覺基礎實驗內容的處理和結果展示，利于學生掌握相應操作原理和參數意義。

軟件平臺主界面如圖5所示，主界面包含相機顯示、采集或外部讀入圖像窗口，可同時顯示圖像操作前后的圖像，標定區域包含相機標定操作、標定過程和標定結果顯示。主界面菜單欄包含文件操作、相機操作、圖像操作模塊，如圖6所示。

3.1?文件操作模塊

文件操作模塊主要包含圖像文件讀入和保存功能。

3.2?相機操作模塊

相機操作模塊有相機曝光、白平衡、增益等設置功能。由于相機鏡頭成像原理影響，相機采集圖像的邊界區域亮度與中心區域亮度存在差異，因此還設計有相機平場校正功能。

3.3?圖像操作模塊

圖像操作模塊是軟件平臺主要功能模塊，包含圖像點操作、圖像濾波、形態學操作、邊緣提取、圖像分割等功能內容。可直接對相機采集數據進行操作，也可讀入圖像進行操作。若打開不止1臺相機，則只采集左相機完成相應圖像操作功能。

3.4?雙目相機標定模塊

雙目相機標定方法采用張正友提出的標定法［3］。可根據所使用標定板類型選擇相應方法，進行特征提取和檢測，完成多次標定板采集和檢測后，進行標定計算，求解出雙目相機標定的內外參數和相機徑向、切向的畸變系數，在標定過程展示窗口輸出，標定精度也同時在標定過程窗口輸出［4］。

為了兼顧機器視覺單相機處理和雙目相機標定算法，軟件平臺在打開相機時可根據實際連接相機數（最大支持2臺相機）進行相機數選擇。

3.5?實驗平臺可開發實驗

基于該設計的機器視覺基礎實驗平臺，可開發的實驗如表2所示。

4?平臺開發接口

平臺采用開發源代碼，在保證原有設計框架基礎上，學生可根據所學知識，通過預留的軟件接口進行方法驗證和二次開發。

相機驅動。本平臺只設計了針對大恒圖像火星系列GigE接口的驅動程序，學生可利用該模塊，學習不同類型相機、不同數據接口的相機驅動方法。

圖像操作。本平臺實驗包含部分機器視覺基礎算法，通過OpenCV相關函數實現，學生可觀察對應算法的相關參數設置帶來的效果。另外，學生可利用對應模塊，在學習和掌握相關算法原理后，實現相應算法，驗證算法正確性。圖7（a）為雙邊濾波按鈕設計界面，當點擊雙邊濾波按鈕觸發對應按鈕點擊命令，并執行on_action_Bi_triggered（）代碼，如圖7（b）所示，該部分代碼包含雙邊濾波參數設置、雙邊濾波算法及結果顯示部分，其中核心雙邊濾波算法為方框內代碼，雙邊濾波結果如圖7（c）所示，學生可對函數重寫實現相應算法，并比較分析，驗證算法正確性。此外，本平臺的開源特性也方便老師和學生基于該平臺進行二次開發，增加如立體匹配、三維重建等功能。

（a）雙邊濾波按鈕設計界面

（b）雙邊濾波操作執行代碼

（c）雙邊濾波效果

圖7?實驗平臺二次開發功能

結語

機器視覺基礎實驗平臺實現了部分機器視覺課程基礎操作算法，有利于學生在統一平臺快速理解和觀察每個操作以及不同參數設置對圖像的影響。平臺的開發接口可供學生對不同的操作進行實現和驗證分析，促使學生進一步學習和掌握相關操作算法。平臺也可供學生進一步二次開發和設計更豐富的實驗功能，對學生理解和掌握機器視覺相關算法和原理具有重要的價值。

參考文獻：

［1］陸安琴，秦嬋嬋，胡圣波，等.基于PyQt5的數字圖像處理實驗平臺設計［J］.電子元器件與信息技術，2021，5（2）：158161.

［2］許林，袁建英，吳思東，等.“機器視覺及應用”課程雙語教學模式探索［J］.西部素質教育，2022，8（05）：1315.

［3］Zhang，Z.A?Flexible?New?Technique?for?Camera?Calibration［J］.IEEE?Transactions?on?Pattern?Analysis?and?Machine?Intelligence，2000，22：13301334.

［4］袁建英，吳思東，劉甲甲，等.雙目三維重建實驗平臺設計［J］.西部素質教育，2020，6（11）：158159+163.

項目基金：本文系四川省高等教育人才培養質量和教學改革項目《引入競賽知識元素的機器人工程專業科技創新實踐體系構建》（項目編號：JG20211006），成都信息工程大學本科生教學改革工程項目“《機器視覺及應用》教學方法研究與實踐”（編號：JYJG2022049）、“應用型示范機器人工程本科專業建設與實踐”（編號：JYJG2021005）、“學科競賽驅動、科研引領的機器人工程專業科技創新實踐體系構建”（編號：JYJG2022133）、“《智能控制》教學方法的研究與實踐探索”（編號：JYJG2021044）

作者簡介：吳思東（1989—?），男，漢族，四川南充人，博士，講師，研究方向：計算機視覺；袁建英（1982—?），女，漢族，四川眉山人，博士，副教授，研究方向：機器視覺；許林（1985—?），男，漢族，四川廣元人，博士，講師，研究方向：機器視覺；劉甲甲（1983—?），男，漢族，安徽淮北人，博士，講師，研究方向：機器視覺與工業智能化；馬忠麗（1974—?），女，滿族，四川成都人，博士，教授，研究方向：圖像處理、虛擬仿真；蔣濤（1975—?），男，漢族，四川綿陽人，博士，教授，研究方向：智能機器人技術。