視覺機器人教學實驗平臺在畢業設計中的應用探索

林冬梅，陳曉雷，楊富龍，馬玉潤

（蘭州理工大學 電氣工程與信息工程學院，甘肅 蘭州；甘肅省電子信息省級實驗教學示范中心，甘肅 蘭州；甘肅省工業過程先進控制重點實驗室，甘肅 蘭州；蘭州理工大學電氣與控制工程國家級實驗教學示范中心，甘肅 蘭州）

一 引言

機器視覺技術是一項涉及視覺傳感器、光源照明、光學成像、數字圖像處理、模擬與數字視頻、計算機軟硬件和自動控制等的綜合技術。機器視覺主要用計算機模擬人的視覺功能，從客觀事物的圖像中提取信息，進行處理并加以理解，最終用于實際檢測、測量和控制[1]。機器視覺系統由硬件系統和組態軟件組成，主要包括圖像獲取部分、圖像處理與分析部分和判決執行部分。機器視覺技術具有速度快、精度高、信息量大、功能多等特點。隨著機器視覺技術的發展，其在生產生活等各行各業中發揮著重要作用，在人工智能的發展歷程中扮演著越來越重要的地位[2]。研究報告顯示，2020 年全球機器視覺市場規模為107 億美元，預計到2025 年將增長至127 億美元[3]。

隨著工業智能化的發展，機器視覺技術在工業領域有著非常廣泛的應用，科技成果層出不窮[4]。機器視覺技術被應用在部件裝配、產品特征檢測、缺陷檢測、非接觸測量、數控機床加工等多個生產環節。以汽車制造業為例，涉及汽車產品裝配加工、3D 四輪定位、整車與零部件自動檢測、車身特定位置缺陷檢測等[5]。

在農業領域，機器視覺技術涉及農業生產的各個環節。在農業生產前期，進行土壤檢測、種子精選及質量檢測、精密播種等；農業生產中期，有植物生長信息監測、田間雜草識別、病蟲害檢測、農藥精量噴灑等；在農業生產后期，主要體現在農產品采摘、品質檢測與分級、包裝等。其中，還涉及到各種農業機械的研制與控制，主要有自動采摘機械、除草機械、噴藥機械、產品分級機械等。機器視覺技術能有效提升農業生產的自動化與機械化水平，促進農業快速現代化的進程[6-8]。

在醫療領域，機器視覺技術主要運用在輔助診斷及手術方面。如X 射線成像增強，CT、MRI 的標記、渲染、融合等，得到準確、清晰且包含更多信息的圖像，便于醫生和專家進行綜合診斷；甚至能給出診斷結果，供專家參考。再者，基于機器視覺技術，手術機器人能精準地實施手術[9]。此外，還可以應用在藥用玻璃瓶缺陷檢測、藥劑雜質檢測以及對藥品外包裝泄露的檢測等，能夠充分保障藥物的質量安全[6]。

交通領域同樣離不開機器視覺技術，它在車牌識別系統、視頻檢測系統、安全保障系統及無人駕駛、車聯網等復雜任務中發揮著舉足輕重的作用，推進了智能交通的快速發展。

基于機器視覺技術的機器人分揀系統被廣泛地應用于零件、農產品、食品、藥品、紙幣、快遞等的分揀工作中，不僅提高了分揀效率，而且大大降低了誤揀、漏揀的概率，逐漸替代人工分揀及傳統機器分揀方法[10-12]。

隨著機器視覺技術的發展，還涉及安防監控、偵查追蹤、網絡信息安全、機器人、航空航天、天氣預測、防疫抗災等眾多領域。

我國機器視覺技術的發展正處于上升期，國家對機器視覺技術的研究投入不斷加大，機器視覺已逐漸成為國內的熱門行業。因此，高校應積極響應國家需求，重視培養機器視覺技術行業人才。

二 本校在機器視覺技術方向的畢業設計現狀

2013 年，蘭州理工大學電子信息科學與技術專業培養方案中，將《圖像處理和分析》課程修訂為《機器視覺技術》課程。在后續的授課中，采用示范性項目式、案例式教學方法進行課程建設[13]。雖然課程進行了改革，但機器視覺技術方面的畢業設計題目，大部分實質上仍是純圖像處理算法研究的畢業論文，存在不少弊端。一方面，由于偏向理論算法研究，存在選題單一或類似現象，深度不夠，且創新性不足。另一方面，沒有將《機器視覺技術》課程所學的知識很好地綜合應用到畢業設計中，很難跟實際工程聯系起來，綜合應用能力得不到有效提高，學生的實踐技能滯后于現代技術，不能滿足工程實際的需要。因此，在這方面的畢業設計亟需改革。

三 視覺機器人教學實驗平臺在畢業設計中的應用實踐

2018 年，蘭州理工大學啟動了機器視覺實驗室建設，并于2019 年9 月完成了建設。機器視覺實驗室以視覺機器人教學實驗平臺為主要設備。為了改變電子信息科學與技術專業在機器視覺技術方面的畢業設計脫離工程實際的現狀，引入視覺機器人教學實驗平臺是改革畢業設計的一條有效途徑。首先，可以實現機器視覺方向的畢業設計從論文研究型向綜合設計型轉變。其次，可以提高學生的學習興趣和綜合實踐能力，為將來從事機器視覺技術相關工作奠定基礎。最后，它可以促進視覺機器人教學實驗平臺的應用推廣，為社會培養專門人才。因此，在2020 及2021 屆電子信息科學與技術專業學生的畢業設計中，探索了視覺機器人教學實驗平臺的應用，以更好地鍛煉學生的工程思維、動手能力及分析和解決實際工程問題的能力。

（一） 實驗平臺介紹

西安交通大學研制的視覺機器人教學實驗平臺（XVS-1600），由硬件系統和組態軟件組成，硬件配置及軟件功能達到國內領先水平。

1.硬件系統

硬件系統主要由視覺機器人、末端執行器和氣泵組成，如圖1 所示。視覺機器人具有4 個自由度，關節材料采用鋁合金，控制電機重復精度≤0.2mm，機械臂伸展范圍8~18cm，機械臂伸展速度1~4cm/s，最大旋轉角范圍±110°；配有攝像頭2 個，視覺感知圖像分辨率≥100 萬像素。末端執行器有開合夾抓和吸盤兩種，采用鋁合金與 PLA 材料。氣泵用于控制末端執行器的開合，采用SW 電驅接口及SP 通信控制插口。

圖1 視覺機器人教學實驗平臺（XVS-1600）硬件系統

2.組態軟件

組態軟件名稱為機器視覺智能組態軟件（Xavis），它擁有包括圖像采集、處理、測量、定位、識別、教學機器人控制通信等260 多個算法庫函數；有70 多個人工智能教學創新實驗案例，包括圖像處理、圖像測量、目標檢測、模式識別、目標跟蹤、機器人多工件自主智能裝配與拆卸、麻將抓取識別等[14-15]。該軟件的最大特色是可視化組態編程，簡單易學；界面上分布有圖像區、參數區、值顯區和代碼區，如圖2 所示。

圖2 機器視覺智能組態軟件（Xavis）

3.功能及特點

實驗平臺基于機器視覺智能組態軟件，集工件圖像采集、圖像處理、模式識別和教學機器人控制等多項視覺測控以及教學機器人編程功能于一體，用其可開設電子信息、自動化、人工智能、機器人、機械工程、計算機、機電一體化及測控儀器等專業的教學、創新及科研實驗；具有教學機器人編程、機器視覺算法庫、智能組態編程、教學基本實驗、實驗擴展等功能。使得《機器視覺技術》等課程實驗能夠較高水平開設，同時也能夠豐富綜合訓練、課程設計、創新訓練及科研實驗的實踐內容。

綜上所述，將視覺機器人教學實驗平臺用于畢業設計，能很好地培養學生的動手能力以及創新能力，可以滿足機器視覺技術復雜工程問題的實踐需求。

（二） 畢業設計案例

蘭州理工大學2020 及2021 屆電子信息科學與技術專業學生，嘗試了基于視覺機器人教學實驗平臺的畢業設計，完成了棋子識別系統設計、麻將抓取識別系統設計、物品分揀系統設計、物品裝載系統設計等題目。下面以物品分揀系統設計及物品裝載系統設計為例，展示實驗平臺的應用情況。

1.物品分揀系統設計

基于Xavis 組態軟件，用程序控制并移動視覺機器人的末端攝像頭，實時采集物品圖像；采用圖像灰度化、形態學運算、濾波、二值化、融合、分割、邊緣檢測、圓檢測、直線檢測等圖像處理方法，最終提取物品的形狀特征，并找到物品中心實現物品的定位；利用特征，進行物品分類；控制機器人，用其末端執行器將不同特征的物品抓取并放置到指定位置，實現物品的分揀。該設計實現了長方形麻將、圓形象棋、三角形模具3 類形狀物品的分揀，模擬生產生活中的機器人分揀系統。

圖3 物品分揀系統工作情況

2.物品裝載系統設計

物品裝載系統由五個模塊組成，分別是參數設置模塊、掃描模塊、圖像處理模塊、識別定位模塊、裝載模塊。參數設置模塊需要完成機械臂初始化、靜態參數和動態參數設置、攝像頭編號設置、角度偏移量和抓取偏移量設置等。掃描模塊負責循環掃描物品和放置目標區域位置。圖像處理模塊涉及到的圖像處理方法有圖像灰度化、形態學運算、面積濾波、二值化、連通區域標記、分割、邊緣檢測等。識別定位模塊包括找到物品中心及目標位置中心，實現物品及目標位置的定位。裝載模塊實現物品抓取并按要求放置到指定位置。

該系統可以自動掃描并確定目標位置和需要裝載的物品，自動定位抓取物品并進行裝載，可以獲取實時圖像并顯示裝載進程，能夠循環執行直至所有物品裝載完成。本設計實現了將8 個麻將整齊裝載到具有四個分格的紙盒中，模擬生產線上產品的自動裝載。

圖4 物品裝載系統流程圖

圖5 物品裝載系統工作情況

（三） 應用效果

上述兩個畢業設計，在文獻資料查閱階段，學生能充分了解機器視覺技術在物品分揀及裝載領域的應用現狀；通過設計過程，學生充分理解物品分揀及裝載的方法和流程，熟練掌握機器人分揀及裝載系統中涉及到圖像獲取方法、圖像處理方法、機器人控制方法等相關知識，并能編程實現及靈活運用。整個設計能很好地鍛煉學生的綜合能力。

《機器視覺技術》課程的實踐性較強，采用純粹的理論算法研究型的畢業論文，無法綜合應用該課程的知識，不能達到預期效果。通過基于視覺機器人教學實驗平臺的畢業設計，學生對機器視覺系統組成、機器視覺方法和實現、機器視覺技術應用等一系列相關內容有了更深的理解，并能綜合運用課程所學知識來解決實際工程問題，鍛煉了工程思維，提高了專業能力。

四 結語

通過應用視覺機器人教學實驗平臺，畢業設計質量有了明顯改善，學生的工程思想得到了充分鍛煉，這為學生將來從事機器視覺技術領域的工作打下了良好的實踐基礎，也為學生將來繼續從事機器視覺方向的研究奠定理論基礎。同時，基于視覺機器人教學實驗平臺的畢業設計又為《機器視覺技術》課程的項目式教學提供了大量素材，有望促進《機器視覺技術》課程教學質量的提高。今后繼續將視覺機器人教學實驗平臺應用于本科畢業設計中，提高畢業設計質量，加深學生對機器視覺技術的認識和理解，增強實踐能力，培養機器視覺技術行業人才。