融合機器視覺的工業機器人虛擬平臺構建

白瑞峰， 房朝暉， 靳荔成， 于赫洋， 張拓迷

(天津大學 電氣與自動化工程學院，天津 300072)

融合機器視覺的工業機器人虛擬平臺構建

白瑞峰， 房朝暉， 靳荔成， 于赫洋， 張拓迷

(天津大學 電氣與自動化工程學院，天津 300072)

為滿足電氣信息類專業學生工業機器人、自動控制、機器視覺等先進技術的實踐教學需求，提高工科大學生自主創新、創業及實踐能力，設計開發了機器人實驗系統。利用虛擬仿真技術、互聯網技術與學科專業深層融合，設計了虛擬實驗對象，擴充了實驗內容。為了便于虛擬教學資源的有效管理，依據學科特色與虛擬實驗教學的特點，構建了統一的實驗教學網絡管理平臺，擴大了共享范圍。探索了三核心、三層次、一體化的“三三一”虛擬仿真實驗教學管理體系，促進了虛擬教學資源的開發與建設，推進了高等學校實驗教學的信息化建設，為實驗教學改革創新開辟新的道路。

工業機器人； 虛擬仿真； 機器視覺； 實驗教學； 管理體系

0 引 言

隨著我國智能制造2025的提出，加速了工業機器人以及機器視覺等科技人才的需求[1]，涉及工業機器人和視覺系統的設計、調試、控制和維修等。工業機器人，作為集機械、電子、計算機、人工智能等先進技術于一體的現代制造裝備，廣泛應用于焊接、物流、切割及測量等領域[2-4]，成為現代工業自動化水平標志之一。

以培養學生的創新設計能力和綜合設計能力為教學目標，緊密結合學科及工業發展的前沿技術和學院教師科學研究的成果，天津大學于2006年校企共建了貼近工業生產實際環境又符合高等教育教學規律的“模擬啤酒自動化生產線”[5]。

隨著機器視覺、工業機器人的發展及新技術的教學需求，在原有平臺基礎上，對啤酒裝箱分布進行改造，增加了三菱RV-3SQ工業機器人和康耐視5100視覺傳感器等相關設備，完成了生產線上的智能系統設計，提高了該生產線的自動化水平，增加了工業機器人以及機器視覺的實驗教學內容。

電氣工程與自動化虛擬仿真實驗教學中心，目標是針對自動化專業、電氣工程與自動化專業等電氣信息類相關專業的高成本、高消耗、大型綜合、高危等實驗項目，利用現代虛擬仿真技術將其虛擬化，將已有的實驗資源整合構建了虛擬實驗教學管理平臺，提高共享范圍。智能生產線、工業機器人以及機器視覺設備價格昂貴、易于損耗、資源有限、對環境要求苛刻，屬于大型綜合、高成本、高消耗、高危的實驗項目，是中心重點建設項目。

1 系統結構及其功能設計

系統結構如圖1所示，根據模擬啤酒生產線的工藝流程，主要分為3個部分：供箱系統、機器視覺系統和工業機器人系統。

圖1 工業機器人實驗系統結構圖

供箱系統包含PLC、伺服電機、變頻器、傳感器、箱體、傳送帶等。PLC可控制裝箱系統中的伺服電機、變頻器，通過以太網與機器視覺系統和機器人控制器進行通信。PLC根據視覺檢測獲得的裝箱工作臺上箱體的裝瓶位置(瓶位)，將待裝箱瓶體按照規劃的軌跡和速度，依次裝入箱體的瓶位中。

機器視覺系統使用康耐視In-Sight 5100，通過攝像頭，拍攝裝箱工作臺上的箱體，并完成圖像處理，獲取瓶位的實時坐標，并將坐標傳送至工業機器人控制器中。

工業機器人系統包括三菱RV-3SQ六自由度工業機器人、Q03UDCPU和Q172DRCPU、CR1Q-700控制器等。其中，Q03UDCPU為主CPU，Q172DRCPU為從CPU，即機器人CPU。

2 硬件系統連接

RV-3SQ工業機器包含六個關節[6]。控制器與工業機器人通過馬達動力線和編碼器信號線連接，其中馬達線用提供動力驅動電機，信號線控制電機并將機器人各軸位置信息反饋給控制器。

工業機器人與視覺整合的硬件連接如圖2所示，康耐視In-Sight 5100視覺系統配備工業攝像頭，采集空間坐標信息，通過以太網傳輸數據，為工業機器人提供裝瓶位坐標值。使用一個Hub把Insight 5100、上位PC機、工業機器人控制器和機器人CPU連接起來組成一個局域網。

圖2 工業機器人與視覺系統的硬件連接圖

3 工業機器人編程及路徑規劃

RV-3SQ工業機器人可使用RT-ToolBox2編程環境進行控制，編程語言為Melfa Basic V。

RT-ToolBox2環境包含RV-3SQ工業機器人虛擬對象，如圖3所示，提供仿真運行模式，能夠脫離工業機器人進行離線仿真運行。在實操操作前可行仿真運行，以檢驗其是否能完成設計的動作，是否可以使用，從而避免了操作不當而造成的機械結構的損壞及人身危險。在設計中，通過對生產線工藝流程的分析，進行路徑規劃。使用編程軟件按照程序編寫運行指令，仿真運行成功后，轉換自動運行，工業機器人能夠按照規劃軌跡運行。

RT-ToolBox2可與PLC的進行通信，完成多CPU配置，實現計算機與機器人控制器的實時通信，操縱與監視工業機器人運行。

圖3 RV-3SQ工業機器人虛擬對象

4 視覺系統校準及特征提取

Insight Explorer環境可完成視覺系統的圖像獲取、校準、坐標裝換、通過PatMax圖案工具進行特征提取與定位[7]、通信設置、數據傳出等配置等。

考慮到模擬啤酒生產線裝箱工藝及運行速度，圖像獲取設置為連續觸發模式，間隔為500 ms，曝光時間為8 ms，瓶位區域設置為采集圖像的50%，避免因對象的移動而使目標對象移出視域。

在工作環境中，系統捕獲到圖像會具有遠景畸變，可采用網格(帶基準)校準方式[8]。網格間距越小，校準精度越高，計算耗時越長，考慮箱體、瓶位尺寸及計算時間，網格間距定為10 mm。

瓶位的形狀為圓形，可采用PatMax模型進行定位方式，該方法根據物體的形狀進行定位，適用于外觀發生旋轉，測量縮小或者拉伸的物體。

為了避免由于光照強度的變化而引起的誤差，利用LED平面光源進行補光。為了提高定位的準確性，箱體設置為白色，瓶位中心的底箱上，用黑色標記了圓心位置。

5 實驗對象虛擬化

雖然RT-ToolBox2本身具有工業機器人的虛擬對象，可完成路徑規劃的虛擬實驗，但功能簡單無法完成工藝流程以及復雜的實驗內容。

在原有真實三菱機械臂的基礎上，引入機器人虛擬仿真平臺(見圖4)，利用3D效果的VC(Visual Components)虛擬仿真軟件[9-10]，搭建了虛擬對象，可替代原有的機械對象(機器人系統以及裝箱系統)。該虛擬對象可通過以太網與其他視覺系統或工業控制器通信。

工業機器人虛擬仿真實驗在向學生提供豐富的虛擬工業機器人操控實驗的基礎上，還可實現虛擬設備和真實設備的對接，實現虛擬機器人和實際機器人的同步，使學生在虛擬實驗的過程中不脫離現實環境，保證理論與實際的同步研習。

圖4 虛擬機器人仿真平臺

虛擬對象的應用擴充了實驗教學內容，可完成虛擬硬件系統搭建、機器人系統虛擬路徑規劃、機器視覺系統校準與定位、基于GX Developer及VC虛擬對象的仿真實驗、基于PLC及VC虛擬對象的虛實結合實驗，以及融合機器視覺及機器人系統的綜合實驗等內容。

6 平臺建設與實驗教學管理體系

6.1 平臺建設

為了推動實驗教學改革與創新，持續推進實驗教學信息化建設，響應國家及學校對虛擬仿真實驗教學的發展要求[11-13]，電氣工程與自動化虛擬仿真實驗教學中心對涉及高危、高能耗、大型綜合的電氣信息類實驗內容進行虛擬環境開發以及仿真系統構建，同時積極促進科研成果向教學資源的轉化，先后建設了“融合機器視覺工業機器人虛擬仿真系統”“智能電網仿真實驗教學平臺”“多相流虛擬仿真實驗教學環境”“高電壓虛擬仿真實驗教學環境”“工業生產線虛擬模型”等一批虛擬仿真實驗教學資源。為了更好地管理和優化教學資源、提高和完善應用效果，構建虛擬仿真實驗教學管理與共享平臺。

虛擬仿真實驗教學的管理平臺是基于J2EE架構的B/S結構[14]，如圖5所示，系統用戶角色包括實管理員、教師、學生等角色。系統依托校園網絡，可完成局域網、校園網及互聯網的三級網絡共享。

圖5 虛擬仿真實驗教學管理與共享平臺結構圖

虛擬仿真實驗教學的管理和共享平臺包括虛擬實驗中心門戶網站、實驗的開課管理、實驗教學安排、典型實驗庫的維護、實驗前的理論學習、實驗過程的智能指導、實驗結果的自動批改、師生互動交流和系統管理等內容。

6.2 管理體系

秉承將實驗教學內容與科學研究、前沿技術緊密結合，利用虛擬仿真技術將學科優勢資源服務于教學[15]，依托學科發展，針對虛擬實驗教學特點及資源管理，電氣與自動化虛擬仿真實驗教學中心構建了“三核心、三層次、一體化”的“三三一”虛擬仿真實驗教學管理體系，如圖6所示。

圖6 “三三一”虛擬實驗教學管理體系

虛擬仿真實驗中心以電氣工程及自動化領域的學科知識為基礎，設置了“電氣工程虛擬仿真實驗分中心”、“電工電子虛擬仿真實驗分中心”以及“自動化虛擬仿真實驗分中心”3個核心，體現廣范圍、寬領域的實驗體系以及優質資源共享的實驗教學理念；根據每個虛擬實驗分中心所涉及的學科知識，對其相應實驗依照基礎實踐、專業綜合、學科創新3個層次進行劃分，由內層向外層輻射式擴展，體現學科的縱向延伸；根據實驗內容的不同，層與層之間既各自獨立又互為支撐、相互包容，三大核心所代表的學科之間既各具特色又互為補充、相互聯系，體現多學科互融互聯的一體化建設模式。

7 結 語

以培養學生的綜合能力和創新能力為目標，緊密結合電氣信息類學科及工業發展的融合機器視覺、機器人技術等前沿技術，提升了模擬啤酒自動化生產線實踐平臺自動化水平，擴充了實驗教學內容。應用虛擬化技術，解決了大型綜合高消耗實驗裝置的建設瓶頸，降低了維護成本，便于實驗教學環節的拓展與再開發，擴大了受益面。

構建了統一的開放管理平臺，擴大了共享范圍，促進了虛擬教學資源的開發與建設。該平臺的構建也填補充實了本科生實踐教學內容，豐富了工程教育培養手段，是滿足多專業、多層次學生創新平臺。“三三一”虛擬仿真實驗教學管理體系實現實踐能力培養的統一規劃、分步實施；實驗平臺的資源共享，綜合利用，提高辦學效率，將會促進實驗教學的信息化建設，推動實驗教學的改革與創新。

[1] 周 濟. 智能制造——“中國制造2025”的主攻方向[J]. 中國機械工程, 2015(17)：2273-2284.

[2] 董翠敏, 劉永強. 以機器人教育為平臺培養大學生創新意識和能力[J]. 實驗室研究與探索, 2011，30(9)：243-244,320.

[3] 王 強. 六自由度工業機器人的運動軌跡插補算法的研究[D]. 杭州: 浙江工業大學, 2012.

[4] 蘭 虎, 陶祖偉, 段宏偉. 弧焊機器人示教編程技術[J]. 實驗室研究與探索, 2011, 30(9):46-49.

[5] 袁 浩, 白瑞峰, 房朝暉,等. 模擬啤酒生產線可視化中央監控系統設計與實現[J]. 實驗技術與管理, 2014, 31(9):120-123.

[6] 嚴 奎. 基于OpenGL的RV-3SQ垂直多關節型機器人監控研究[J]. 計算技術與自動化, 2011, 30(4):137-140.

[7] 夏伯雄. 控制裝備機器人的復雜圖像處理技術[J]. 傳感器世界, 2003(7):20-21.

[8] 陳 炎, 張勤昭, 曹樹良,等. 基準溫度分布動網格生成方法的研究及應用[J]. 北京理工大學學報, 2012, 32(9).900-904.

[9] 王 猛, 韓正功, 陳德焜. 可重構制造仿真單元在車間規劃過程虛擬仿真中的應用研究[J]. 工業控制計算機, 2013, 26(7):95-96.

[10] 白瑞峰, 韓洪洪, 于赫洋,等. 智能制造虛擬實驗系統設計與集成[J]. 實驗技術與管理, 2016, 33(6):129-131，149.

[11] 祖 強, 魏永軍. 國家級虛擬仿真實驗教學中心建設現狀探析[J]. 實驗技術與管理, 2015(11):156-158.

[12] 仲啟媛, 謝 建, 譚立龍. 創新實驗教學體系 推進軍隊院校實驗教學示范中心建設[J]. 實驗室研究與探索, 2015, 34(7):151-154.

[13] 王衛國, 胡今鴻, 劉 宏. 國外高校虛擬仿真實驗教學現狀與發展[J]. 實驗室研究與探索, 2015, 34(5):214-219.

[14] 趙 騏. 現代測試技術基地網絡化實驗平臺設計與實現[D]. 成都: 電子科技大學, 2015.

[15] 徐 進. 2013年國家級虛擬仿真實驗教學中心建設工作小結及2014年申報建議[J]. 實驗室研究與探索, 2014, 33(8):1-5.

Industrial Robot Virtual Platform Construction Integrated with Machine Vision

BAIRuifeng,FANGChaohui,JINLicheng,YUHeyang,ZHANGTuomi

(School of Electric Engineering and Automation, Tianjin University, Tianjin 300072, China)

In order to meet electrical information specialty practice teaching requirements of industrial robots, automatic control, machine vision and other advanced technology, improve the independent innovation ability, entrepreneurship and practice ability of engineering students, a robot experimental system was designed and developed. Combining virtual simulation technology, internet technology with specialty requirement, a virtual experiment object was designed to expand the experimental content. In order to facilitate the management of virtual teaching resources, according to the characteristics of subject and virtual experiment teaching, a unified network management platform was established to expand the scale of sharing. A "331" virtual simulation experiment teaching management system which has three centers, three levels and the integration of construction, was explored. That system promotes the development and construction of virtual teaching resources, promotes the informatization construction of experimental teaching in college, and will open up a new path for the innovation of experimental teaching reform.

industrial robots; virtual simulation; machine vision; experimental teaching; management systems

2016-08-15

天津大學2014年校級實驗室建設改革項目(LAB2014-16)；天津大學2014年實驗教學改革與研究項目(2014-44)；天津大學2016年國家級大學生創新創業訓練計劃項目(201610056030)；天津大學2016年大學生創新創業訓練計劃項目(201610056310)； 天津大學2016年校級實驗室建設與管理改革項目(LAB2016-05)

白瑞峰(1987-)，男，天津人，碩士，工程師，控制科學與工程，工業機器人與阻抗測量技術。

Tel.：13516248559；E-mail：bairuifeng@tju.edu.cn

TP 391.0

A

1006-7167(2017)05-0246-04