視覺引導虛擬仿真系統的研究

張文 顧莉棟 費建東

1.長春理工大學 機電工程學院 長春 130022 2.西門子工業軟件(上海)有限公司 上海 200082

1 研究背景

目前,我國制造業正處于高速發展階段。隨著工業市場對技術、成本、可靠性等的全面需求,裝備靈活性和智能化的要求越來越高。當前,物理樣機生產周期長、價格高昂,以及物理樣機系統調試環境的不確定性和風險性、樣機調試變更技術需求等因素直接制約我國制造企業邁向智能制造發展的步伐。

國內外學者圍繞設備調試虛擬仿真系統開展了深入研究,提出設計自適應制造系統的工程方法,實現機器人的離線編程,完成控制程序驗證,并提出虛擬設備建模方法。隨著各種虛擬仿真方法的提出與理論的完善,國外已經開發了多種虛擬試生產系統,目前技術成熟度較高的是德國PS-CEE系統[1]、WINMOOD-RF系統,以及芬蘭Visual Components系統,這些系統在生產系統的研制與開發中不斷完善、發展,并在歐美智能裝備裝領域實現推廣。我國制造廠商目前已在數控[2-3]、打磨[4]等領域采用國外較為成熟的虛擬試生產系統,并進行了初步應用研究。一汽大眾利用WINMOOD-RF系統進行虛擬試生產已經達到90%,一汽紅旗利用EKS-RF系統進行虛擬試生產已經達到80%,一汽自主轎車品牌利用PS-CEE系統進行虛擬試生產已經達到20%。其它各個主機廠,如華晨寶馬、北京奔馳、吉利等,利用虛擬試生產系統進行白車身焊裝線調試達到30%～80%不等。雖然虛擬試生產已在汽車白車身焊裝制造業中實現較為廣泛的使用,但在這一領域中,工業軟件研發我國仍處于起步階段。隨著視覺裝備在智能裝備中的比重越來越高,國外現有的工業軟件及硬件都無法對視覺系統進行虛擬化驗證分析,由此將導致以傳統方法搭建的虛擬試驗生產系統工業成本較高。

筆者通過分析,提出視覺引導虛擬仿真系統。這是基于現有各種工業軟件,通過用于過程控制的對象連接與嵌入協議進行集成搭建的虛擬化仿真系統,創新性地將虛擬視覺系統集成至虛擬仿真系統,實現由虛擬視覺調試輔助代替實際調試,避免高昂的硬件投入。

2 系統搭建

視覺引導虛擬仿真系統主要包括可編程序控制器虛擬控制、機電一體化數字樣機、虛擬視覺檢查系統、虛擬調試仿真控制系統四個部分。

本著系統建設周期快、投入小的原則,通過對西門子虛擬仿真系統進行分析,在不影響試驗效果的情況下,優化取消硬件,選用現有成熟的工業軟件進行系統搭建,并加入視覺開發軟件與虛擬相機。

對于數字樣機平臺,選用以西門子MCD軟件作為平臺的基礎數字樣機軟件[5-6]。虛擬電控樣機選用西門子Plcsim Advanced,用于與MCD軟件實現聯合仿真。編程平臺采用Tia Portal,虛擬相機及視覺開發系統選用MVtec公司開發的HALCON平臺。虛擬相機應用XSplit軟件,可以實時監控虛擬物理樣機,并且通過更改碼率實現視頻大小控制,更好地兼容計算機性能,使整個系統更為穩定。

視覺引導虛擬仿真系統如圖1所示。在視覺引導虛擬仿真系統中,MCD軟件為基礎數字樣機軟件,所有數字樣機的運動控制均由虛擬電控樣機Plcsim Advanced來進行驅動。當數字樣機運行時,數字圖像采集由XSplit軟件完成,XSplit軟件采集的圖像發送至HALCON平臺,進行數據處理,并通過用于過程控制的對象連接與嵌入統一架構(OPC-UA)協議將引導動態坐標值發送給Plcsim Advanced,整個Plcsim Advanced控制程序的修正與調試由Tia Portal平臺來完成。

圖1 視覺引導虛擬仿真系統

3 系統應用

視覺引導虛擬仿真系統最少需要在兩臺計算機上完成,一臺計算機用于數字樣機的圖像采集監控,另一臺計算機用于對可編程序控制器、HALCON平臺程序的監控與優化。首先進行數字樣機建模,然后在數字樣機中進行虛擬樣機搭建,得到仿真序列邏輯后開始進行可編程序控制器編程,確定視覺引導的變量,導入虛擬可編程序控制器后進行虛擬物理樣機與電子樣機耦合,試運行系統。最后通過虛擬相機將圖像采集至HALCON平臺進行處理,得出引導的坐標變量,賦予虛擬可編程序控制器,由虛擬可編程序控制器修正后驅動虛擬物理樣機。

視覺引導虛擬仿真系統的邏輯控制框圖如圖2所示。

圖2 視覺引導虛擬仿真系邏輯控制框圖

4 虛擬圖像處理

在HALCON平臺中建立標定板,標定板命名為caltab_100mm descr,厚度為1.5 mm。選擇圖像采集助手,將16個標定板逐個采集。標定板在橫坐標0、縱坐標400像素位置的圖片作為參考位姿。之后進行標定及代碼插入,并替換read_cam_par、read_pose。插入代碼后,在grab_image下新建一條指令write_image,存儲圖像至計算機,然后再將創建模板用的圖像獲取方式由采集改為讀取文件。

HALCON平臺在標定攝像機時,需要準確填寫攝像機參數,作為參考數據。參考數據會影響最終測量出的攝像機參數。成像數學模型如圖3所示,設世界坐標系為OW-XWYWZW,攝像機坐標系為OC-XCYCZC,圖像平面坐標系為OR-XRYRZR。

圖3 成像數學模型

設鏡頭的焦距為f,通過圖像平面坐標與相機坐標的換算式,可以求得圖像平面坐標(xR,yR)。像素坐標與圖像平面坐標的單位不同,像素坐標將圖片的第一個像素點作為基準,而圖像平面坐標的基準為光軸與圖像采集平面的交叉點。對此,在研究中通過建立用齊次坐標與矩陣形式表示的關系式進行坐標變換。(u,v)為像素的列數與行數,dx、dy分別為每個像素在X軸和Y軸上的物理尺寸。

圖像平面坐標與相機坐標換算式為:

(1)

像素坐標與圖像平面坐標變換關系式為:

(2)

在實際物理樣機中,相機坐標系與世界坐標系間存在選擇與平移變換。因為虛擬模型中數字樣機安裝可以不考慮旋轉變量,而只考慮平移向量t,所以在研究過程中可以得到相機標定模型為:

(3)

根據相機標定模型,在計算機中將NX軟件窗口設置為左側顯示器,顯示器分辨率為1 920像素×1 080像素,任務欄高度為40像素,NX軟件窗口邊框左右各為1像素。由于標定板為正方形,像素寬度等于像素高度。

在標定板采集時,XSplit軟件的輸出分辨率為1 920像素×1 080像素,監控整個顯示器。XSplit軟件采集MCD軟件虛擬樣機標定板如圖4所示。

圖4 XSplit軟件采集MCD軟件虛擬樣機標定板

在HALCON平臺中,選擇新的image acquisition資源選項卡,圖像獲取接口狀態為directshow。鏈接選項卡中的設備為XSplitBroadcaster,OPC.UA地址默認為192.168.0.56,端口為4840,這一地址是虛擬相機安裝的計算機地址。OPC.UA.While(true)后的代碼用于獲取圖像,位置數據通過OPC.UA發送至Plcsim Advanced,將程序下載至可編程序控制器并運行。

5 視覺引導

可以通過手眼標定的方法實現視覺引導[7-8],對相機拍攝的圖片坐標與機器人基坐標進行變化。對于任意點p(px,py,pz)、p(pu,pv,pw),R為旋轉變量,T為平移變量,通過設立標定板,分別建立相機與標定板、機器人與標定板之間的關系,再消除標定板,實現相機坐標與機器人坐標的轉換,將偏移變量賦值至可編程序控制器系統。轉換關系式為:

(4)

可編程序控制器系統可以通過并聯機器人實現算法的動力學逆解。并聯機器人逆運動學結構如圖5所示,用SCL語言對算法編程求解,求解各軸,賦值至并聯機器人,驅動并聯機器人根據物料位置變化后的結果去抓取物料[9-10]。

圖5 并聯機器人逆運動學結構

(5)

(6)

從動臂長度F為定值,由此得到并聯機構約束方程為:

[(R+Ecosθi-r)cosαi-x]2

+[(R+Ecosθi-r)sinαi-y]2

+(Esinθi-z)2=F2i=1,2,3

(7)

因為并聯機器人結構限制,導致雖然有八組逆解,但是可以取各個關節的最小值為唯一解。在算法編程完成后,基于逆解算法應用MATLAB軟件建模證明算法的可行性。

經過MATLAB軟件驗證后,進行可編程序控制器編程,制作并聯機器人,實現人機交互界面,如圖6所示。將程序加載至虛擬可編程序控制器,啟動MCD軟件及視覺檢測系統進行仿真。仿真結果見表1,綜合對比,X軸抓取精度為99.8%,Y軸抓取精度為99.7%,Z軸抓取精度為99.3%,綜合抓取精度99.6%。仿真結果抓取精度較高,從而證明視覺引導虛擬仿真系統具有良好的工作效果。

圖6 人機交互界面

表1 仿真結果

6 結束語

針對現有主流虛擬試驗生產系統需要硬件投入,不能視覺調試仿真的問題,筆者提出視覺引導虛擬仿真系統。應用用于過程控制的對象連接與嵌入協議,使用現有工業軟件平臺,搭建了視覺引導虛擬仿真系統,實現了可編程序控制器控制與視覺控制聯合虛擬仿真。利用手眼標定原理與并聯機器人動力學逆解算法原理,將可編程序控制器控制的機器人關節數據及視覺引導數據傳送至虛擬仿真樣機,從而達到基于虛擬視覺分揀抓取的目的,有效打通了MCD軟件虛擬樣機中虛擬視覺變量驅動分揀機器人的技術瓶頸,仿真抓取精度達到99.6%。視覺引導虛擬仿真系統可以大大降低真實帶機械視覺功能的智能裝備在研發時的費用,避免在真實樣機制造后更改調試的浪費,加快高端裝備的研發進程,具有一定的工業應用價值。