基于視覺技術的汽車制造智能裝備文獻綜述

劉科，伍力

（1.瑞松北斗汽車裝備有限公司，廣東 廣州 510760；2.東南大學機械工程學院，江蘇 南京 211189）

基于視覺技術的汽車制造智能裝備文獻綜述

劉科1，伍力2

（1.瑞松北斗汽車裝備有限公司，廣東 廣州 510760；2.東南大學機械工程學院，江蘇 南京 211189）

機器視覺是近20年新興起來的一項工程技術，涉及到成像技術、圖像處理、傳感器技術、硬件技術與接口技術等。隨著視覺技術的逐步完善和發展，其在工程上得到了越來越廣泛的運用。文章就視覺技術的組成、機器視覺在智能裝備上的運用以及機器視覺在焊接線上的運用展開了綜述，在總結文獻的基礎上對汽車生產焊接線上使用機器視覺技術進行了展望。

機器視覺；智能裝備；焊接線

KCLC NO.:U461Document Code:AArticle ID:1671-7988 (2017)03-21-04

1、視覺技術

機器視覺是指利用利用計算機等設備代替人眼視覺的技術。機器視覺系統通過攝像機獲取圖像，將圖像輸入計算機，經系統對圖像的處理和分析，得到相關的信息，對所拍攝的對象所處的狀態進行判斷。在對圖像進行處理的之前，圖像會先經過預處理，通過A/D轉換后輸入處理軟件，處理軟件會根據輸入的數據提取出圖像的像素分布、顏色、亮度等信息，并據此提取圖像特征，做出判斷，輸出給后續的控制、執行機構[1]。

完整的機器視覺系統包括光源系統，圖像采集，數字圖像處理模塊，智能判斷決策和機械執行模塊[2]。每一個部分對視覺系統的效果都有著至關重要的影響。光源的選擇需要考慮拍攝對象的材質、反射系數、折射系數、所處環境等等條件。在選取光源時，需要考慮光源的亮度、顏色以及照明方式。按照照明方式的不同，又可以分為前向照明、背向照明、結構光和頻閃光照明[3]等。前向照明是將光源和攝像機安裝在一側，這種照明方式的優點是安裝方便；背向照明光源和攝像機安裝在拍攝對象的兩側，這種照明方式的優點是獲得的圖像對比度高；結構光照明利用光柵或者點光源投影到拍攝對象上，使其產生畸變，再解調出對象的三維信息；頻閃光照明主要運用于拍攝高速運動的物體，利用高頻率的光脈沖，使得拍攝頻率和光源的頻率一致，則可以實現高速攝影。

圖像采集部分主要由光學鏡頭和相機兩部分組成。光學鏡頭或多或少地會存在成像畸變的問題，不同質量的光學鏡頭的差別就在于畸變的大小，太大的畸變會對圖像的識別帶來較大的困難。圖像采集部分的有效視場是指鏡頭成像畸變較小的部分。光學鏡頭有定焦和變焦之分，定焦鏡頭只有在焦距處才能清晰成像，而變焦鏡頭在焦距附近一定范圍內均能清晰成像。但是同檔次的變焦鏡頭成像效果不如定焦鏡頭[4]，因此選取何種光學鏡頭要視具體情況而定。相機是一種光電轉換設備，其將輸入的光信號轉換成電信號輸出，一般由光電轉換器件、外圍電路、I/O接口組成。這其中光電轉換器件是核心。上世紀90年代新興一種新的光電傳感器，CMOS（Complementary Metal Oxide Semiconductor互補金屬氧化物半導體），使用這種光電傳感器的相機為CMOS相機。CMOS傳感器起步較早，但是由于當時的工藝水平的限制，CMOS傳感器有著成像質量差、分辨率低、噪聲高和光照靈敏度低的缺點[5]，這大大限制了CMOS傳感器的發展。近年來CMOS傳感器的缺點已逐步有了解決的方案，但是還處于研發階段。此外，CCD圖像傳感器由于其成像質量高、分辨率高、噪聲低和光照靈敏度高的優點，得到了廣泛的運用。CCD相機按照CCD器件的不同可分為線陣CCD相機和面陣CCD相機。線陣CCD相機一次只能獲得圖像的一行信息，面陣CCD相機一次可以處理整幅圖像的信息[4]。CCD相機目前使用較廣，技術也比較成熟。

圖像數字處理部分是視覺系統的核心。功能類似于人的大腦。圖像處理的目的是對圖像進行降噪、增強、復原、分割和特征提取操作，以提高圖像的視感質量，提取圖像中所包含的信息，對圖像進行變換、壓縮、編碼，使得圖像便于存儲、傳輸[6]。評價圖像處理水平的一個重要指標是處理速度。隨著機器視覺技術的發展，對機器視覺系統的實時性要求越來越高。圖像采集、圖像處理以及I/O接口的傳輸都會影響系統的實時性。實時性有兩種級別，分別是硬實時和軟實時。硬實時在數量級上要求是微秒級甚至更短；軟實時則相對寬松很多，要求為10毫秒甚至百毫秒級別[7]。當前數據處理水平還無法達到硬實時的級別。在數字圖像處理發展前期，多基于PC系統進行圖像處理，依賴于軟件和算法，缺少硬件支持，處理速度慢，效率低，隨著嵌入式系統的發展，逐漸發展起來專門用于處理圖像的嵌入式系統[8]，大大提高了圖像處理的速度。

2、視覺技術在智能裝備上的運用

機器視覺與觀測對象之間沒有接觸，不會對被觀測對象造成損傷。在一些危險的條件下，機器視覺系統可以替代人工進行觀測，大大降低了工作人員的工作風險。視覺系統可以持續不間斷地進行觀測，不會因為疲勞而產生觀測精度的下降。正是由于這些優點，機器視覺技術能夠有很好的應用前景[9]。雖然機器視覺技術與上世紀80年代才開始發展，現在很多領域都有著廣泛的運用。

國外的機器視覺技術發展較快[9]，應用范圍也比較廣。國外早期使用機器視覺技術的行業主要是半導體行業以及電子行業，主要用于檢測PCB印刷電路、SMT表面貼裝以及電子生產加工等等[1]。隨著視覺技術的發展，在機械工業生產中也逐漸得到了廣泛的運用。機器視覺可以運用于定位。文獻[10]介紹了利用機器視覺實現工件的定位安裝的方法，該方法將機器視覺技術與坐標測量結合起來，確定工件的位置；文獻[11]利用3D視覺系統，在三維空間中再現了觀測對象的位置，實現了觀測對象的定位。視覺技術還廣泛運用于檢測方面。文獻[12]介紹了在數控銑床加工過程中，引入機器視覺技術對工件的水平和垂直兩個方向進行測量以獲取加工數據，對加工過程進行監控和檢測；文獻[13]介紹了一種運用視覺技術，對圖像進行灰度處理、去噪處理后，與預設好的模板進行比對，最終實現SDM設備噴嘴零件的檢測；文獻[14]將視覺技術和神經網絡相結合，使用激光測距儀獲得圖像，對灰度圖像信號進行2維傅里葉變換，獲得塑造和磨削加工得到的零件表面粗糙度信息，經神經網絡訓練后，對所有零件的表面粗糙度信息進行評估，從而實現零件的100%在線檢查。機器視覺由于其觀測的非接觸性，使得在很多需要利用狀態監測進行過程控制的情況下有著廣泛的運用。文獻[15]介紹了在裝配過程中運用視覺技術。通過分析裝配過程，自動識別哪些信息是需要提取分析的，再利用激光測距儀進行裝配過程監測。文獻[16]介紹了機器視覺系統在冶金工業中運用。在冶金工業金屬焊接過程中，通過對表面溫度的測量，建立溫度場圖像，視覺系統通過處理圖像對整個過程進行在線控制。

我國的機器視覺技術起步較晚，發展也較為緩慢。目前視覺技術在國內多應用在農產品質量的檢測與評級、食品藥品的檢測上，主要功能是代替人工進行挑揀，提高生產效率，節約生產成本。在工業上的應用主要是產品質量檢測與分揀[17-19]。

文獻[20]介紹了在包裝行業中視覺技術的使用情況。以藥品包裝生產線為例，在未引入視覺技術之前，使用的多是光電傳感器和人工抽檢相結合的方式對產品進行檢測，檢測項目主要是藥品碎片、殘片、標簽破損、標簽污染等項目，檢查速度慢，且不能實現全部產品的檢測。引入機器視覺技術之后，全部的檢測均可以在生產線上完成。視覺系統線陣CCD配合藥品包裝的一維運動，可以實現對藥品信息、編號信息的識別。在包裝過程中，可以及時識別出藥品殘片、碎片以及包裝的漏裝等等，及時剔除不合格的包裝產品，提高生產效率，生產質量，降低人員工作負擔。

文獻[21]介紹了工程機械中機器視覺技術的應用。文中介紹了運輸車在攪拌站裝在混凝土時，由于運輸車的停靠具有一定的隨機性，因此需要增加引導運輸車與攪拌站下料口對接的工序。引入視覺技術之后，機器視覺系統識別運輸車的位置，引導運輸車駕駛，節省了對接時間，提高了工作效率。同時，視覺系統可以識別料倉中料位位置，實現料位檢測。

文獻[22]和文獻[23]介紹了視覺技術在螺紋檢測中的運用。傳統的螺紋檢測方法是利用成像系統，將螺紋放大，然后由人工進行測量檢驗。雖然傳統檢驗方法中也利用了成像系統，但是缺少后續的圖像處理和判斷模塊，因此不能稱之為視覺系統。文獻中分別提出非均勻照明的十字窗圖像邊緣檢測算法和圖像降噪算法對圖像進行預處理，之后對處理后的圖像邊緣進行最小二乘擬合，完成邊緣提取，在此基礎上計算中徑、螺距、牙型角等螺紋參數。

3、機器視覺在焊接生產中的應用

焊接產品由于工作環境的不確定以及加工過程的不可控的影響，產品質量難以得到嚴格的保證，因此，焊接件的質量檢測十分重要。國內外對于焊接質量的檢測和焊接在線檢測開展了一系列的研究，目前有很多焊接件質量檢測的方法。文獻[24]中對激光焊接情況下的焊接質量檢測方式進行了介紹。常見的檢測方式有可聽聲信號AS（Audible Sound）檢測方法，聲發射AE(Acoustic Emission)檢測方法，紫外輻射UV(Ultraviolet)和可見光（Visible）檢測方法，紅外輻射IR(Infrared Radiation)檢測法，電信號PCS(Plasma Charge Sensor)檢測法等等。但是上述方法均有不可避免的缺點。如：可聽聲信號檢測方法是一種非接觸式檢測方法，但是其受環境噪聲影響較大；聲發射信號檢測方法需要將超聲波信號發生器靠近被檢測件，且其檢測結果正確率依賴缺陷分類方法。

在焊接過程中使用視覺技術，就是要用機器視覺系統代替人眼觀察焊接過程。在實際焊接過程中，焊工需要根據實際焊口的情況對焊接過程進行一定的調整，如調節焊槍高度等等。文獻[25]介紹了一種基于視覺系統，弧焊機器人自適應焊縫位置的定位技術。該技術利用結構光三點定位技術，在批量生產過程中，機器人可以根據不同位置的工件自動調整機器人姿態。

文獻[26]介紹了利用視覺技術，實現焊炬對焊縫軌跡的跟蹤。視覺系統的輸出控制輪式移動焊接機器人在球罐表面移動的軌跡，系統能保證焊炬與焊縫的跟蹤精度在±0.5mm，滿足一般焊接工藝要求。

機器視覺在焊件質量檢測領域同樣有著廣泛的運用前景。目前在焊接生產線的后一工序之前，需要有人工對每一個焊件進行檢測，剔除焊接不合格的產品。完全依賴人工檢測，主觀性很大，難以保證長時間工作情況下檢驗的正確率。文獻[27]提出一種基于視覺技術的焊接件檢測系統。系統采集焊件的圖像信息，對圖像進行恢復、降噪等預處理之后，將圖像信息進行分離，將焊縫、背景、工件等區域區分開，在對圖像進行判斷，決定是否有焊接缺陷，最后在大量數據的情況下建立專家系統，對后續的缺陷進行自動分類。

4、結論

綜觀機器視覺技術發展及其在各個領域的應用，機器視覺技術雖然興起較晚，但是發展迅速，在機器定位、表面質量檢測、智能識別等方面都開始有著一定的運用。目前視覺技術在國外使用較多，在工業上的運用探索也比較多，目前在PCB印刷板、食品藥品包裝檢測、印刷品質量檢測等領域運用較多，也較為成熟。機器視覺在國內的使用多在農林業、包裝業以及一些較為低端的制造業，特別使用較多的是農業產品質量檢測、食品藥品包裝檢測以及分揀，在制造業中也是在造紙業、印刷業等領域中，使用最多的也是對產品質量的檢測。

在高端制造業中，目前國內國外幾乎都處于研究探索階段，在生產中，機器視覺技術的運用也多是完成一些簡單的工作，如計數、狀態異常報警等等。在焊接自動生產線中，視覺技術多用來識別焊縫，完成焊槍自動定位以及焊接質量檢測等等，但目前仍處于研究階段，投入生產一線的較少。

[1] 郭亞峰.基于機器視覺的產品表面缺陷在線檢測系統的設計[D].蘇州∶蘇州大學,2014.

[2] 趙五一,趙強松,王東云.機器視覺的現狀及發展趨勢[J].中原工學院學報,2008,19(1)：9-10.

[3] 劉煥軍,王耀南. 機器視覺中的圖像采集技術[J].電腦與信息技術,2003(1)∶18-21.

[4] 唐向陽,張勇,李江有等.機器視覺技術的關鍵技術現狀及應用展望[J],昆明理工大學學報(理工版),2004,24(2)∶36-37.

[5] 王旭東,葉玉堂. CMOS與CCD圖像傳感器的比較研究和發展趨勢[J], 2010, 18(11)∶178-181.

[6] 齊霽. 應用于工業自動化的機器視覺系統中的EDA及數字圖像處理技術的研究[D].吉林：吉林大學,2012.

[7] 張磊,羅翔,史金飛.機器視覺實時問題的對策與研究方法綜述[J].制造業自動化，2006,28(06)∶28-32.

[8] 白穎杰. 基于機器視覺的圖像處理與特征識別方法的研究[D].重慶∶重慶大學,2010.

[9] 范祥,盧道華,王佳. 機器視覺在工業領域中的研究應用[J].現代制造工程,2007,6∶129-131.

[10] Subramanian Rajesh, De James St Germain H., Drake Samuel. Integrating a vision system a coordinate measuring machine to automate the datum alignment process[J]. American Society of Mechanical Engineers, 2005, 11(6)∶ 655-661.

[11] C.Harris.Geometry from visual motion, In A.Blake and A.Yuile, editors, Active Vision, MIT press, 1992∶264-284.

[12] EIadawi A E, GadeImawIa E S, EIewa I M ，AbdeIShafy A A . An application of computer vision for programming computer numericaI controI machines［J］. Proceedings of the Institution of Mechanical Engineers—Part B—Engineering Manufacture, 2003, 217(9)：1315 - 1324.

[13] Wonho Lee, Chunkee Jeon, Chijung Hwang. Implementation of the machine vision system of inspecting nozzle[C]//Artificial Intelligence Association. Third International Conference on Convergence and Hybrid Information Technology. New York∶IEEE Computer Society, 2008∶ 111-116.

[14] Tsai Du-Ming，Chen Jeng-Jong,Chen Jeng-Fung . Vision system for surface roughness assessment using neural networks［J］. International Journal of Advanced Manufacturing Technology, 1998,14(6)∶412 - 422.

[15] Miura J，Ikeuchi K. Task-oriented generation of visual sensing strategies in assembly tasks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(2)∶126 - 138.

[16] Fabrice Meriaudeau,Anne,Ciaire Legrand. Machine vision systems in the metallurgy industry［C］. Proceedings of SPIE. San Jose，2000(3966)∶228 - 237.

[17] 刁智華,王會丹,魏偉.機器視覺在農業生產中的應用研究[J].農機化研究,2014,3：206-208.

[18] 趙鵬. 基于視覺的藥品包裝檢測技術研究[D]. 長沙：湖南大學,2009.

[19] 李明. 運動食品機器視覺的識別與定位技術的研究[D]. 哈爾濱：哈爾濱商業大學,2014.、

[20] 朱作付,徐超,葛紅美. 機器視覺技術在包裝領域的應用[J].包裝工程,2010,31(3)：125-127.

[21] 胡永彪,杜成華,李西榮,等. 機器視覺技術在工程機械上的應用[J].工程機械,2009,40：53-55.

[22] 左建中,劉峰,張定昭. 機器視覺技術在螺紋檢測中的應用[J]. 機械設計與制造,2006,4：113-116.

[23] 景敏,陳曼龍,楊帆. 基于機器視覺的螺紋參數綜合測量系統的設計[J]. 測控技術,2013,32(11)∶35-37.

[25] 孔宇,戴明,吳林.機器人結構光視覺三點焊縫定位技術[J]. 焊接學報.1997, 18(3)∶188-191.

[26] 王軍波, 孫振國, 等.基于CCD傳感器的球罐焊接機器人焊縫跟蹤[J] .焊接學報, 2001, 22(2)∶31-34.

[27] 郭俊磊. 基于機器視覺的焊件外觀缺陷檢測系統的設計[D]. 南京∶南京航空航天大學，2014.

Literature Review of the Visual Technology Used in Automotive Intelligent Equipment

Liu Ke1, Wu Li2
( 1.Guangzhou RISONG HOKUTO Automotive Equipment Co., LTD, Guangdong Guangzhou 510760; 2.School of Mechanical Engineering, Jiangsu Nanjing 211189 )

Machine vision is a engineering technology developing quickly in nearly 20 years, involves the imaging technology, image processing, sensor technology, hardware and interface technology, etc. With gradually perfect and development of visual technology, it got more and more widely used in engineering. In this paper, the composition of visual technology, the use of machine vision in the intelligent equipment and machine vision in the use of the welding line are introduced ,and on the basis of summarizing the literature, machine vision technology used in welding line of car production is prospected.

Machine vision; Intelligent equipment; The welding line

U461

A

1671-7988(2017)03-21-04

10.16638/j.cnki.1671-7988.2017.03.009

劉科，男，（1984.4-），2007年7月畢業于廣東機電職業技術學院， 汽車制造預裝配專業，現任廣州瑞松北斗汽車裝備有限公司制造部部長。從事高端裝備制造領域研發與制造9年，2007年-2009年期間主要負責質量部工作；2010年-2014年主要負責項目，曾擔任過廣汽三菱總拼自動生產線項目經理，以及廣汽豐田、廣汽本田等多個項目的負責人；2014-2016其間全面負責整個制造以及質量的工作。期間有多項發明專利獲得授權。通信作者：伍力，男，（1992.2-)，碩士研究生，現就讀于東南大學機械工程學院。