張珂 羅文田


摘 要:機器視覺技術已被廣泛應用于農業、工業等各個領域,成為實現生產自動化與智能化的關鍵技術之一。但在民航領域針對機器視覺技術的應用案例較少,因此深入研究機器視覺技術對于提高我國民航業的綜合競爭力具有重要意義。對機器視覺技術的發展歷程及應用現狀進行簡述,通過分析機器視覺技術在飛機蒙皮損傷檢測中的工作原理,突出了機器視覺技術在飛機蒙皮損傷檢測中的優勢,最后對其發展前景進行了展望。
關鍵詞:機器視覺;飛機蒙皮;損傷檢測
DOI:10. 11907/rjdk. 191060 開放科學(資源服務)標識碼(OSID):
中圖分類號:TP319文獻標識碼:A 文章編號:1672-7800(2019)009-0154-04
Application of Machine Vision Technology in Aircraft Skin Damage Detection
ZHANG Ke,LUO Wen-tian
(School of Aeronautical Engineering,Civil Aviation Flight University of China,Guanghan 618307,China)
Abstract:Machine vision technology has been widely used in various fields such as agriculture and industry, and has become one of the key technologies for automation and intelligence.As a special field integrating advanced technology, civil aviation has few cases of application of machine vision technology. Therefore, understanding and researching machine vision technology is of great significance for improving the comprehensive competitiveness of China's civil aviation industry.In this paper, the development history and application status of machine vision technology are briefly described. By analyzing the working principle and research status of machine vision technology in aircraft skin damage detection, the advantages of machine vision technology in aircraft skin damage detection are highlighted. Finally, the development prospects are described.
Key Words:machine vision;aircraft skin;damage detection
0 引言
近年來,隨著大數據、云計算及深度學習技術的快速發展,人工智能迎來了第三次發展高峰[1]。機器視覺技術作為人工智能領域的一個分支,已成為各大高校及科研機構的重點研究方向之一。機器視覺是一門涉及計算機科學、模式識別、圖像處理、神經生物學等多領域的交叉學科,其本質是利用機器模擬人的視覺行為,從而完成各種測量與判斷工作[2]。飛機蒙皮作為機體的重要構件,不僅要維持飛機的氣動外形,還要克服飛機飛行中承受的各種空氣阻力。由于惡劣的飛行環境極易造成蒙皮結構損傷,嚴重影響飛機飛行安全,所以對飛機蒙皮進行檢測是工作人員的重要任務之一。
傳統飛機蒙皮損傷檢測方法主要有目視檢測、超聲波檢測、滲透檢測與渦流檢測等,但這些傳統檢測方法各自都存在著不足,例如:工作效率低下、檢測成本較高、檢測工藝繁瑣等,給檢測工作帶來許多不便。基于機器視覺技術的檢測方法不但提高了微小損傷的檢測識別率,也擺脫了單純依靠經驗判斷損傷造成的人為差錯。目前基于機器視覺的飛機蒙皮損傷檢測裝置主要包括無人機檢測系統、爬壁機器人檢測系統與地面機器人檢測系統3大類。相關研究工作雖然取得了大量成果,但是根據公開資料顯示,目前尚沒有應用于飛機蒙皮實際檢測工作的案例。隨著機器視覺技術的不斷發展,可以預見基于機器視覺技術的飛機蒙皮檢測方法將會成為未來民航領域的主要檢測方法之一。
1 機器視覺技術發展與應用
1.1 機器視覺技術發展
機器視覺(Machine Vision)是利用圖像采集裝置代替人眼對目標對象的圖像信息進行采集,然后利用圖像處理系統代替人類神經系統對視覺信息進行處理與傳輸,最后利用計算機綜合分析系統代替人腦視覺中樞,對視覺信息進行分析與判斷,進而根據輸出的判斷結果驅動執行機構完成現場作業[3]。具體工作原理如圖1所示。
機器視覺起源于20世紀50年代對模式識別的研究,但當時工作主要針對二維圖像分析與識別。針對機器視覺相關技術的探索開始于20世紀60年代中期,美國學者Roberts研究了理解多面體組成的“積木世界”,該項成果開創了以理解三維場景為目的的三維視覺研究;20世紀70年代,機器視覺得到了初步發展,麻省理工學院(Massachusetts Institute of Technology,MIT)人工智能(Artificial Intelligence,AI)實驗室正式開設“機器視覺”課程;1977年,David Marr教授在MITAI實驗室領導的研究小組,提出不同于“積木世界”分析方法的Marr視覺理論;進入80年代之后,機器視覺進入蓬勃發展時期,并掀起了全球性的研究熱潮,誕生了很多新的研究方法和理論,眾多學者也對Marr視覺理論進行了完善與補充[4];到了90年代,機器視覺理論在進一步發展的同時,也開始廣泛應用于工業領域;21世紀之后,機器視覺技術已大規模應用于各個領域。
在國內,機器視覺研究開始于20世紀80年代,當時僅在大學與研究所中有一些關于圖像處理與模式識別研究的實驗室;90年代初,部分研究所的工程師成立了自己的視覺公司,并開發了第一代圖像處理產品,但僅能進行一些基本的圖像處理及分析工作;90年代末開始,越來越多機器視覺設備被引入中國,但主要以代理國外產品為主,具備自主知識產權的機器視覺設備數量幾乎為零;2003年以后,國內某些大學與研究所開始開展相關領域研究,并取得了階段性成果。雖然近年來,我國視覺研究發展迅速,但與國外相比仍存在很大差距。
1.2 機器視覺技術應用
機器視覺技術因其具有便利性、高效性及非接觸性等優點被廣泛應用于各個領域,主要包括:
(1)農業。機器視覺技術在農業上的應用較早,主要是對農產品或農作物外觀進行判斷,包括農產品品質檢測、植物種類鑒別等,從而極大提高了生產效率,節約了勞動成本,實現了農業生產的自動化與智能化[5]。
(2)工業。機器視覺技術已成功應用于工業領域的各個方面,例如汽車、電子、機械、印刷、運輸、紡織等,其應用大致可分為自動檢測、智能裝配及視覺伺服系統3個方向[6]。機器視覺技術的應用可提高檢測精度,解決工作中因人為因素造成的各種問題。
(3)醫學。機器視覺在醫學領域的應用已從傳統的藥品包裝、藥瓶等檢測過渡到對生物芯片的檢測,還被應用于醫療器械生產、紅細胞變形性測量[7]等。
2 機器視覺技術在飛機蒙皮損傷檢測中的應用
2.1 傳統飛機蒙皮損傷檢測方法
定期對服役的民用飛機進行安全性檢測,是保證飛機安全運營的重要手段。目前國際上常用的檢測方法分為目視檢測與無損檢測。
(1)目視檢測:利用手電筒、放大鏡、量尺等簡單工具,按照標準檢查程序對蒙皮表面進行檢測并判斷各類損傷[8]。當前階段的飛機蒙皮檢測工作大部分是通過目視檢測完成的,該方法雖然方便、經濟,但缺點也較為明顯,如檢查結果受人為因素影響較大、工作效率低下、只能局限于檢測較大損傷等。
(2)無損檢測:在不損害蒙皮材料及性能的前提下,通過各種技術手段探測蒙皮表面各類損傷[9]。用于檢測蒙皮表面的無損檢測技術有超聲波檢測、滲透檢測、渦流檢測等。無損檢測方法可靠性高、診斷速度快,但每種無損檢測方法也各自存在一些不足,例如超聲波檢測存在檢測盲區,滲透檢測操作工藝繁瑣等。但作為一種先進的檢測技術,技術人員也在對該方法不斷進行研究與完善。
2.2 機器視覺技術對飛機蒙皮損傷檢測工作原理
機器視覺檢測嚴格來說屬于無損檢測的一種,但與一般無損檢測方法差別較大的地方在于機器視覺可以實現自動檢測。機器視覺檢測系統主要包括圖像采集模塊、無線通訊模塊、圖像處理模塊、智能決策模塊等。其具體工作過程為:當系統工作時,將攜帶圖像采集模塊的爬壁機器人或機械臂等裝置吸附或靠近蒙皮表面,通過地面計算機發送指令控制機器裝置按照規劃的路線運動,在運動的同時,其攜帶的圖像采集模塊開始對飛機蒙皮進行實時圖像采集,然后通過無線傳輸模塊將其傳回給地面計算機,通過圖像處理器對圖像進行預處理、特征提取及分類識別,最后工作人員根據識別結果對損傷作出判斷并完成后續工作[10]。
由于在對飛機蒙皮進行檢測時,工作環境較為惡劣,檢測難度較大,所以需要機器視覺檢測系統各模塊工作時具有較高的穩定性與可靠性。為了滿足各模塊的工作要求,需要考慮的內容包括:
(1)圖像采集模塊。電荷耦合器(CCD)是一種將光學影像轉換成數字信號的半導體裝置[11]。選擇CCD型號需要衡量的指標包括:分辨度、靈敏度、信噪比、CCD尺寸、光圈及暗電流等[12]。
(2)無線通訊模塊。圖像無線傳輸包括模擬量傳輸與數字量傳輸兩類。其中,數字量傳輸穩定性較好、抗干擾能力強[13],可以很好地滿足檢測要求。
(3)圖像處理模塊。圖像采集卡是控制攝像機拍照,并對圖像進行采樣、量化等操作的設備。在對采集卡進行信號選擇時,要考慮攝像機前端數據圖像采集卡的后端數據與PCI總線接口是否匹配[14]。
2.3 基于機器視覺的飛機蒙皮損傷檢測優勢
與傳統飛機蒙皮檢測方法相比,基于機器視覺的檢測方法優勢較為明顯。主要表現為:
(1)由于其主要是將機器裝置貼附于蒙皮表面進行檢測,所以對蒙皮材料的工作性能沒有任何損害。
(2)傳統檢測方法中的大部分工作仍然需要人工完成,例如:手動改變檢測裝置的檢測位置、通過圖像人為判斷損傷情況等,而利用機器視覺方法,工作人員通過操控計算機即可完成檢測,從而節省了大量人工成本,提高了檢測準確率,也避免了人為因素造成的誤判。
(3)飛機蒙皮檢測面積大,危險檢測點較多,對檢測人員存在一定的安全威脅,而利用機器視覺裝置可以擺脫外界復雜環境的限制,既保證了工作人員生命安全,也可以實現對飛機蒙皮的全面檢測,消除檢測盲點。
2.4 基于機器視覺的飛機蒙皮損傷檢測裝置研究現狀
基于機器視覺的飛機蒙皮檢測裝置主要以無人機或機器人為載體完成檢測工作,本文搜集了最新研發的檢測系統,包括以下3類:
(1)無人機檢測系統。空客與其子公司Testia合作開發的新型無人機檢測系統,主要用于機庫內的飛機機身檢測,操作簡單,且不需要重復飛行,如圖2所示。無人機配備了激光傳感器,可實現全自動化飛行,其能夠檢測障礙物并在必要時停止檢測;根據預設的飛行路線,攜帶攝像頭進行飛機結構拍攝,無人機內部設有故障檢測儀與抗震系統,只需要30分鐘即可獲得飛機的整機圖像;將圖像上傳至電腦的飛機檢測分析軟件,通過與原始圖像對比以識別有問題的位置,從而完成全套檢測并自動生成報告,整個過程僅需要3小時。
無人機作為信息時代一種有著高技術含量的設備,被廣泛應用于軍事、農業、工程等各個領域。在未來的民航領域,無人機也將得到有效利用,例如機場驅鳥[15]、民用機場助航燈光飛行校驗[16]、機身檢測等。其中,機身檢測是無人機的一個重要應用方向,國內很多學者也進行了相關研究,如魏永超等[17]研究的基于無人機的飛機機身快速檢測系統等。雖然國內外針對無人機在民航領域的應用進行了大量研究,但無人機尚有兩個問題亟待解決:一是容易對飛機自動導航系統造成信號干擾,二是容易失控,使飛機有被撞擊的風險。
(2)地面機器人檢測系統。由中智科創機器人有限公司與武漢中新紅外科技有限公司合作開發的國內第一款航空檢測機器人CobotAI-A2,是一款集紅外智能檢測、光學視頻檢測與人工智能檢測于一體的航空檢測裝置,其自主導航技術定位精度非常高,利用最先進的熱成像檢測專有技術和高分辨率光學視頻技術,在飛機起飛前及著陸后進行常規繞機檢查,并能夠進行蒙皮缺陷檢測,快速定位缺陷位置。
該款航空檢測機器人雖然產品優勢明顯,但由于機器人是通過在地面滑動完成掃描工作,所以較難實現對機身頂端曲面部分的掃描,研發人員需要進一步增強執行機構的靈活性。因此,地面機器人檢測系統除需要具備先進的檢測手段外,還需要克服機身復雜曲面的問題。
(3)爬壁機器人檢測系統。這是目前研究最多的一種基于機器人的機身檢測方法,可在一定程度上降低漏檢率。其工作流程為:工作人員將其吸附在機身表面,通過地面人員的遠程控制或預先設定的規劃路線對機身表面進行檢測。
美國是最早研究用于機身檢測的爬壁機器人的國家,從1988年即開始了相關研究,美國威奇塔州立大學的Benham Bahr教授首先提出飛機表面無人檢測機器人的構想,并陸續研發了ROSTAM 系列的爬壁機器人;1997年,美國的AutoCrawler LLC公司研制出一款利用真空吸附的履帶式爬壁機器人[18],但該機器人在機身表面移動過程中會損害蒙皮特性,不能用于實際檢測;之后,美國的卡耐基梅隆大學又研發了Automated NonDestructive Inspector[19]、Multifunction Automated Crawling System Ⅰ-Ⅲ[20]系列等多款爬壁式機器人,但這些機器人存在移動中位置會發生巨大變化的問題,僅能用于飛機頂部檢測。除美國外,新加坡、日本也陸續開展了用于飛機蒙皮檢測的爬壁機器人研究[21]。在國內,某些大學也進行了相關研究,并取得了一定成果。但公開資料顯示,目前國內外仍沒有使用爬壁機器人進行飛機蒙皮檢測的實際案例。
除以上3類機身檢測系統外,還有“洗車臺”式、車載升降臺式以及機械臂式等檢測系統,但這些檢測系統體積龐大、檢測程序復雜,且容易損壞機身,僅適用于某些特殊情況。因此,為了提高機身檢測質量,研究人員需要投入更多精力在無人機或小型機器人研究中。
3 發展前景
隨著全球航空業對機械自動化與智能化的要求越來越高,機器視覺系統憑借其高效、精確的特點受到越來越多國家關注,而質量檢測作為機器視覺系統的主要應用之一,在未來是其重要發展方向。
在飛機蒙皮檢測方面,開發一種新的檢測技術并加以實際應用,是一個極其漫長且曲折的過程。但近年來機器視覺在工業檢測方面的技術已趨于成熟,并得到了廣泛應用,基于機器視覺的飛機蒙皮檢測技術也在研究中取得了很多成果,相信在不久的將來,基于機器視覺的飛機蒙皮檢測技術將被廣泛應用于實際飛機檢測工作中。
4 結語
本文從多方面介紹了機器視覺技術發展歷程及實際應用情況,并簡述了機器視覺在飛機蒙皮檢測中的工作原理及研究現狀。研究發現,機器視覺技術雖然優勢明顯,近年來在各領域的應用也較為成熟,但要真正實現機器視覺在蒙皮檢測中的應用,需要研究一種類似無人機與機器人的可裝載機器視覺設備的裝置,既要考慮蒙皮材料的特性,還要考慮如何避免由于檢測工作造成的二次損害,因而成為基于機器視覺的飛機蒙皮檢測系統較難應用于實際工作中的最大難題,有待后續作進一步研究。
參考文獻:
[1] 王德生.全球人工智能發展動態[J]. 競爭情報,2017,13(4):49-56.
[2] 卞正崗. 機器視覺技術的發展[J]. 中國儀器儀表,2015(6):40-42,65.
[3] 張紅霞,劉義才. 機器視覺技術的應用研究[J]. 電子世界,2013(17):106.
[4] 胥磊. 機器視覺技術的發展現狀與展望[J]. 設備管理與維修,2016(9):7-9.
[5] 刁智華,王會丹,魏偉. 機器視覺在農業生產中的應用研究[J]. 農機化研究, 2014(3):206-211.
[6] 章煒. 機器視覺技術發展及其工業應用[J]. 紅外,2006(2):11-17.
[7] 侯建勛,申世鉉. 基于微流控和機器視覺的紅細胞變形性測量系統[J]. 中國醫療器械雜志, 2016, 40(3):173-175.
[8] 李國華,吳淼. 現代無損檢測與評價[M]. 北京:化學工業出版社,2009.
[9] 馬作江,高峰,劉乃剛. 無損檢測技術在航空維修中的應用[J]. 黑龍江科學, 2015(7):156-156.
[10] 王昊. 基于機器視覺的飛機蒙皮損傷檢測與壽命分析方法[D]. 南京:南京航空航天大學, 2013.
[11] KEVIN S. 放大了1000倍的電荷耦合器(CCD)[J]. 飛碟探索, 2017(5):4.
[12] 秦襄培,鄭賢中. ?MATLAB圖像處理寶典[M]. 北京:電子工業出版社,2011:50-53.
[13] 樊湄筑. 機器人視覺臨場感及遙控系統中的無線通信技術的研究[D]. 北京:北京交通大學,2007.
[14] 吳天華. 飛機蒙皮缺陷機器視覺檢測技術研究[D]. 長春:長春工業大學,2015.
[15] 中國民商編輯部. 加拿大最大機場將啟用仿鷹無人機驅趕鳥類[J]. 中國民商, 2017(6):82-83.
[16] 熊杰,歐陽霆,魏剛,等. 一種基于無人機技術的民用機場助航燈光飛行校驗方法[P]. CN201710020664.8, 2017-01-12.
[17] 魏永超,趙偉. 基于無人機的飛機機身快速檢測系統[J]. 電子技術應用,2017,43(6):122-125.
[18] HIROSE H S,KAZUYOSHI K. Ceiling walk of quadruped wall climbing robot NINJA-Ⅱ[C]. Clawar98 First I. International Symposium,1998:143-147.
[19] SIEGEL M, GUNATILAKE P, PODNAR G. Robotic assistants for aircraft inspectors[J]. IEEE Instrumentation and Measurement Magazine, 1998 (1):16-30.
[20] BACKES P G, BAR-COHEN Y, JOFFE B. The multifunction automated crawling system (MACS)[C]. IEEE International Conference on Robotics & Automation, 1997.
[21] 王賢峰. 基于視覺和超聲傳感器信息融合的飛機蒙皮損傷識別[D]. 南京:南京航空航天大學,2012.
(責任編輯:黃 健)