機器視覺技術研究進展及展望

朱 云，凌志剛，張雨強

機器視覺技術研究進展及展望

朱 云，凌志剛，張雨強

(湖南大學電氣與信息工程學院機器人視覺感知與控制技術國家工程實驗室，湖南 長沙 410082)

機器視覺是建立在計算機視覺理論工程化基礎上的一門學科，涉及到光學成像、視覺信息處理、人工智能以及機電一體化等相關技術。隨著我國制造業的轉型升級與相關研究的不斷深入，機器視覺技術憑借其精度高、實時性強、自動化與智能化程度高等優點，成為了提升機器人智能化的重要驅動力之一，并被廣泛應用于工業生產、農業以及軍事等各個領域。在廣泛查閱相關文獻之后，針對近十多年來機器視覺相關技術的發展與應用進行分析與總結，旨在為研究學者與工程應用人員提供參考。首先，總結了機器視覺技術的發展歷程、國內外的機器視覺發展現狀；其次，重點分析了機器視覺系統的核心組成部件、常用視覺處理算法以及當前主流的機器視覺工業軟件；然后，介紹了機器視覺技術在產品瑕疵檢測、智能視頻監控分析、自動駕駛與輔助駕駛與醫療影像診斷等4個典型領域的應用；最后分析了當前機器視覺技術所面臨的挑戰，并對其未來的發展趨勢進行了展望，為機器視覺技術的發展和應用推廣發揮積極作用。

機器視覺；成像系統；視覺處理算法；視覺軟件；挑戰與發展趨勢

近年來，隨著現代制造業產業結構調整和轉型升級的不斷深入，越來越多企業開始施行“機器換人”，使得機器人在汽車、物流、航空航天、船舶乃至食品等領域得到了越來越廣泛的應用，并帶動了相關產業的發展。機器人是一種集機械、傳感、識別、決策與控制等多種先進技術于一身，并具有部分智能能力的自動化設備或裝置[1]，被稱為“制造業皇冠頂端的明珠”，世界各國對其發展的重視程度與日俱增。機器人技術及其應用已成為當今科技和產業發展的“必爭之地”，具有重要的戰略意義。

作為機器人的“眼睛”，機器視覺系統是一種借助光學裝置和非接觸的傳感器獲得被檢測物體的特征圖像，并通過計算機從圖像中提取信息，進行分析處理，進而實現檢測和控制的裝置。機器視覺系統具有實時性好、定位精度高等優點，能有效地增加機器人的靈活性與智能化程度[2]，是實現工業自動化和智能化的重要手段之一。隨著各類技術的不斷完善，以及制造產業中高質量產品的需求增多，機器視覺從最開始主要用于工業電子裝配缺陷檢測[3-4]，已逐步應用到汽車制造[5]、食品監 控[6-7]、視覺導航[8-9]、交通[10-11]、軍事[12]、紡織加工[13]等多個領域[14-15]，市場規模不斷擴大。因此，研究機器視覺相關技術對提升工業智能機器人的產業發展具有重要意義。

本文主要對機器視覺的發展歷史、研究現狀、相關核心技術及其應用進行總結與分析，并對未來發展趨勢做出展望。

1 機器視覺發展現狀

1.1 機器視覺發展史

機器視覺是建立在計算機視覺理論工程化基礎上的一門學科，涉及到光學成像、視覺信息處理、人工智能以及機電一體化等相關技術[16]，經歷了從二維到三維的演化過程。機器視覺發展于20世紀50年代對二維圖像識別與理解的研究，包括字符識別、工件表面缺陷檢測、航空圖像解譯等。60年代，麻省理工學院ROBERTS[17]提出了利用物體的二維圖像來恢復出諸如立方體等物體的三維模型(如彈簧模型與廣義圓柱體模型等)以及建立空間關系描述，開辟了面向三維場景理解的立體視覺研究。70年代麻省理工學院MARR[18]創立系統化的視覺信息處理理論，指出人類視覺從三維場景中提取對觀測者有用信息的過程需要經過多層次的處理，并且這種處理過程可以用計算的方式重現，從而奠定了計算機視覺理論化和模式化的基礎。此后，計算機視覺技術在80年代進入了最蓬勃發展的時期，主動視覺等新的概念、方法與理論不斷涌現。與此同時，隨著CCD圖像傳感器、CPU與DSP等硬件與圖像處理技術的飛速發展[19]，計算機視覺逐步從實驗室理論研究轉向工業領域的相關技術應用，從而產生了機器視覺。由于具有實時性好、定位精度與智能化程度高等特點，機器視覺已經在智能汽車[9]、電子[20-21]、醫藥[22]、食品[23-24]、農業等領域得到了廣泛的應用[25-27]，如占機器視覺市場需求40%~50%的半導體制造行業，從上游的晶圓加工切割到高精度PCB定位、從SMT元件放置到表面缺陷檢測等都依賴高精度的機器視覺引導與定位。

1.2 國外機器視覺現狀

機器視覺早期發展于歐美和日本等國家，并誕生了許多著名的機器視覺相關產業公司，包括光源供應商日本Moritex；鏡頭廠家美國Navitar、德國Schneider、德國Zeiss、日本Computar等；工業相機廠家德國AVT、美國DALSA、日本JAI、德國Basler、瑞士AOS、德國Optronis；視覺分析軟件廠家德國MVTec、美國康耐視(Cognex)、加拿大Adept等，以及傳感器廠家日本松下(Panasonic)與基恩士(Keyence)、德國西門子、歐姆龍(Omron)、邁思肯(Microscan)等。盡管近10年來全球產業向中國轉移，但歐美等發達國家在機器視覺相關技術上仍處于統治地位，其中美國Cognex與日本Keyence幾乎壟斷了全球50%以上的市場份額，全球機器視覺行業呈現兩強對峙狀態。在諸如德國工業4.0戰略、美國再工業化和工業互聯網戰略、日本機器人新戰略、歐盟“火花”計劃等戰略與計劃以及相關政策的支持下，發達國家與地區的機器視覺技術創新勢頭高昂，進一步擴大了國際機器視覺市場的規模。如圖1所示，至2018年，機器視覺系統的全球市場規模接近80億美元，年均增長率超過15.0%。世界最大的機器視覺市場——德國市場，其規模為27.1億美元，占比超過全球總量的三分之一。

圖1 2008—2018年全球機器視覺行業規模情況(來源于前瞻產業研究院)

1.3 國內機器視覺現狀

相比發達國家，我國直到90年代初才有少數的視覺技術公司成立，相關視覺產品主要包括多媒體處理、表面缺陷檢測以及車牌識別等。但由于市場需求不大，同時產品本身存在軟硬件功能單一、可靠性較差等問題，直到1998年開始，我國機器視覺才逐步發展起來，其發展經歷了啟蒙、發展初期、發展中期和高速發展等階段[28]。

機器視覺啟蒙階段：自1998年開始，隨著外資大量的電子相關企業在大陸投資建廠，企業迫切需要得到大量機器視覺相關技術的支持，一些自動化公司開始依托國外視覺軟硬件產品搭建簡單專用的視覺應用系統，并不斷地引導和加強中國客戶對機器視覺技術和產品的理解和認知，讓更多相關產業人員展現視覺技術帶給自動化產業的獨特價值和廣泛應用前景，從而逐步帶動機器視覺在電子、特種印刷等行業的廣泛應用[29]。

機器視覺發展初期階段：從2002年到2007年期間，越來越多的企業開始針對各自的需求尋找基于機器視覺的解決方案，以及探索與研發具有自主知識產權的機器視覺軟硬件設備，在USB2.0接口的相機和采集卡等器件方面，逐漸占據了入門級市場；同時在諸如檢測與定位、計數[30]、表面缺陷檢測[31]等應用與系統集成方面取得了關鍵性突破。隨著國外生產線向國內轉移以及人們日益增長的產品品質需求，國內很多傳統產業如棉紡[32- 33]、農作物分級[34-35]、焊接[36]等行業開始嘗試用視覺技術取代人工來提升質量和效率。

機器視覺發展中期階段：從2008年到2012年期間，出現了許多從事工業相機、鏡頭、光源到圖像處理軟件等核心產品研發的廠商，大量中國制造的產品步入市場。相關企業的機器視覺產品設計、開發與應用能力，在不斷實踐中也得到了提升。同時，機器視覺在農業[37]、制藥[38]、煙草[39]等多行業得到深度廣泛地應用，培養了一大批系統級相關技術人員。

機器視覺高速發展階段：近年來，我國先后出臺了促進智能制造、智能機器人視覺系統以及智能檢測發展的政策文件，《中國制造2025》提出實施制造強國，推動中國到2025年基本實現工業化，邁入制造強國行列；《高端智能再制造行動計劃(2018—2020年)》提出中國智能檢測技術在2020年要達到國際先進水平。得益于相關政策的扶持和引導，我國機器視覺行業的投入與產出顯著增長，市場規模快速擴大。據高工產業機器人研究所(GGII)統計，2017年中國機器視覺市場規模達到70億元，同比增速超25%，高于其他細分領域增速，如圖2所示，預計到2020年市場規模將超過120億元。同時我國機器視覺正逐漸向多領域、多行業、多層次應用延伸，目前我國機器視覺企業已超100余家，如凌華科技、大恒圖像、商湯、曠視、云從科技等；機器視覺相關產品代理商超過200家，如廣州嘉銘工業、微視圖像等；系統集成商超過50家，如大恒圖像、凌云光子等，產品涵蓋從成像到視覺處理與控制整個產業鏈，總體上視覺應用呈現百花齊放的旺盛狀態。

圖2 2008—2018年中國機器視覺行業規模情況(來源于前瞻產業研究院)

然而，盡管目前我國機器視覺產業取得了飛速發展，但總體來說，大型跨國公司占據了行業價值鏈的頂端，擁有較為穩定的市場份額和利潤水平；我國機器視覺公司規模較小，如作為中國機器視覺系統的最大供應商，大恒新紀元科技只占有1.4%的全球市場份額；與美國Cognex、日本Keyence等大企業相比，許多基礎技術和器件，如圖像傳感器芯片、高端鏡頭等仍全部依賴進口，國內企業主要以產品代理、系統集成、設備制造、以及上層二次應用開發為主，底層開發商較少，產品創新性不強，處于中低端市場，利潤水平偏低。

2 機器視覺組成與關鍵技術

一般來說，機器視覺系統包括光學照明、成像系統、視覺信息處理等關鍵組成部分[40]。

2.1 照明系統

照明系統的作用主要是將外部光以合適的方式照射到被測目標物體以突出圖像的特定特征，并抑制外部干擾等，從而實現圖像中目標與背景的最佳分離，提高系統檢測精度與運行效率。由于影響照明系統的因素復雜多變，目前沒有普適的機器視覺照明方案，往往需要針對具體的應用環境，并考慮待檢測目標與背景的光反射與傳輸特性區別、距離等因素選擇合適的光源類型、照射方式及光源顏色[41]來設計具體的照明方案，以達到目標與背景的最佳分割效果。

機器視覺光源主要包括鹵素燈、熒光燈、氙燈、LED、激光、紅外、X射線等。其中，鹵素燈和氙燈具有寬的頻譜范圍和高能量，但屬于熱輻射光源，發熱多，功耗相對較高；熒光燈屬于氣體放電光源，發熱相對較低，調色范圍較寬，而LED發光是半導體內部的電子遷移，產生的發光，屬于固態電光源，發光過程不產生熱，具有功耗低、壽命長、發熱少、可以做成不同外形等優點，LED光源已成為了機器視覺的首選光源。而紅外光源與X射線光源應用領域較為單一；各種光源性能對比見表1[41]。

表1 幾種常用光源性能對比表

從光源形狀角度分類，照明光源可分為條形、穹形、環形、同軸以及定制等光源。從光源照射方式上分，照明系統可分為明/暗場、前向、側向、背向、結構光、多角度照射與頻閃照明等[40,42]。其中，明場照明的光源位置較高，使得大部分光線反射后進入了相機；反之，暗場照明采用低角度照射方式使得光線反射后不能進入照相機，以提高對表面凹凸表現能力，暗場照明常用于光滑面板如手機殼、玻璃基片等表面劃痕檢查；背向照明是被測物置于光源和相機之間以獲取較高對比度的圖像，常用于分析物體的輪廓或透明物體內的異物[38]；多角度照射則采用不同角度光照方式，以提取三維信息，如電路板焊接缺陷檢測往往采用多角度照射的AOI光源來提高成像質量[4]。而結構光照明是將激光或投影儀產生的光柵投射到被測物表面上，然后根據投影圖案產生的畸變程度來重建出物體的三維信息。

此外，光源顏色會對圖像對比度產生顯著影響，一般來說，波長越短，穿透性就越強，反之則擴散性越好。因此光源選擇需要考慮光源波長特性，如紅色光源多用于半透明等物體檢測，表2給出了不同顏色光源的特點對比及其應用場景[43-44]。如VRIESENGA等[45]利用控制光源的顏色來改善圖像的對比度。同時，光源旋轉需要考慮光源與物體的色相性，通過選擇色環上相對應的互補顏色來提高目標與背景間的顏色對比度[41-42]，互補色環圖如圖3所示。因此，在實際應用中，需考慮光源與物體顏色相關性，選擇合適的光源來過濾掉干擾，如對于某特定顏色的背景，常采用與背景顏色相近光源來提高背景的亮度，以改善圖像對比度[43-44]。

表2 不同顏色光源的特點對比

圖3 互補色環圖[43]

2.2 成像系統

成像系統是機器人視覺感知系統中的“視”部分，采用鏡頭、工業相機與圖像采集卡等相關設備獲取被觀測目標的高質量圖像，并傳送到專用圖像處理系統進行處理。

鏡頭相當于人眼睛的晶狀體，其作用是將來自目標的光輻射聚焦在相機芯片的光敏面陣上。鏡頭按照等效焦距可分為廣角鏡頭、中焦距鏡頭、長焦距鏡頭；按功能可分為變焦距鏡頭、定焦距鏡頭、定光圈鏡頭等。鏡頭的質量直接影響到獲取圖像的清晰度、畸變程度等，若成像系統獲取的圖像信息存在嚴重損失，往往在后面的環節中難以恢復，因此合理選擇鏡頭是機器視覺中成像光路設計的重要環節。

鏡頭選擇時需要考慮鏡頭焦距、視野、工作距離、畸變[46]、雜散光抑制等因素，選取合適的焦距保證被攝物成像的具有合適的大小，并且成像畸變小。一般來說，鏡頭的焦距可依據如下公式確定

其中，放大倍數=傳感器尺寸/視場大小。同時，由于受鏡頭表面鍍膜的干涉與吸收特性影響，選擇鏡頭時需要考慮到鏡頭最高分辨率的光線應與光源波長、相機光敏面陣接受波長相匹配，以保證光學鏡頭對光線具有較高的透過率。

工業相機是將光輻射轉變成模擬/數字信號的設備，通常包括光電轉換、外圍電路、圖像輸出接口等部件。按數據傳送的方式不同，相機可以分為CCD相機與CMOS相機2類，其中，CCD成像質量好，但制造工藝相對復雜，成本較高，而CMOS電源消耗量低，數據讀取快。按照傳感器的結構特性不同，工業相機可分為面陣式與線陣式2類。面陣相機可以一次獲得整幅圖像，測量圖像直觀，其應用面較廣，但由于生產技術的制約，單個面陣很難滿足工業連續成像的要求。線陣相機每次成像只能獲得一行圖像信息，因此需要保證被拍攝物體相對相機直線移動，逐次掃描獲得完整的圖像。線陣相機具有分辨率高等特點，常用于條狀、筒狀如布匹、鋼板、紙張等檢測。由于逐次掃描需要進行相對直線移動，成像系統復雜性和成本有所增加。

相機選擇需要考慮光電轉換器件模式、響應速度、視野范圍、系統精度等因素。此外，由于工業設計的需求，當使用工業模擬相機時必須采用圖像采集卡將采集的信號轉換為數字圖像進行傳輸存儲。因此，圖像采集卡需要與相機協調工作來實時完成圖像數據的高速采集與讀取等任務，針對不同類型的相機，有USB，PCI，PCI64，ISA等不同的總線形式的圖像采集卡。

2.3 視覺信息處理

視覺信息處理充當了機器視覺的“大腦”部分，對相機采集的圖像進行處理分析實現對特定目標的檢測、分析與識別，并做出相應決策，是機器視覺系統的“覺”部分。視覺信息處理一般包括圖像預處理、圖像定位與分割、特征提取、模式分類、語義理解等層次[3]。

2.3.1 圖像預處理

圖像預處理部分主要借助相機標定、去噪、增強、配準與拼接、融合等操作來提高圖像質量、降低后續處理難度。相機標定旨在求解相機的內參(焦距，畸變系數)和外參(旋轉矩陣和平移向量)以提供物體表面某點的三維幾何位置與其在圖像中對應點之間精確坐標關系，標定精度高低直接影響到機器視覺定位的精度[47-48]。常用標定方法包括張正友標定法[49]、自標定法[48]等。同時，由于各種電磁等干擾，獲取的圖像常含有椒鹽、高斯等多種噪聲，對比度低，并存在運動模糊等現象，因此需要對圖像去噪或結構增強以改善圖像質量。其中，去噪方法一般可分為空間域與變換域去噪2大類[50]，而主流的圖像增強方法包含直方圖均衡化、圖像銳化、視覺模型增強、運動模糊去除等方法。同時，由于視野范圍限制、成像模式的不同，需要對生產線上不同位置獲取的多模或同模態圖像進行配準，再實現多幅圖像拼接或融合處理。圖像配準一般分為基于圖像灰度的配準方法與基于圖像特征的配準方法[51-52]。基于灰度的配準方法直接采用歸一化的互相關、互信息等相似性度量函數來計算圖像灰度值之間的相似性，并確定圖像間的配準參數，此類方法簡單、配準精度高，但對圖像灰度變化、旋轉、變形以及遮擋比較敏感，計算復雜度高、往往需要采用各種優化策略。基于特征的配準方法首先從圖像提取各種點、線、區域等特征，然后進行空間約束或不變特征匹配得到特征間的匹配關系，進而估計出圖像之間變換關系。此類方法計算速度快，但依賴特征的提取。由于在配準過程中，需要搜索多維空間，機器視覺系統常采用金字塔、小波方法以及各種優化策略來減小配準計算量。在圖像配準的基礎上，有些工業生產線需對多源圖像進行融合，保證可以盡量地提取有用信息，并去除冗余或干擾信息，在較少的計算代價的前提下高效利用圖像資源，并改善計算機解譯精度和可靠性[53]。根據圖像表征層次的不同，圖像融合可分為像素級融合[54]、特征級融合和決策級融合[35,55-56]3個層次的融合，通過融合技術可以提高視覺目標檢測的識別與抗干擾能力。

2.3.2 圖像定位與分割

圖像定位與分割主要利用目標邊界、幾何形狀等先驗特征或知識確定待檢測目標的位置或從圖像中分割出目標，是確定目標位置、大小、方向等信息的重要手段。

圖像定位利用圖像灰度或特征信息來確定圖像中被檢測物體的位置、大小及旋轉角度等，主要采用模板匹配方法實現[57-58]，即通過計算模板圖像(通常是被檢測物體圖像)和待搜索圖像的相似性度量，然后尋找相似性度量值最大或最小對應的匹配位置即是目標位置。模板匹配具有速度快、定位精度高、簡單等優點[59]，在視覺定位與引導中得到了廣泛應用。由于需要給定待檢測物體的圖像，因此模板匹配定位方法只適用于背景簡單、特征固定的物體，難以用于不規則形狀物體的定位。

圖像分割是根據目標及背景特性將圖像劃分為多個具有獨特屬性的非重疊區域，進而確定目標位置、區域大小。圖像分割方法一般可以分為：

(1) 閾值分割方法。首先對圖像像素灰度分布特性進行分析，然后采用先驗知識或Otsu[60]等方法確定最優灰度閾值將圖像分割2個或多個局部區域。該方法簡單高效，適用于待檢測目標與背景具有明顯差異的情況。

(2) 區域分割方法。利用區域內圖像特征(如顏色、紋理等)具有均勻性或相似性將像素集合起來實現圖像分割，包括區域生長[61]、分裂合并、分水嶺[62]等算法。此類方法能夠處理較為復雜圖像，但計算量大，而且種子點的選取與迭代終止條件的設定容易影響分割結果，甚至可能會破壞區域邊界。

(3) 基于邊緣的分割方法[63]。該方法利用不同圖像區域在邊界處有明顯灰度跳變或不連續，找到目標區域的邊緣來實現圖像分割。由于不連續性常通過求導數來實現，因此該類方法適用于噪聲比較小的圖像，尤其是二階微分算子對噪聲十分敏感。

(4) 基于圖的分割方法。借助圖論的思想，將待分割圖像轉換為帶權無向圖，其中每一個像素即為圖中的一個節點，將圖像分割問題轉化為圖頂點的標注問題，再利用最小優化準則如圖割[64]、隨機游走[65]等實現圖像的最佳分割[66]。該方法可以較好地分割圖像，但計算復雜度高。

(5) 基于神經網絡的語義分割方法[67]。模擬人類感知過程，采用如脈沖耦合神經網絡等方法[68]來處理復雜的非線性問題。近年來，深度學習技術在圖像語義分割領域得到了深入研究，提出了如FCN[69]，DeepLab[70]，Mask R-CNN[71]，U-Net[72]等分割算法，并在自動駕駛[71]、影像診斷[72]等領域得到應用。該類方法適應性較強，能夠對被分割區域分配不同的標簽，但存在學習過程復雜，計算量大等缺點。

2.3.3 圖像特征提取

圖像識別是先提取形狀、面積、灰度、紋理等特征[73-74]，然后借助模式識別等方法如模式匹配[57]、支持向量機、深度學習[75]等來實現目標分類、缺陷檢測等功能，滿足工業機器視覺不同的應用需求。因此，圖像特征提取很大程度上影響圖像識別結果。

圖像特征提取可看作為從圖像中提取關鍵有用低維特征信息的過程，以使獲取的低維特征向量能夠有效的描述目標，并保證同類目標具有較小的類內距而不同類目標具有較大的類間距。高效的特征提取可提高后續目標識別精度與魯棒性，降低計算復雜度。常用的二維圖像特征包括有形狀特征、紋理特征、顏色特征等。

(1) 紋理特征[76-77]。描述物體表面結構排列以及重復出現的局部模式，即物體表面的同質性，不依賴于顏色或亮度，具有局部性與全局性，對旋轉與噪聲不敏感。紋理特征提取方法包括有統計法如灰度共生矩陣[78]、局部二值模式(LBP)[79]、Gabor濾波器[80]、小波變換[81]等。

(2) 形狀特征。根據僅提取輪廓或整個形狀區域的不同，形狀特征可細分為輪廓形狀[82]與區域形狀2類[83-84]。

輪廓形狀是對目標區域的包圍邊界進行描述，其描述方法包括有邊界特征法、簡單幾何特征、基于變換域(如傅里葉描述子[85]、小波描述子)、曲率尺度空間(CSS)[86]、霍夫變換[87]等方法。輪廓特征描述量小，但包含信息較多，能有效地減少計算量；但輪廓特征對于噪聲和形變敏感，常難以提取完整的輪廓信息。

區域形狀特征是針對目標輪廓所包圍的區域中的所有像素灰度值或對應的梯度加以描述，主要有幾何特征(如面積、質心、分散度等)、拓撲結構特征(如歐拉數[88])、矩特征(如Hu不變矩[89]、Zernike矩[90-91])、梯度分布特征(如HOG[92]、SIFT[93]等)。

(3) 顏色特征[94]。用于描述圖像所對應景物的外觀屬性，是人類感知和區分不同物體的基本視覺特征之一，其顏色對圖像平移、旋轉與尺度變化具有較強的魯棒性。顏色空間模型主要有HSV[94]，RGB，HSI，CHL，LAB，CMY等。常用的顏色特征的表征方法包括有顏色直方圖[91,95]、顏色相關圖[96]、顏色矩[97]、顏色聚合向量[98]等。

2.3.4 模式分類

模式分類本質上是通過構造一個多分類器，將從數據集中提取的圖像特征映射到某一個給定的類別中，從而實現目標分類與識別。分類器的構造性能直接影響到其識別的整體效率，也是模式識別的研究核心。模式分類可分為統計模式識別、結構模式識別、神經網絡以及深度學習等主要方法，對比情況見表3。

統計模式識別結合了統計概率的貝葉斯決策理論以對模式進行統計分類，其主要方法有貝葉斯[99]、Fisher分類器[100]、支持向量機[91]、Boosting[101]等，統計模式識別理論完善，并取得了不少應用成果，但很少利用模式本身的結構關系。結構模式識別(又稱句法模式識別)首先將一個模式分解為多個較簡單的子模式，分別識別子模式，最終利用模式與子模式分層結構的樹狀信息完成最終識別工作。結構模式識別理論最早用于漢字識別，能有效區分相似漢字，對字體變化的適應性強，但抗干擾能力差。因此，很多情況下往往同時結合統計模式和句法模式識別來解決具體問題。

神經網絡是一種模仿動物神經網絡進行分布式并行信息處理機理的數學模型，其通過調整內部大量節點之間相互連接關系來實現信息并行處理。目前神經網絡又可進一步分為BP神經網絡、Hopfield網絡與ART網絡等。神經網絡具有很強的非自線性擬合，記憶以及自學習能力，學習規則簡單，便于計算機實現。因此得到了廣泛的應用[102-104]。但神經網絡具有學習速度慢，容易陷入局部極值以及求解時會遇到梯度消失或者梯度爆炸等缺點。

2006年，HINTON和SALAKHUTDINOV[105]提出了一種基于無監督的深度置信網絡，解決了深度神經網絡訓練的難題，掀起了深度學習的浪潮，先后涌現了包括稀疏自編碼器[106]、受限玻爾茲曼機、卷積神經網絡[107]、循環神經網絡、深度生成式對抗網絡[108]等模型。與傳統的機器學習相比，深度學習提倡采用端到端的方式來解決問題，即直接將圖像特征提取與模式分類集合在一起，然后根據具體的模式分類目標損失函數(如交叉熵損失、Hinge損失函數等)從數據中自動地學習到有效的特征[109]并實現模式分類，學習能力強。因此深度學習在在計算機視覺[110]、語音識別[111]、字符識別[112]、交通[113]、農業[6,114]、表面缺陷檢測[75,115]等領域取得了巨大成功。深度學習也存在缺少完善的理論支持、模型正確性驗證復雜且麻煩、需要大量訓練樣本、計算量大等問題。相信隨著深度學習研究的不斷深入，將為機器視覺帶來更廣闊的發展空間。

表3 常用模式分類方法對比表

2.3.5 圖像語義理解

圖像語義理解是在圖像感知(如前述的預處理、分割檢測、分類識別)的基礎上，從行為認知以及語義等多個角度挖掘視覺數據中內涵的特征與模式，并對圖像中目標或群體行為、目標關系等進行理解與表達，是機器理解視覺世界的終極目標，涉及到信號處理、計算機視覺、模式識別和認知科學等多個交叉學科，近年來已經成為計算機科學領域的研究熱點[116-117]。

圖像語義理解一般可分為自底向上的數據驅動方法和自頂向下的知識驅動方法[118]2種策略。數據驅動方法首先對圖像顏色、紋理、形狀等特征進行分析，采用多層逐步提取有用的語義信息，最終實現更接近于人類的抽象思維的圖像表示，并利用語義網、邏輯表達、數學形態學等知識表達工具引入知識信息，消除圖像解釋的模糊性，實現圖像語義理解。

而自頂向下的知識驅動方法通常建立抽象知識庫的符號化和形式化表示，并構建基于先驗知識的規則庫，利用推理邏輯自動地對圖像進行分類，這類方法嘗試模擬人類的邏輯推理能力，具有較高抽象水平，屬于高級的認知過程[119-120]。然而，由于圖像語義理解依賴于對象的存在、屬性及其與其他對象的關系，無論是底層特征的表征還是上層的語義句法描述都難以支撐跨越圖像低層特征與高層場景語義之間的“語義鴻溝”，而圖像場景語義理解必須解決低層視覺特征和高層場景語義之間的映射關系。

近幾年來，隨著深度學習的快速發展，圖像語義理解問題也從傳統經典算法過渡到基于深度神經網絡訓練的圖像理解算法，希望通過深度學習將機器可以識別的圖像低層特征與圖像相匹配的文本、語音等語義數據進行聯合訓練，從而消除語義鴻溝，完成對圖像高層語義的理解。目前語義理解研究工作主要集中在場景語義分割與分類[121-122]、場景評注[123]以及自然語言生成[124]等。如QI等[125]將時空注意機制和語義圖建模相結合，提出了一種新的注意語義遞歸神經網絡——stagNet來建模復雜時空語境信息和人與人之間的關系。ZITNICK等[126]提出了從簡筆畫集合中抽象出圖像的語義信息的方法，建立了語義上重要的特征、詞與視覺特征的關系以及測量語義相似度的方法；而如文獻[124]提出了稠密描述模型來采用語言解釋描述視頻的含義。相比而言，場景評注以及自然語言生成研究仍處于起步階段。

盡管視覺處理算法研究取得了巨大的進步，但面對檢測對象多樣、幾何結構精密復雜、高速運動狀態以及復雜多變的應用環境，現有的視覺處理算法仍然面臨著極大地挑戰。

2.4 機器視覺軟件

國外研究學者較早地開展機器視覺算法的研究工作，并在此基礎上開發了許多較為成熟的機器視覺軟件，包括有OpenCV，HALCON，VisionPro，HexSight，EVision，SherLock，Matrox Imaging Library (MIL)等[3](表4)，這些軟件具有界面友好、操作簡單、擴展性好、與圖像處理專用硬件兼容等優點，從而在機器視覺領域得到了廣泛的應用。

OpenCV是美國Intel開發的開源免費圖像處理庫，主要應用于計算機視覺領域，開發成本較低，因此，很多企業如美國WillowGarage公司、德國Kithara公司支持基于OpenCV開發視覺處理軟件。但其可靠性、執行效率、效果和性能不如商業化軟件。HALCON[40]是德國MVTec公司開發的機器視覺算法包，支持多種語言集成開發環境，應用領域涵蓋醫學、遙感探測、監控以及工業應用，被公認是功能最強的機器視覺軟件之一。HALCON圖像處理庫包括一千多個獨立的函數，其函數庫可以通過C/C++和Delphi等多種編程語言調用，同時支持百余種工業相機和圖像采集卡包括GenlCam，GigE和IIDC1394，但價格比較貴。而HexSight是Adept公司開發的視覺軟件開發包，可基于Visual Basic/C++或Dephi平臺進行二次開發，在惡劣的工作環境下仍能提供高速、可靠及準確地視覺定位和零件檢測。VisionPro是美國Cognex公司開發的機器視覺軟件，可用于所有硬件平臺，其中包括主流的FireWire和CameraLink等，利用ActiveX控制可快速完成視覺應用項目程序的原模型開發，可使用Visual Basic等多種開發環境搭建出更具個性化的應用程序。此外，還有加拿大Matrox公司的MIL，Dalsa公司的Sherlock軟件和比利時Euresys公司的EVision等等，這些機器視覺軟件都能提供較為完整的視覺處理功能。

表4 常用機器視覺分析軟件對比表

相比而言，我國機器視覺軟件系統發展較晚，國內公司主要代理國外同類產品，然后在此基礎上提供機器視覺系統集成方案，目前國內機器視覺軟件有深圳奧普特SciVision視覺開發包、北京凌云光VisionWARE視覺軟件、陜西維視圖像Visionbank機器視覺軟件、深圳市精浦科技有限公司OpencvReal ViewBench (RVB)。其中，SciVision定制化開發應用能力比較強，在手機、電子等行業優勢較大；VisionWARE在印刷品檢測方面優勢較大，在比較復雜條件下印刷品反光、拉絲等方面算法比較可靠，漏檢率低；Visionbank部分測量和缺陷檢測功能易上手，不需要任何編程基礎，能非常簡單快捷地檢測出來，但印刷品字符識別能力一般。近年來，國內企業開始重視開發具有自主知識產權的算法包與解決方案，如北京曠視科技開發了一整套人臉檢測、識別、分析等視覺技術，在此基礎上，應用開發者可以將人臉識別技術輕松應用到互聯網及移動等應用場景中。

總體而言，機器視覺技術綜合了光學、機電一體化、圖像處理、人工智能等方面的技術，其性能并不僅僅取決于某一個部件的性能，需要綜合考慮系統中各部件間的協同能力。因此，系統分析、設計以及集成與優化是機器視覺系統開發的難點和基礎，也是國內廠商有待加強的部分。

3 機器視覺技術應用

機器視覺最早應用于半導體及電子行業[37,127-128]，隨著視覺檢測、分割、生成等各類技術的不斷完善，機器視覺下游應用領域也不斷拓寬，機器視覺已經在軍事[129]、農業[7]、制藥[22]等領域得到廣泛應用[130]。本文主要從4個典型應用場景來介紹機器視覺技術應用。

3.1 產品瑕疵檢測

產品瑕疵檢測是指利用相機、X光等視覺傳感器將產品內外部的瑕疵進行成像，并通過視覺技術對獲取的圖像進行處理，確定有無瑕疵、瑕疵數量、位置和類型等，甚至對瑕疵產生的原因進行分析的一項技術。機器視覺能大幅減少人工評判的主觀性差異，更加客觀地、可靠地、高效地、智能地評價產品質量，同時提高生產效率和自動化程度，降低人工成本，而且機器視覺技術可以運用到一些危險環境和人工視覺難以滿足要求的場合，因此，機器視覺技術在工業產品瑕疵檢測中得到了大量的應用。

缺陷形態、位置、方向和大小等往往存在較大差異，使得瑕疵檢測與評價成為一件復雜的任務[131]。產品瑕疵視覺檢測一般涉及到圖像預處理、瑕疵區域定位、瑕疵特征提取和分類等4個步驟。①需要對獲取的產品圖像進行圖像降噪、對比度增強等預處理操作來濾除圖像噪聲、改善圖像對比度等使目標區域的特征更加顯著；②采用模板比對[57,127]或圖像分割[132-135]等方法實現瑕疵區域檢測與定位，并借助相機采集的圖像空間信息與物體空間之間“精確映射”關系實現瑕疵區域面積或體積等測量[136-138]；③根據專業知識或經驗提取表征缺陷的特征；④利用機器學習等相關算法實現瑕疵分類。如文獻[127]首先在同一位置采集多幅標準PCB圖像并計算其灰度平均值作為標準圖像，將待測PCB圖與其進行比對，計算出2幅圖像的差異，再通過后續二值化等處理即可確定缺陷區域位置；在此基礎之上，通過邊界檢測獲取各個缺陷區域的像素值來識別缺陷類型。然而，由于工業應用中待檢測對象形態多變，許多情況下很難找到“標準”圖像作為參照，因此采用模板比對的方法往往難以確定出缺陷目標，此時常采用圖像分割的方法實現缺陷區域定位。如文獻[139]提出了一種基于正則化共面判別分析與支持向量機的家具表面死節缺陷分割算法，將輸入圖像進行分塊，同時將塊變換成列向量，所有列向量組成矩陣進行RCDA維數約減，對約減后的特征進行支持向量機訓練與測試，得到圖像塊分類結果，最后將塊分類矩陣變形成二值分割圖，得到死節缺陷目標。

近年來，深度學習在產品瑕疵檢測[75,115]得到了廣泛的應用，如針對傳統的方法仍然難以處理復雜多樣的PCB。文獻[75]提出了一種微小缺陷檢測深度網絡(TDD-Net)來提高PCB缺陷檢測的性能，利用深度卷積網絡固有的多尺度金字塔結構構造特征金字塔，最終能達到98.90%的平均檢測率。文獻[115]提出了一種基于深度學習的機器視覺像素級表面缺陷分割算法，首先采用輕量級全卷積網絡(FCN)對缺陷區域進行像素級預測，并對預測出的缺陷區域作為第二階段檢測確認，糾正錯誤分割，最后利用引導濾波器對缺陷區域的輪廓進行細化，以反映真實的異常區域。

3.2 智能視頻監控分析

智能視頻監控分析是利用視覺技術對視頻中的特定內容信息進行快速檢索、查詢、分析的技術，廣泛地應用于交通管理[106,140]、安防、軍事領域[129]、工地監控[141]等場合。

在智慧交通領域，視頻監控分析主要用于提取道路交通參數[142-144]，以及對交通逆行、違法、拋錨、事故、路面拋灑物、人群聚集等異常交通事件的識別[106,140]，具有涉及到交通目標檢測與跟蹤、目標及事件識別等關鍵技術，如采用背景減除、YOLOV3[144]等方法檢測車輛等交通目標，進而建立車輛行駛速度和車頭時距等交通流特征參數的視覺測量模型，間接計算交通流量密度、車輛排隊長度、道路占有率等影響交通流的重要道路交通參數，進而識別交通擁堵程度，并實現交通態勢預測和紅綠燈優化配置，從而緩解交通擁堵程度，提升城市運行效率。如文獻[143]在綜合分析交通信息采集技術、交通狀態識別、交通狀態演變研究現狀的基礎上，對干道交通狀態識別及演變機理進行分析，采用深度學習方法提取交通參數，并基于LSTM循環神經網絡與3D-CNN卷積神經網絡等方法對交通狀態進行預測，建立適用于精細化交通管控的城市道路交通狀態識別及預測框架。錢皓寅和鄭長江[145]提出一種基于事件特征來檢測交通事件的監測系統，系統從圖像序列中檢測出車輛，并根據車輛移動方向、交通流和車輛加速度來實現交通事件檢測。文獻[140]提出了一種集合基于稀疏時空特征學習的自校正迭代硬閾值算法和基于加權極值學習機的目標檢測的視覺交通事故檢測方法。

此外，機器視覺技術可用于智慧城市中的安防監控與情報分析如人臉識別[146]、人群密度和不同方向人群流量的分析[147]等，智能研判與自動預警重點人員與車輛，實現基于視頻數據的案件串并與動態人員的管控[148]。

3.3 自動駕駛及輔助駕駛

自動駕駛汽車是一種通過計算機實現無人駕駛的智能汽車，其依靠人工智能、機器視覺、雷達、監控裝置和全球定位系統協同合作，讓計算機可以在沒有任何人類主動操作的情況下，自動安全地操作機動車輛。機器視覺的快速發展促進了自動駕駛技術的成熟，使無人駕駛在未來成為可能。自動駕駛技術主要包含環境感知、路徑規劃和控制決策3個關鍵部分，其中機器視覺技術主要用于環境感知部分[149]，具體包括有：

(1) 交通場景語義分割與理解。采用視覺技術提取交通場景圖像中提取有用信息，并恢復場景的三維信息，進而確認目標、識別道路和判斷故障，實現可行駛區域和目標障礙物等交通場景語義分割與理解[10,149-150]，包括有道路及車道線提取、深度估計等等。如文獻[151]提出了一種基于雙視圖幾何的可行駛道路重建算法；GUPTA和CHOUDHARY[152]提出了一種新的實時集成無監督學習框架，用于使用安裝在移動車輛儀表板上的攝像機的實時反饋進行車道檢測、跟蹤和路面標記檢測與識別。文獻[121]提出了一種基于深度卷積神經網絡的實時高性能城市街道場景魯棒語義分割方法，實現了準確率和速度的良好折衷。

(2) 交通目標檢測及跟蹤。對交通場景中的交通標志與信號燈[11]、車輛與行人[9]、非機動車等交通參與者[153]進行視覺檢測與跟蹤，并估計各個目標的運動方向和速度[154]。如文獻[153]針對駕駛環境中物體的大尺度變化、物體遮擋和惡劣光照等情況，提出了基于CNN的輔助駕駛視覺目標檢測方法；文獻[155]提出了一種基于立體視覺系統生成的U-V視差圖的障礙物檢測方法，利用V-視差圖來提取道路特征，然后利用U-視差圖來檢測道路上的障礙物，消除了針孔成像的透視投影造成的縮短效應并大幅提高遠處障礙物的檢測精度，最后將U-V視差算法的檢測結果放入一個上下文感知的快速RCNN中，該RCNN結合了內部特征和上下文特征，提高了小障礙物和遮擋物的識別精度。

(3) 同步定位和地圖創建[156]。無人駕駛汽車在未知環境中或GPS無法持續定位的環境下，需要同時實現自身的準確定位以及所處環境的地圖構建。同步定位和地圖創建(simultaneous localization and mapping，SLAM)是指無人駕駛汽車利用內外部傳感器對自身運動和周圍環境進行感知，確定環境狀況、自身位置、航向及速度等信息，同時創建環境地圖或對地圖進行實時更新，其是無人駕駛汽車的關鍵之一。SLAM主要涉及到定位、地圖創建、以及數據關聯問題。其中，定位主要是通過視覺、GPS、慣性導航等方式為路徑規劃和環境地圖創建提供精確的位姿信息。數據關聯則采用新特征檢測、特征匹配與地圖匹配等步驟實現觀測量與地圖特征之間匹配關系。文獻[157]提出了一種基于對象包的視覺貝葉斯車輛位置識別算法來實現更快的和更魯棒性的定位。趙鑫[158]針對未知環境下無人駕駛汽車同時定位與地圖創建展開研究，在FastSLAM算法基礎上引入自適應重采樣技術和無跡卡爾曼濾波，提出了自適應重采樣無跡卡爾曼濾波FastSLAM算法。

3.4 醫療影像診斷

隨著人工智能、深度學習等技術的飛速發展，機器視覺集合人工智能等技術，逐漸應用到醫療影像診斷中，以輔助醫生做出判斷。機器視覺技術在醫學疾病診斷方面的應用主要體現在2個方面[159]：

(1) 影像采集與感知應用。對采集的影像如X射線成像、顯微圖片、B超、CT、MRI等進行存儲、增強、標記、分割以及三維重建處理。如何洪林等[160]在神經網絡融合模型的基礎上，建立3D人體模型數據庫，在影像分析過程中直接從數據庫選取相應部分對病灶進行替換，從而可快速地完成腦血管CT三維重建。文獻[161]提出了一種利用卷積神經網絡將MR腦圖像自動分割成若干組織類的方法。該網絡使用多個斑塊大小和多個卷積核大小來獲取每個體素的多尺度信息。該方法不依賴于顯式特征，而是學習根據訓練數據識別對分類重要的信息。

(2) 診斷與分析應用[162-164]。由于不同醫生對于同一張圖片的理解不同，通過大量的影像數據和診斷數據，借助人工智能算法實現病理解讀，協助醫生診斷，使醫生可以了解到多種不同的病理可能性，提高診斷能力。如實現乳腺癌，肺部癌變的早期識別；根據器官組織的分布，預測出腫瘤擴散到不同部位的概率，并能從圖片中獲取癌變組織的形狀、位置、濃度等等；以及通過MR圖像，再現心臟血流量變化，并且探測心臟病變。如孟婷等[165]提出了一種增強卷積網絡模型，通過訓練一對互補的卷積神經網絡，以優化病理圖像診斷準確率。算法首先訓練基本網絡，來估計病理圖像中各局部組織患病的概率，之后訓練另一異構網絡，對基本網絡的判決結果進行修正，并在腎、肺、脾組織數據集與淋巴結癌癥轉移檢測數據集上展開實驗驗證。

4 面臨的挑戰問題

盡管機器視覺取得巨大的進展，并得到廣泛的應用，但還有許多的問題期待解決。

4.1 可靠性與準確性問題

機器視覺需要區分背景以實現目標的可靠定位與檢測、跟蹤與識別。然而，應用場景往往復雜多變，工業視覺上的算法存在適應性與準確性差等問題；為此，需要研究與選擇性能最優的圖像特征來抑制噪聲的干擾，增強圖像處理算法對普適性的要求，同時又不增加圖像處理的難度。

4.2 圖像處理速度問題

圖像和視頻具有數據量龐大、冗余信息多等特點，圖像處理速度是影響視覺系統應用的主要瓶頸之一。因此要求視覺處理算法必須具有較快的計算速度，否則會導致系統明顯的時滯，難以提高工業生產效率。因此，期待著高速的并行處理單元與圖像處理算法的新突破來提高圖像處理速度。

4.3 機器視覺產品通用性問題

目前工業機器視覺產品的通用性和智能性不夠好，往往需要結合實際需求選擇配套的專用硬件和軟件，從而導致布局新的機器視覺系統開發成本過大與時間過長，這也為機器視覺技術在中小企業的應用帶來一定的困難，因此加強設備的通用性至關重要。

4.4 多傳感器融合問題

由于使用視野范圍與成像模式的限制，單一視覺傳感器往往無法獲取高效的圖像數據。多傳感器融合可以有效地解決這個問題，通過融合不同傳感器采集到的信息可以消除單傳感器數據不確定性的問題，獲得更加可靠、準確的結果。但實際應用場景存在數據海量、冗余信息多、特征空間維度高與問題對象的復雜性等問題，需要提高信息融合的速度，解決多傳感器信息融合的問題是目前的關鍵。

5 發展趨勢

隨著智能制造產業的進一步升級，以及機器人技術、計算機算力與圖像處理等相關理論的不斷發展，機器視覺將會在工業生產、醫療和航天等領域發揮日益重要的作用，與此同時也涌現了一些新的發展趨勢。

5.1 3D工業視覺將成為未來發展趨勢

二維機器視覺系統將客觀存在的3D空間壓縮至二維空間，其性能容易受到環境光、零件顏色等因素的干擾，其可靠性逐漸無法滿足現代工業檢測的需求。隨著3D傳感器技術的成熟，3D機器視覺已逐步成為制造行業的未來發展趨勢之一。未來，機器人可以透過3D視覺系統從任意放置的物體堆中識別物體的位置、方向以及場景深度等信息，并能自主地的調整方向來拾取物體，以提高生產率并減少此過程中的人機交互需求，產品瑕疵檢測以及機器人視覺引導工作更加順暢。預計到2022年3D成像與相關技術市場將達到90億美元。

5.2 嵌入式視覺是未來趨勢

嵌入式視覺系統具有簡便靈活、低成本、可靠、易于集成等特點，小型化、集成化產品將成為實現“芯片上視覺系統”的重要方向。機器視覺行業將充分利用更精致小巧處理器如DSP，FPGA等來建立微型化的視覺系統，小型化、集成化產品成為實現“芯片上視覺系統”的重要方向，這些系統幾乎可以植入任何地方，不再限于生產車間內，趨勢表明，隨著嵌入式微處理器功能增強，以及存儲器集成度增加與成本降低，將由低端的應用覆蓋到PC機架構應用領域，將有更多的嵌入式系統與機器視覺整合，嵌入式視覺系統前景廣闊。

5.3 標準化的解決方案

機器視覺所集成的大量軟硬件部件，是自動化生產過程的核心子系統，為降低開發周期與成本的需要，要求機器視覺相關產品盡可能采用標準化或模塊化技術，用戶可以根據應用需求實現快速二次開發，但現有機器視覺系統大多是專業系統。因此，軟硬件標準化已經成為企業所追求的解決方案，視覺供應商在4~5年內應能逐步提出標準化的系統集成方案。

5.4 視覺產品智能化

由于視覺系統能產生海量的圖像數據，隨著深度學習、智能優化等相關人工智能技術的興起，以及高性能圖像處理芯片的出現，機器視覺融合AI成為未來的一大趨勢，AI技術將使機器視覺具有超越現有解決方案的智能能力，更像人類一樣自主感知環境與思考，從大量信息中找到關鍵特征，快速作出判斷，如視覺引導機器人可根據環境自主決策運動路徑、拾取姿態等以勝任更具有挑戰性的應用。

6 結 論

當下機器視覺技術已滲透到工業生產、日常生活以及醫療健康當中，如工業生產線機器人準確抓取物體、無人商店、手術機器人靶區準確定位等等。機器視覺技術廣泛應用極大地改善了人類生活現狀，提高了生產力與自動化水平。隨著人工智能技術的爆發與機器視覺的介入，自動化設備將朝著更智能、更快速的方向發展，同時機器視覺系統將更加可靠、高效地在各個領域中發揮作用。

機器視覺系統較為復雜，涉及到光學成像、圖像處理、分析與識別、執行等多個組成，每個組成部分出現大量的方案與方法，這些方法各有優缺點和其適應范圍，因此，如何選擇合適的方案來保證系統在準確性、實時性和魯棒性等方面性能最佳一直是研究者與應用企業努力與關注的方向。

[1] 馮旭, 宋明星, 倪笑宇, 等. 工業機器人發展綜述[J]. 科技創新與應用, 2019, (24): 52-54. FENG X, SONG M X, NI X Y, et al. Overview of the development of industrial robots[J]. Technology Innovation and Application, 2019, (24): 52-54 (in Chinese).

[2] 朱虹. 機器視覺及其應用(系列講座) 第三講圖像處理與分析-機器視覺的核心[J]. 應用光學, 2007, 28(1): 121-124. ZHU H. Machine vision and its applications (lecture series) lecture 3: image processing and analysis-the core of machine vision[J]. Journal of Applied Optics, 2007, 28(1): 121-124 (in Chinese).

[3] 湯勃, 孔建益, 伍世虔. 機器視覺表面缺陷檢測綜述[J]. 中國圖象圖形學報, 2017, 22(12): 1640-1663. TANG B, KONG J Y, WU S Q. Review of surface defect detection based on machine vision[J]. Journal of Image and Graphics, 2017, 22(12): 1640-1663 (in Chinese).

[4] 盧榮勝, 吳昂, 張騰達, 等. 自動光學(視覺)檢測技術及其在缺陷檢測中的應用綜述[J]. 光學學報, 2018, 38(8): 23-58. LU R S, WU A, ZHANG T D, et al. Review on automated optical (visual) inspection and its applications in defect detection[J]. Acta Optica Sinica, 2018, 38(8): 23-58 (in Chinese).

[5] 尹仕斌, 任永杰, 劉濤, 等. 機器視覺技術在現代汽車制造中的應用綜述[J]. 光學學報, 2018, 38(8): 11-22. YIN S B, REN Y J, LIU T, et al. Review on application of machine vision in modern automobile manufacturing[J]. Acta Optica Sinica, 2018, 38(8): 11-22 (in Chinese).

[6] VITHU P, MOSES J A. Machine vision system for food grain quality evaluation: a review[J]. Trends in Food Science and Technology, 2016, 56: 13-20.

[7] 趙軍, 田海韜. 利用機器視覺檢測馬鈴薯外部品質方法綜述[J]. 圖學學報, 2017, 38(3): 382-387. ZHAO J, TIAN H T. The applications of potato external quality detection using machine vision[J]. Journal of Graphics, 2017, 38(3): 382-387 (in Chinese).

[8] MAMMARELLA M, CAMPA G, NAPOLITANO M R, et al. Machine vision/GPS integration using EKF for the UAV aerial refueling problem[J]. IEEE Transaction on System Man and Cybernetics, 2008, 38(6): 791-801.

[9] GERóNIMO D, LóPEZ A M, SAPPA A D, et al. Survey of pedestrian detection for advanced driver assistance systems[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(7): 1239-1258.

[10] GEIGER A, LAUER M, WOJEK C, et al. 3D traffic scene understanding from movable platforms[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(5): 1012-1025.

[11] LU X, WANG Y N, ZHOU X Y, et al. Traffic sign recognition via multi-modal tree-structure embedded multi-task learning[J]. IEEE Transactions on Intelligent Transportation Systems, 2017, 18(4): 960-972.

[12] 黃少羅, 張建新, 卜昭鋒. 機器視覺技術軍事應用文獻綜述[J]. 兵工自動化, 2019, 38(2): 16-21. HUANG S L, ZHANG J X, BU Z F. Literature review of military applications of machine vision technology[J]. Ordnance Industry Automation, 2019, 38(2): 16-21 (in Chinese).

[13] 鄒超, 汪秉文, 孫志剛. 基于機器視覺的織物疵點檢測方法綜述[J]. 天津工業大學學報, 2009, 28(2): 78-82, 85. ZOU C, WANG B W, SUN Z G . Survey on fabric defect detection based on machine vision[J]. Journal of Tianjin Polytechnic University, 2009, 28(2): 78-82, 85 (in Chinese).

[14] ZHENG D C, ZHANG Y P, HE Z K, et al. Study of assembly automation for strain gauge based on machine vision[C]//2013 5th International Conference on Intelligent Human-Machine Systems and Cybernetics. New York: IEEE Press, 2013: 401-405.

[15] SUN T H, TSENG C C, CHEN M S. Electric contracts inspection using machine vision[J]. Image and Vision Computing, 2010, 28(6): 890-901.

[16] 宋春華, 彭泫知. 機器視覺研究與發展綜述[J]. 裝備制造技術, 2019(6): 213-216. SONF C H, PENG X Z. A summary of the research and development of machine vision[J]. Equipment Manufacturing Technology, 2019 (6): 213-216 (in Chinese).

[17] ROBERTS L. Machine perception of 3-d solids[D]. Massachusetts: Massachusetts Institute of Technology. 1965.

[18] MARR D. Vision: a computational investigation into the human representation and processing of visual information[M]. Cambridge: the MIT Press, 2010: 1-5.

[19] 王艷. 機器視覺測量技術研究與應用[D]. 武漢: 華中師范大學, 2018. WANG Y. Research and application of machine vision measurement technology[D]. Wuhan: Central China Normal University, 2018 (in Chinese).

[20] 胡躍明, 杜娟, 吳忻生, 等. 基于視覺的高速高精度貼片機系統的程序實現[J]. 計算機集成制造系統, 2003, 9(9): 760-764. HU Y M, DU J, WU X S, et al. Program realization of high-speed and high-precision placement machine system based on vision[J]. Computer Integrated Manufacturing Systems, 2003, 9(9): 760-764 (in Chinese).

[21] 劉良江, 王耀南. 灰度直方圖和支持向量機在磁環外觀檢測中的應用[J]. 儀器儀表學報, 2006, 27(8): 840-844. LIU L J WANG Y N. Ferrite core appearance inspection using gray histogram and support vector machine[J]. Chinese Journal of Scientific Instrument, 2006, 27(8): 840-844 (in Chinese).

[22] 張輝, 王耀南, 吳成中, 等. 高速醫藥自動化生產線大輸液視覺檢測與識別技術[J]. 控制理論與應用, 2014, 31(10): 1404-1413. ZHANG H, WANG Y N, WU C Z, et al. Visual detection and recognition for medical infusion automatic production lines[J]. Control Theory & Applications, 2014, 31(10): 1404-1413 (in Chinese).

[23] 張輝, 王耀南, 周博文, 等. 基于機器視覺的保健酒可見異物檢測系統研究與開發[J]. 儀器儀表學報, 2009, 30(5): 973-979. ZHANG H, WANG Y N, ZHOU B W, et al. Development of healthy wine visible particle detection system based on machine vision[J]. Chinese Journal of Scientific Instrument, 2009, 30(5): 973-979 (in Chinese).

[24] DAVIES E R. The application of machine vision to food and agriculture: a review[J]. Imaging Science Journal, 2009, 57(4): 197-217.

[25] 王耀南, 陳鐵健, 賀振東, 等. 智能制造裝備視覺檢測控制方法綜述[J]. 控制理論與應用, 2015, 32(3): 273-286. WANG Y N, CHEN T J, HE Z D, et al. Review on the machine vision measurement and control technology for intelligent manufacturing equipment[J]. Control Theory & Applications, 2015, 32(3): 273-286 (in Chinese).

[26] FANG Z J, XIA L, CHEN G D, et al. Vision-based alignment control for grating tiling in petawatt-class laser system[J]. IEEE Transactions on Instrumentation and Measurement, 2014, 63(6): 1628-1638.

[27] 段峰, 王耀南, 雷曉峰, 等. 機器視覺技術及其應用綜述[J]. 自動化博覽, 2002(3): 59-61. DUAN F, WANG Y N, LEI X F, et al. Machine vision technologies[J]. Automation Panorama, 2002(3): 59-61 (in Chinese).

[28] 凌云光技術集團. 中國機器視覺發展歷程與展 望[EB/OL]. [2020-01-23]. http://www.lustervision.com/new-industry/jqsj20150442301.shtml. Lingyun Optical Technology Group. China machine vision development history and prospects[EB/OL]. [2015-04-23]. http://www.lustervision.com/new-industry/jqsj20150442301.shtml (in Chinese).

[29] LOH H H, LU M S. Printed circuit board inspection using image analysis[J]. IEEE Transactions on Industry Applications, 1999, 35(2): 426-432.

[30] QI S P, ZHANG H J, ZHOU H L, et al. Counting steel rods online using LQV neural network in real-time images[C]//2006 IEEE International Conference on Information Acquisition. New York: IEEE Press, 2006: 956-960.

[31] ZHANG H T, DUAN F J, DING K Q, et al. Study on on-line surface defect detection vision system for steel strip[J]. Chinese Journal of Sensors and Actuators, 2007(8): 1899-1902.

[32] 李勇, 周穎, 尚會超, 等. 基于機器視覺的坯布自動檢測技術[J]. 紡織學報, 2007, 28(8): 124-128. LI Y, ZHOU Y, SHANG H C, et al. Automatic grey inspection technology based on machine vision[J]. Journal of Textile China, 2007, 28(8): 124-128 (in Chinese).

[33] KUMAR A. Computer-vision-based fabric defect detection: a survey[J]. IEEE Transactions on Industrial Electronics, 2008, 55(1): 348-363.

[34] 胡淑芬, 藥林桃, 劉木華. 臍橙表面農藥殘留的計算機視覺檢測方法研究[J]. 江西農業大學學報, 2007, 29(6): 1031-1034. HU S F, YAO L T, LIU M H. The pesticide leftover detection of navel orange using computer vision[J]. Acta Agriculturae Universitatis Jiangxiensis, 2007, 29(6): 1031-1034 (in Chinese).

[35] 黃辰, 費繼友. 基于圖像特征融合的蘋果在線分級方法[J]. 農業工程學報, 2017, 33(1): 285-291. HUANG C, FEI J Y. Online apple grading based on decision fusion of image features[J]. Transactions of the Chinese Society of Agricultural Engineering, 2017, 33(1): 285-291 (in Chinese).

[36] 趙相賓, 李亮玉, 夏長亮, 等. 激光視覺焊縫跟蹤系統圖像處理[J]. 焊接學報, 2006, 27(12): 42-44, 48. ZHAO X B, LI L Y, XIA C L, et al. Image processing of seam tracking system with laser vision[J]. Transactions Of The China Welding Institution, 2006, 27(12): 42-44, 48 (in Chinese).

[37] CUBERO S, ALEIXOS N, MOLTó E, et al. Advances in machine vision applications for automatic inspection and quality evalution of fruits and vegetables[J]. Food and Bioprocess Technology, 2011, 4(4): 487-504.

[38] 張輝, 王耀南, 周博文, 等. 醫藥大輸液可見異物自動視覺檢測方法及系統研究[J]. 電子測量與儀器學報, 2010, 24(2): 125-130. ZHANG H, WANG Y N, ZHOU B W, et al. Research on automatic visual inspection method and system for foreign substances in medicine transfusion liquid[J]. Journal of Electronic Measurement and Instrument, 2010, 24(2): 125-130 (in Chinese).

[39] 劉朝營, 許自成, 閆鐵軍. 機器視覺技術在煙草行業的應用狀況[J]. 中國農業科技導報, 2011, 13(4): 79-84. LIU C Y, XU Z C, YAN T J. Application status of machine vision technology in tobacco Industry[J]. Journal of Agricultural Science and Technology, 2011, 13(4): 79-84 (in Chinese).

[40] STEGER C, ULRICH M, WIEDEMANN C. 機器視覺算法與應用(第2版)[M]. 楊少榮, 段德山, 張勇, 等譯. 北京: 清華大學出版社, 2019: 1-5. STEGER C, ULRICH M, WIEDEMANN C. Machine vision algorithms and applications (2nd Edition)[M]. YANG S R, DUAN D S, ZHANG Y, et al translate. Beijing: Tsinghua University Press, 2019: 1-5 (in Chinese).

[41] 張巧芬, 高健. 機器視覺中照明技術的研究進展[J]. 照明工程學報, 2011, 22(2): 31-37. ZHANG Q F, GAO J. Research progress of lighting technology in machine vision[J]. Journal of Lighting Engineering, 2011, 22(2): 31-37 (in Chinese).

[42] 余文勇, 石繪. 機器視覺自動檢測技術[M]. 北京: 化學工業出版社, 2013: 61-67. YU W Y, SHI H. Automatic detection technology of machine vision [M]. Beijing: Chemical Industry Press, 2013: 61-67 (in Chinese).

[43] Mr. Devin. 機器視覺中的光源選型及打光方案分 析[EB/OL]. [2019-12-25] https://blog.csdn.net/Integralfor Love/article/details/87911341. Mr. Devin. Light source selection and lighting scheme analysis in machine vision[EB/OL]. [2019-12-25] https://blog.csdn.net/IntegralforLove/article/details/87911341 (in Chinese).

[44] 陳朋波. 基于機器視覺的零件外形質量自動化檢測系統的設計[D]. 桂林: 桂林電子科技大學, 2016. CHEN P B. Design of automatic inspection system for part shape quality based on machine vision [D]. Guilin: Guilin University of Electronic Technology, 2016 (in Chinese).

[45] VRIESENGA M, HEALEY G, PELEG K, et al. Controlling illumination color to enhance object discriminability[C]//1992 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 1992: 710-712.

[46] 張云, 吳曉君, 馬廷武, 等. 基于機器視覺的零件圖像采集及識別的研究[J]. 電子工程師, 2006, 32(4): 29-31, 65. ZHANG Y, WU X J, MA T W, et al. A study on the collection & identification of component image based on the machine vision[J]. Electronic Engineer, 2006, 32(4): 29-31, 65 (in Chinese).

[47] 王國琿, 錢克矛. 線陣相機標定方法綜述[J]. 光學學報, 2019, 40(1): 175-187. WANG G H, QIAN K M. Review on line-scan camera calibration methods[J]. Acta Optica Sinica, 2020, 40(1): 175-187 (in Chinese).

[48] WANG Y N, LU X, LING Z G, et al. A method to calibrate vehicle-mounted cameras under urban traffic scenes[J]. IEEE Transactions on Intelligent Transportation Systems, 2015, 16(6): 3270-3279.

[49] ZHANG Z Y. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

[50] RAJNI, ANUTAM. Image denoising techniques-an overview[J]. International Journal of Computer Applications, 2014, 86(16): 13-17.

[51] SOTIRAS A, DAVATZIKOS C, PARAGIOS N. Deformable medical image registration: a survey[J]. IEEE Transactions on Medical Imaging, 2013, 32(7): 1153-1190.

[52] ZITOVá B, FLUSSER J. Image registration methods: a survey[J]. Image and Vision Computing, 2003, 21(11): 977-1000.

[53] DU P J, LIU S C, GAMBA P, et al. Fusion of difference images for change detection over urban areas[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2012, 5(4): 1076-1086.

[54] LI S T, KANG X D, FANG L Y, et al. Pixel-level image fusion: a survey of the state of the art[J]. Information Fusion, 2017, 33: 100-112.

[55] 田冉, 陳梅香, 董大明, 等. 紅外傳感器與機器視覺融合的果樹害蟲識別及計數方法[J]. 農業工程學報, 2016, 32(20): 195-201. TIAN R, CHEN M X, DONG D M, et al. Identification and counting method of orchard pests based on fusion method of infrared sensor and machine vision[J]. Journal of Agricultural Engineering, 2016, 32(20): 195-201 (in Chinese).

[56] 毛罕平, 李明喜. 基于多源機器視覺信息融合的番茄目標匹配[J]. 農業工程學報, 2009, 25(10): 142-147. MAO H P, LI M X. Tomato target matching based on multi-source machine vision information fusion[J]. Journal of Agricultural Engineering, 2009, 25(10): 142-147 (in Chinese).

[57] ZHOU X E, WANG Y N, XIAO C Y, et al. Automated visual inspection of glass bottle bottom with saliency detection and template matching[J]. IEEE Transactions on Instrumentation and Measurement, 2019, 68(11): 4253-4267.

[58] PARAL P, CHATTERJEE A, RAKSHIT A. OPTICS-based template matching for vision sensor-based shoe detection in human–robot coexisting environments[J]. IEEE Transactions on Instrumentation and Measurement, 2019, 68(11): 4276-4284.

[59] YANG H, ZHENG S J, LU J, et al. Polygon-invariant generalized Hough transform for high-speed vision-based positioning[J]. IEEE Transactions on Automation Science and Engineering, 2016, 13(3): 1367-1384.

[60] YUAN X C, WU L S, PENG Q J. An improved Otsu method using the weighted object variance for defect detection[J]. Applied Surface Science, 2015, 349: 472-484.

[61] ZHU L J, GAO Y, YEZZI A, et al. Automatic segmentation of the left atrium from MR images via variational region growing with a moments-based shape prior[J]. IEEE Transactions on Image Processing, 2013, 22(12): 5111-5122.

[62] YANG X D, LI H Q, ZHOU X B. Nuclei segmentation using marker-controlled watershed, tracking using mean-shift, and kalman filter in time-lapse microscopy[J]. IEEE Transactions on Circuits and Systems I: Regular Papers, 2006, 53(11): 2405-2414.

[63] FERRARI V, FEVRIER L, JURIE F, et al. Groups of adjacent contour segments for object detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(1): 36-51.

[64] LIU S, ZHANG Z, XIAO B H, et al. Ground-based cloud detection using automatic graph cut[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(6): 1342-1346.

[65] GOPALAKRISHNAN V, HU Y Q, RAJAN D. Random walks on graphs for salient object detection in images[J]. IEEE Transactions on Image Processing, 2010, 19(12): 3232-3242.

[66] 姜楓, 顧慶, 郝慧珍, 等. 基于內容的圖像分割方法綜述[J]. 軟件學報, 2017, 28(1): 160-183. JIANG F, GU Q, HAO H Z, et al. Survey on content-based image segmentation methods[J]. Journal of Software, 2017, 28(1): 160-183 (in Chinese).

[67] GIRSHICK R, DONAHUE J, DARRELL T, et al. Region-based convolutional networks for accurate object detection and segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(1): 142-158.

[68] 徐亞靜, 溫長吉, 王增輝. 基于改進遺傳脈沖耦合神經網絡的玉米病害圖像分割方法[J]. 吉林農業大學學報, 2013, 35(4): 496-500. XU Y J, WEN C J, WANG Z H. Image segmentation method for corn diseases based on improved genetic pulse coupled neural network[J]. Journal of Jilin Agricultural University, 2013, 35(4): 496-500 (in Chinese).

[69] LONG J, SHELHAMER E, DARRELL T. Fully convolutional networks for semantic segmentation[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2015: 3431-3440.

[70] CHEN L C, PAPANDREOU G, KOKKINOS I, et al. DeepLab: semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(4): 834-848.

[71] HE K M, GKIOXARI G, DOLLáR P, et al. Mask R-CNN[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(2): 386-397.

[72] RONNEBERGER O, FISCHER P, BROX T. U-net: convolutional networks for biomedical image segmentation[C]//2015 International Conference on Medical Image Computing and Computer-Assisted Intervention(MICCAI). Heidelberg: Springer, 2015: 234-241.

[73] ANNABY M H, FOUDA Y M, RUSHDI M A. Improved normalized cross-correlation for defect detection in printed-circuit boards[J]. IEEE Transactions on Semiconductor Manufacturing, 2019, 32(2): 199-211.

[74] 郭智杰, 王明泉, 張俊生, 等. 基于機器視覺的輪轂在線識別分類技術研究[J]. 測試技術學報, 2019, 33(3): 233-237. GUO Z J, WANG M Q, ZHANG J S, et al. The research on online recogition and classification technology of wheel hub based on machine vision[J]. Journal of Test and Measurement Technology, 2019, 33(3): 233-237 (in Chinese).

[75] DING R W, DAI L H, LI G P, et al. TDD-net: a tiny defect detection network for printed circuit boards[J]. CAAI Transactions on Intelligence Technology, 2019, 4(2): 110-116.

[76] HU Y T, LONG Z L, ALREGIB G. A high-speed, real-time vision system for texture tracking and thread counting[J]. IEEE Signal Processing Letters, 2018, 25(6): 758-762.

[77] KONG L F, SHEN J, HU Z L, et al. Detection of water-stains defects in TFT-LCD based on machine vision[C]//2018 11th International Congress on Image and Signal Processing, BioMedical Engineering and Informatics (CISP-BMEI). New York: IEEE Press, 2018: 1-5.

[78] SHEN X J, SHI Z N, CHEN H P. Splicing image forgery detection using textural features based on the grey level co-occurrence matrices[J]. IET Image Processing, 2017, 11(1): 44-53.

[79] LUO Q W, FANG X X, SUN Y C, et al. Surface defect classification for hot-rolled steel strips by selectively dominant local binary patterns[J]. IEEE Access, 2019, 7: 23488-23499.

[80] FANG L Y, LI S T. Face recognition by exploiting local gabor features with multitask adaptive sparse representation[J]. IEEE Transactions on Instrumentation and Measurement, 2015, 64(10): 2605-2615.

[81] YANG X, PANG G, YUNG N. Robust fabric defect detection and classification using multiple adaptive wavelets[J]. IEE Proceedings - Vision, Image and Signal Processing, 2005, 152(6): 715-723.

[82] FERRARI V, FEVRIER L, JURIE F, et al. Groups of adjacent contour segments for object detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(1): 36-51.

[83] VAIKUNDAM S, HUNG T Y, CHIA L T. Anomaly region detection and localization in metal surface inspection[C]//2016 IEEE International Conference on Image Processing (ICIP). New York: IEEE Press, 2016: 759-763.

[84] YANG H, SONG K Y, MEI S, et al. An accurate mura defect vision inspection method using outlier-prejudging-based image background construction and region-gradient-based level set[J]. IEEE Transactions on Automation Science and Engineering, 2018, 15(4): 1704-1721.

[85] FAN H H, ZHU H J. Separation of vehicle detection area using fourier descriptor under internet of things monitoring[J]. IEEE Access, 2018, 6: 47600-47609.

[86] JAMKHANDIKAR D, MYTRI V D. CSS based trademark retrieval system[C]//2014 International Conference on Electronic Systems, Signal Processing and Computing Technologies. New York: IEEE Press, 2014: 129-133.

[87] CHANG W, LEE S Y. Description of shape patterns using circular arcs for object detection[J]. IET Computer Vision, 2013, 7(2): 90-104.

[88] PAL M, BHATTACHARYYA S, SARKAR T. Euler number based feature extraction technique for gender discrimination from offline Hindi signature using SVM & BPNN classifier[C]//2018 Emerging Trends in Electronic Devices and Computational Techniques(EDCT). New York: IEEE Press, 2018: 1-6.

[89] ZHANG L, XIANG F, PU J X, et al. Application of improved HU moments in object recognition[C]//2012 IEEE International Conference on Automation and Logistics. New York: IEEE Press, 2012: 554-558.

[90] GISHKORI S, MULGREW B. Pseudo-zernike moments based sparse representations for SAR image classification[J]. IEEE Transactions on Aerospace and Electronic Systems, 2019, 55(2): 1037-1044.

[91] RECCE M, TAYLOR J, PIEBE A, et al. High speed vision-based quality grading of oranges[C]// International Workshop on Neural Networks for Identification, Control, Robotics and Signal/Image Processing. New York: IEEE Press, 1996: 136-144.

[92] DING S M, LIU Z F, LI C L. AdaBoost learning for fabric defect detection based on HOG and SVM[C]//2011 International Conference on Multimedia Technology. New York: IEEE Press, 2011: 2903-2906.

[93] BOHLOOL M, TAGHANAKI S R. Cost-efficient automated visual inspection system for small manufacturing industries based on SIFT[C]//2008 23rd International Conference Image and Vision Computing. New York: IEEE Press, 2008: 1-6.

[94] LI J W, LIAO G P, XIAO F. Rapeseed seeds colour recognition by machine vision[C]//2008 27th Chinese Control Conference. New York: IEEE Press, 2008: 146-149.

[95] REDFIELD S, HARRIS J G. The role of massive color quantization in object recognition[C]//2000 International Conference on Image Processing. New York: IEEE Press, 2000: 57-60.

[96] CHIRANJEEVI P, SENGUPTA S. Detection of moving objects using multi-channel kernel fuzzy correlogram based background subtraction[J]. IEEE Transactions on Cybernetics, 2014, 44(6): 870-881.

[97] ENDAH S N, WIBAWA H A, KUSUMANINGRUM R. Skin detection based on local representation of YCbCr color moment[C]//2017 1st International Conference on Informatics and Computational Sciences (ICICoS). New York: IEEE Press, 2017: 65-70.

[98] LI Y B, LIU M J. Aerial image classification using color coherence vectors and rotation & uniform invariant LBP descriptors[C]//IEEE 3rd Advanced Information Technology, Electronic and Automation Control Conference (IAEAC). New York: IEEE Press, 2018: 653-656.

[99] MOTTALIB M M, ROKONUZZAMAN M, HABIB M T, et al. Fabric defect classification with geometric features using Bayesian classifier[C]//2015 International Conference on Advances in Electrical Engineering (ICAEE). New York: IEEE Press, 2015: 137-140.

[100]XIANG C, FAN X A, LEE T H. Face recognition using recursive Fisher linear discriminant[J]. IEEE Transactions on Image Processing, 2006, 15(8): 2097-2105.

[101]OPELTt A, PINZ A, FUSSENEGGER M, et al. Generic object recognition with boosting[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(3): 416-431.

[102]莊濤, 張軍, 李志鵬, 等. 人工神經網絡在金屬餐具缺陷檢測中的應用[J]. 天津職業技術師范大學學報, 2018, 28(4): 28-31. ZHUANG T, ZHANG J, LI Z P, et al. Application of artificial neural network in the defect detection of metal tableware[J]. Journal of Tianjing University of Technology and Education, 2018, 28(4): 28-31 (in Chinese).

[103]周凌翱. 改進BP神經網絡在模式識別中的應用及研究[D]. 南京: 南京理工大學, 2010. ZHOU L G. Application and research of improved BP neural network in pattern recognition[D]. Nanjing: Nanjing University of Science and Technology, 2010 (in Chinese).

[104]李楊. 基于機器視覺和人工神經網絡的微小軸承表面缺陷識別及檢測技術研究[D]. 長春: 吉林大學, 2008. LI Y. Research on surface defect recognition and detection technology of tiny bearings based on machine vision and artificial neural network[D]. Changchun: Jilin University, 2008 (in Chinese).

[105]HINTON G E, SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks[J]. Science. 2006, 313(5786): 504-507.

[106]SINGH D, MOHAN C K. Deep spatio-temporal representation for detection of road accidents using stacked autoencoder[J]. IEEE Transactions on Intelligent Transportation Systems, 2019, 20(3): 879-887.

[107]KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM, 2012, 60(6): 84-90.

[108]GOODFELLOW I J, POUGET-ABADIE J, MIRZA M et al. Generative adversarial nets[C]//27th International Conference on Neural Information Processing Systems (NIPS’14). Cambridge: MIT Press, 2014: 2672-2680.

[109]BENGIO Y, COURVILLE A, VINCENT P. Representation learning: a review and new perspectives[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(8): 1798-1828.

[110]HE K M, ZHANG X Y, REN S Q, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904-1916.

[111]ABDEL-HAMID O, MOHAMED A, JIANG H, et al. Convolutional neural networks for speech recognition[J]. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2014, 22(10): 1533-1545.

[112]ZHANG X Y, YIN F, ZHANG Y M, et al. Drawing and recognizing chinese characters with recurrent neural network[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(4): 849-862.

[113]TAN M, WANG B Y, WU Z H, et al. Weakly supervised metric learning for traffic sign recognition in a LIDAR-equipped vehicle[J]. IEEE Transactions on Intelligent Transportation Systems, 2016, 17(5): 1415-1427.

[114]CHEN S W, SHIVAKUMAR S S, DCUNHA S, et al. Counting apples and oranges with deep learning: a data-driven approach[J]. IEEE Robotics and Automation Letters, 2017, 2(2): 781-788.

[115]QIU L T, WU X J, YU Z Y. A high-efficiency fully convolutional networks for pixel-wise surface defect detection[J]. IEEE Access, 2019, 7: 15884-15893.

[116]朱蓉. 基于語義信息的圖像理解關鍵問題研究[J]. 計算機應用研究, 2009, 26(4): 1234-1240. ZHU R. Research on key problems of image understanding based on semantic information[J]. Application Research of Computers, 2009, 26(4): 1234-1240 (in Chinese).

[117]PAWAR P G, DEVENDRAN V. Scene understanding: a survey to see the world at a single glance[C]//2019 2nd International Conference on Intelligent Communication and Computational Techniques (ICCT). New York: IEEE Press, 2019: 182-186.

[118]DATTA R, JOSHI D, LI J, et al. Image retrieval: ideas, influences, and trends of the new age[J]. ACM Computing Surveys, 2008, 40: 5-60.

[119]YE Z P, LIU P, ZHAO W. A survey of knowledge hierarchies for image analysis[J]. Smart Computing Review, 2015, 5(3): 224-237.

[120]FERNáNDEZ-LóPEZ D, CABIDO R, SIERRA-ALONSO A, et al. A knowledge-based component library for high-level computer vision tasks[J]. Knowledge-Based Systems, 2014, 70: 407-419.

[121]DONG G S, YAN Y, SHEN C H, et al. Real-time high-performance semantic image segmentation of urban street scenes[EB/OL]. [2020-01-19]. https://ieeexplore.ieee.org/document/9042876/similar#similar.

[122]WANG Q, GAO J Y, YUAN Y. A joint convolutional neural networks and context transfer for street scenes labeling[J]. IEEE Transactions on Intelligent Transportation Systems, 2018, 19(5): 1457-1470.

[123]LI S, TAO Z Q, LI K, et al. Visual to text: survey of image and video captioning[J]. IEEE Transactions on Emerging Topics in Computational Intelligence, 2019, 3(4): 297-312.

[124]KRISHNA R, HATA K, REN F, et al. Dense-captioning events in videos[C]//2017 IEEE International Conference on Computer Vision (ICCV). New York: IEEE Press, 2017: 706-715.

[125]QI M S, WANG Y H, QIN J, et al. StagNet: an attentive semantic RNN for group activity and individual action recognition[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2020, 30(2): 549-565.

[126]ZITNICK C L, VEDANTAM R, PARIKH D. Adopting abstract images for semantic scene understanding[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(4): 627-638.

[127]楊慶華, 陳亮, 荀一, 等. 基于機器視覺的PCB裸板缺陷自動檢測方法[J]. 中國機械工程, 2012, 23(22): 2661-2666. YANG Q H, CHEN L, XUN Y, et al. Automatic defect inspection of PCB bare board based on machine vision[J]. China Mechanical Engineering, 2012, 23(22): 2661-2666 (in Chinese).

[128]YEN H N, SIE Y H. Machine vision system for surface defect inspection of printed silicon solar cell[C]//The 1st IEEE Global Conference on Consumer Electronics(GCCE). New York: IEEE Press, 2012: 422-424.

[129]WILLAMSON W R, GLENN G J, DANG V T, et al. Sensor fusion applied to autonomous aerial refueling[J]. Journal of Guidance, Control and Dynamics, 2009, 32(1): 262-275.

[130]SCHLAKE B E, EDWARDS J R, HART J M, et al. Automated inspection of railcar underbody structural components using machine vision technology[C]//Transportation Research Board 88th Annual Meeting. New York: IEEE Press, 2009: 1-7.

[131]SASSI P, TRIPICCHIO P, AVIZZANO C A. A smart monitoring system for automatic welding defect detection[J]. IEEE Transactions on Industrial Electronics, 2019, 66(12): 9641-9650.

[132]GUAN M, ZHONG Z Z, RUI Y N. Automatic defect segmentation for plain woven fabric images[C]//2019 International Conference on Communications, Information System and Computer Engineering (CISCE). New York: IEEE Press, 2019: 465-468.

[133]RIAZ F R, KAMAL K, ZAFAR T, et al. An inspection approach for casting defects detection using image segmentation[C]//2017 International Conference on Mechanical, System and Control Engineering (ICMSC), New York: IEEE Press, 2017: 101-105.

[134]LU R W, YIN D. Component surface defect detection based on image segmentation method[C]//Chinese Control and Decision Conference (CCDC), New York: IEEE Press, 2016: 5093-5096.

[135]ANNABY M H, FOUDA Y M, RUSHDI M A. Improved normalized cross-ccorrelation for defect detection in printed-circuit boards[J]. IEEE Transactions on Semiconductor Manufacturing, 2019, 32(2): 199-211.

[136]ZHONG J F, ZHONG S C, ZHANG Q K, et al. Vision-based measurement system for instantaneous rotational speed monitoring using linearly varying-density fringe pattern[J]. IEEE Transactions on Instrumentation and Measurement, 2018, 67(6): 1434-1445.

[137]SCHNEIDER D, GLOY Y S, MERHOF D. Vision-based on-loom measurement of yarn densities in woven fabrics[J]. IEEE Transactions on Instrumentation and Measurement, 2015, 64(4): 1063-1074.

[138]TSIAKMAKIS K, BRUFAU-PENELLA J, PUIG-VIDAL M, et al. A camera based method for the measurement of motion parameters of IPMC actuators[J]. IEEE Transactions on Instrumentation and Measurement, 2009, 58(8): 2626-2633.

[139]周宇, 周仲凱, 于音什, 等. 基于RCDA的家具表面死節缺陷圖像分割[J]. 林業機械與木工設備, 2019, 47(8): 8-11. ZHOU Y, ZHOU Z K, YU Y S, et al. Furniture surface dead knot defect image segmentation based on RCDA[J]. Forestry Machinery & Woodworking Equipment, 2019, 47(8): 8-11 (in Chinese).

[140]YU Y L, XU M X, GU J. Vision-based traffic accident detection using sparse spatio-temporal features and weighted extreme learning machine[J]. IET Intelligent Transport Systems, 2019, 13(9): 1417-1428.

[141]孫宇飛, 顧書玉, 李賓皚, 等. 基于深度神經網絡的基建視頻智能分析系統[J]. 電力信息與通信技術, 2020, 18(2): 69-74. SUN Y F, GU S Y, LI B A, et al. Infrastructure video intelligent analysis system based on deep neural network[J]. Electric Power Information and Communication Technology, 2020, 18(2): 69-74 (in Chinese).

[142]王翔, 肖建力. 基于視頻的交通參數檢測綜述[J]. 上海理工大學學報, 2016, 37(5): 479-486. WANG X, XIAO J L. Overview of video-based traffic parameters detection[J]. Journal of Shanghai University of Technology, 2016, 38(5): 479-486 (in Chinese).

[143]唐聚, 彭博, 蔡曉禹, 等. 干道交通狀態識別及演變機理研究[J]. 公路與汽運, 2020 (2): 36-41. TANG J, PENG B, CAI X Y, et al. Research on the recognition and evolution mechanism of main road traffic state[J]. Highway and Automobile Transportation, 2020(2): 36-41 (in Chinese).

[144]ZHANG H B, QIN L F, LI J, et al. Real-time detection method for small traffic signs based on Yolov3[J]. IEEE Access, 2020, 8: 64145-64156.

[145]錢皓寅, 鄭長江. 城市道路交叉口自動事件監測系統[J]. 大連交通大學學報, 2012, 33(6): 53-56. QIAN H Y, ZHENG C J. Vision-based automatic incident detection system using image sequences for intersections[J]. Journal of Dalian Jiaotong University, 2012, 33(6): 53-56 (in Chinese).

[146]HU W P, HU H F. Disentangled spectrum variations networks for NIR–VIS face recognition[J]. IEEE Transactions on Multimedia, 2020, 22(5): 1234-1248.

[147]GRANT J M, FLYNN P J. Crowd scene understanding from video: a survey[J]. ACM Transactions on Multimedia Computing, Communications, and Applications, 2017, 13(2): 1-23.

[148]王志國, 章毓晉. 監控視頻異常檢測: 綜述[J]. 清華大學學報: 自然科學版, 2020, 60(6): 518-529. WANG Z G, ZHANG Y J. Surveillance video anomaly detection: a review[J]. Journal of Tsinghua University: Natural Science Edition, 2020, 60(6): 518-529 (in Chinese).

[149]ZHU H, YUEN K V, MIHAYLOVA L, LEUNG H. Overview of environment perception for intelligent vehicles[J]. IEEE Transactions on Intelligent Transportation Systems, 2017, 18(10): 2584-2601.

[150]DENG L Y, YANG M, HU B, et al. Semantic segmentation-based lane-level localization using around view monitoring system[J]. IEEE Sensors Journal, 2019, 19(21): 10077-10086.

[151]JIA B X, CHEN J, ZHANG K X. Drivable road reconstruction for intelligent vehicles based on two-view geometry[J]. IEEE Transactions on Industrial Electronics, 2017, 64(5): 3696-3706.

[152]GUPTA A, CHOUDHARY A. A framework for camera-based real-time lane and road surface marking detection and recognition[J]. IEEE Transactions on Intelligent Vehicles, 2018, 3(4): 476-485.

[153]WEI J, HE J H, ZHOU Y, et al. Enhanced object detection with deep convolutional neural networks for advanced driving assistance[J]. IEEE Transactions on Intelligent Transportation Systems, 2020, 21(4): 1572-1583.

[154]SIVARAMAN S, TRIVEDI M M. Looking at vehicles on the road: a survey of vision-based vehicle detection, tracking, and behavior analysis[J]. IEEE Transactions on Intelligent Transportation Systems, 2013, 14(4): 1773-1795.

[155]LENG J X, LIU Y, DU D W, et al. Robust obstacle detection and recognition for driver assistance systems[J]. IEEE Transactions on Intelligent Transportation Systems, 2020, 21(4): 1560-1571.

[156]LATEGAHN H, STILLER C. Vision-only localization[J]. IEEE Transactions on Intelligent Transportation Systems, 2014, 15(3): 1246-1257.

[157]WANG X L, HU Z Z, TAO Q W, et al. Bayesian place recognition based on bag of objects for intelligent vehicle localisation[J]. IET Intelligent Transport Systems, 2019, 13(11): 1736-1744.

[158]趙鑫. 未知環境下無人駕駛汽車同時定位與地圖創建研究[D]. 成都: 西南交通大學, 2017. ZHAO X. Research on the simultaneous positioning and map creation of driverless cars in an unknown environment [D]. Chengdu: Southwest Jiaotong University, 2017 (in Chinese).

[159]YU Z, JIANG X D, ZHOU F, et al. Melanoma recognition in dermoscopy images via aggregated deep convolutional features[J]. IEEE Transactions on Biomedical Engineering, 2019, 66(4): 1006-1016.

[160]何洪林, 謝峻, 李毅, 等. 基于裸眼3D視覺效果的腦血管CT圖像快速三維重建方法研究[J]. 醫療衛生裝備, 2015, 36(9): 24-26, 46. HE H L, XIE J, LI Y, et al. Rapid 3D reconstruction based on wiggle stereoscopy for cerebrovascular CT images[J]. Chinese Medical Equipment Journal, 2015, 36(9): 24-26, 46 (in Chinese).

[161]MOESKOPS P, VIERGEVER M A, MENDRIK A M, et al. Automatic segmentation of MR brain images with a convolutional neural network[J]. IEEE Transactions on Medical Imaging, 2016, 35(5): 1252-1261.

[162]SHIN H C, ROTH H R, GAO M C, et al. Deep convolutional neural networks for computer-aided detection: CNN architectures, dataset characteristics and transfer learning[J]. IEEE Transactions on Medical Imaging, 2016, 35(5): 1285-1298.

[163]陳詩慧, 劉維湘, 秦璟, 等. 基于深度學習和醫學圖像的癌癥計算機輔助診斷研究進展[J]. 生物醫學工程學雜志, 2017, 34(2): 314-319. CHEN S H, LIU W X, QIN J, et al. Research progress of computer-aided diagnosis in cancer based on deep learning and medical imaging[J]. Journal of Biomedical Engineering, 2017, 34(2): 314-319 (in Chinese).

[164]鄭光遠, 劉峽壁, 韓光輝. 醫學影像計算機輔助檢測與診斷系統綜述[J]. 軟件學報, 2018, 29(5): 1471-1514. ZHENG G Y, LIU X B, HAN G H. Survey on medical image computer aided detection and diagnosis systems[J]. Journal of Software, 2018, 29(5): 1471-1514 (in Chinese).

[165]孟婷, 劉宇航, 張凱昱. 一種基于增強卷積神經網絡的病理圖像診斷算法[J]. 激光與光電子學進展, 2019, 56(8): 91-97. MENG T, LIU Y H, ZHANG K Y. Algorithm for pathological image diagnosis based on boosting convolutional neural network [J]. Laser & Optoelectronics Progress, 2019, 56(8): 91-97 (in Chinese).

Research progress and prospect of machine vision technology

ZHU Yun, LING Zhi-gang, ZHANG Yu-qiang

(National Engineering Laboratory for Robot Visual Perception and Control Technology, College of Electrical and Information Engineering, Hunan University, Changsha Hunan 410082, China)

Developed from the engineering of computer vision theory, machine vision involves such technologies as optical imaging, visual information processing, artificial intelligence, and mechatronics. With the transformation and upgrading of China’s manufacturing industry and development of relevant research, the machine vision technology, with the advantages of high precision, real-time performance, high-level automation and intelligence, has become one of the most significant driving forces for enhancing the intelligence of robots, thus being widely applied in modern industrial, agricultural, and military fields. In order to provide some guidance for researchers and engineers, this paper summarized an abundance of literature on machine vision technology, of which the research, development, and application in the recent decade were analyzed. Firstly, the development and current situation of machine vision around the world was introduced. Secondly, explorations were made on the key components of machine vision system including lighting, optical lenses, and cameras, vision processing algorithms including image preprocessing, image visual position, and segmentation, and the mainstream industrial software of machine vision. Thirdly, four typical applications of machine vision technology were presented, including production defect detection, intelligent visual surveillance, autopilot and assisted driving, and medical imaging diagnosis. Finally, the current challenges faced by machine vision were analyzed, with the future trends of machine vision predicted. Thus, this paper will play an active role in the development and application promotion of machine vision science and technology.

machine vision; imaging system; visual processing algorithms; vision softeware; challenges and development trends

TP 242.2

10.11996/JG.j.2095-302X.2020060871

A

2095-302X(2020)06-0871-20

2020-04-09；

2020-08-06

9 April，2020；

6 August，2020

國家自然科學基金項目(61432004，61672202，61971183)；電子制造業智能機器人技術湖南省重點實驗室項目(IRT2018006)

National Natural Science Foundation of China (61432004, 61672202, 61971183); Hunan Key Laboratory of Intelligent Robot Technology in Electronic Manufacturing (IRT2018006)

朱 云(1977–)，男，云南華寧人，副教授，博士。主要研究方向為機器視覺、研發管理等。E-mail：zhuyun@hnu.edu.cn

ZHU Yun (1977-), male, assistant professor, Ph.D. His main research interests cover machine vision and research and development management. E-mail：zhuyun@hnu.edu.cn