基于5G的智能機(jī)器視覺檢測系統(tǒng)開發(fā)

葛 爽，姜明君，李明輝

（博世汽車部件（長沙）有限公司，長沙 410100）

0 引言

機(jī)器視覺是利用機(jī)器設(shè)備代替人工進(jìn)行檢測或測量任務(wù)的技術(shù)，它是集機(jī)械、電子、光學(xué)和軟件計(jì)算等技術(shù)為一體的工業(yè)化應(yīng)用，目前已被廣泛應(yīng)用于測量、檢測、引導(dǎo)和識(shí)別等領(lǐng)域。傳統(tǒng)機(jī)器視覺檢測需要人工設(shè)計(jì)特征提取算法進(jìn)行分類識(shí)別任務(wù)，檢測方法具有針對(duì)性，系統(tǒng)魯棒性能差[1]。近年來，隨著計(jì)算機(jī)技術(shù)的迅猛發(fā)展，深層卷積神經(jīng)網(wǎng)絡(luò)在圖像處理中強(qiáng)大特征提取與歸納能力取得重大進(jìn)展，在圖像識(shí)別、圖像分類、目標(biāo)檢測、語義分割、生成對(duì)抗等計(jì)算機(jī)視覺各個(gè)領(lǐng)域中應(yīng)用[2]。

傳統(tǒng)工業(yè)互聯(lián)網(wǎng)主要是依靠有線網(wǎng)絡(luò)或者WiFi網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)交互或者遠(yuǎn)程控制的，工業(yè)應(yīng)用具有很大局限性，如有線網(wǎng)絡(luò)對(duì)設(shè)備部署帶來很多限制，WiFi網(wǎng)絡(luò)存在信號(hào)不穩(wěn)定，傳輸速度慢，響應(yīng)時(shí)間長等問題[3]。5G即第五代移動(dòng)通訊技術(shù)，它不僅帶來了無線網(wǎng)絡(luò)服務(wù)架構(gòu)的革新，而且具有低延時(shí)、大帶寬、高可靠等特點(diǎn)，能有效解決生產(chǎn)線設(shè)備線束多，網(wǎng)絡(luò)信號(hào)不穩(wěn)定及干擾等問題，從而為工業(yè)網(wǎng)絡(luò)連接提供高可靠服務(wù)保障。隨著5G技術(shù)的不斷發(fā)展，基于AI的機(jī)器視覺系統(tǒng)正在催生更大的應(yīng)用市場[4]。通過5G網(wǎng)絡(luò)將數(shù)發(fā)送到云端服務(wù)器，可以實(shí)現(xiàn)更加復(fù)雜的運(yùn)算和更短的時(shí)間響應(yīng)。但是將5G和深度學(xué)習(xí)技術(shù)同時(shí)應(yīng)用到工業(yè)視覺檢測領(lǐng)域的案例仍然非常少，其中重要原因，第一是目前市場上還沒有真正的成熟的5G工業(yè)相機(jī)，通過5G終端實(shí)現(xiàn)的圖片數(shù)據(jù)傳輸方案比較復(fù)雜，成本高；第二是因?yàn)殡m然深度學(xué)習(xí)技術(shù)具有特征提取自學(xué)習(xí)、魯棒性強(qiáng)和更靈活等特點(diǎn)，但是對(duì)計(jì)算機(jī)算力要求也更高，所以相應(yīng)需要更大的算力硬件投入[5]。

針對(duì)以上問題，本文提出了在工廠5G專網(wǎng)架構(gòu)下，充分發(fā)揮5G和人工智能結(jié)合的優(yōu)勢，開發(fā)5G工業(yè)相機(jī)進(jìn)行圖像數(shù)據(jù)的采集和傳輸，設(shè)計(jì)開發(fā)基于深度學(xué)習(xí)的智能視覺檢測平臺(tái)，并通過多個(gè)測試工位共享該智能視覺檢測平臺(tái)，搭建快速的、并行的、智能化檢測系統(tǒng)，并應(yīng)用于實(shí)際生產(chǎn)測試中，不僅提高了檢測效率，減小了誤報(bào)率，而且降低硬件投入成本，推動(dòng)基于5G的智能機(jī)器視覺檢測在工業(yè)領(lǐng)域的應(yīng)用與普及。

1 5G智能機(jī)器視覺檢測系統(tǒng)

機(jī)器視覺檢測已是工業(yè)檢測的重要組成部分，貫穿于產(chǎn)品加工、測試、組裝、包裝等各個(gè)生產(chǎn)環(huán)節(jié)，但當(dāng)前各生產(chǎn)環(huán)節(jié)還是存在大量依靠人工目檢的視覺檢測的場景，由于檢測結(jié)果主觀性強(qiáng)，易受檢測人員經(jīng)驗(yàn)、心情等因素的影響，所以容易造成產(chǎn)品質(zhì)量風(fēng)險(xiǎn)隱患[6]。基于5G智能機(jī)器視覺檢測系統(tǒng)通過在5G工廠專網(wǎng)架構(gòu)下，利用自研發(fā)的5G工業(yè)相機(jī)大帶寬、低延時(shí)等特點(diǎn)實(shí)現(xiàn)海量高清圖片數(shù)據(jù)的采集和傳輸并與遠(yuǎn)程部署的AI服務(wù)器進(jìn)行交互，根據(jù)不同生產(chǎn)應(yīng)用場景或者不同工位視覺測試需求，搭建快速的、并行的、智能化的檢測網(wǎng)絡(luò)。

通過遠(yuǎn)程端AI算法服務(wù)器的部署，不僅能提升圖像分析處理能力，而且提高了設(shè)備端輕量化程度和靈活性，同時(shí)多檢測工位可以共享AI算法服務(wù)，減少了硬件及算力的浪費(fèi)，同時(shí)設(shè)備的日常維護(hù)或算法更新等工作也只需要在服務(wù)器端進(jìn)行，大大降低了維護(hù)成本。基于5G的智能機(jī)器視覺檢測系統(tǒng)結(jié)構(gòu)如圖1所示，整個(gè)系統(tǒng)核心包括5G工業(yè)相機(jī)和智能視覺檢測平臺(tái)兩個(gè)部分。

1.1 5G工業(yè)相機(jī)

工業(yè)相機(jī)的功能是將光信號(hào)轉(zhuǎn)變成有序的電信號(hào)，具有更高的成像穩(wěn)定性、傳輸能力和抗干擾能力等，其性能好壞不僅直接影響圖像的分辨率和質(zhì)量，更關(guān)系著整個(gè)生產(chǎn)過程的效率[7]。由于圖像的數(shù)量和精度快速攀升，對(duì)網(wǎng)絡(luò)傳輸?shù)牡脱舆t需求愈發(fā)強(qiáng)烈，在4G時(shí)代，受限于傳輸速度和時(shí)延等性能，圖像傳輸前端和后端通訊響應(yīng)時(shí)間比較長，無法實(shí)現(xiàn)實(shí)時(shí)通訊，在5G技術(shù)加持下，工業(yè)相機(jī)傳輸實(shí)現(xiàn)了性能的突破。

現(xiàn)有的傳統(tǒng)工業(yè)相機(jī)，如果需要通過5G網(wǎng)絡(luò)傳輸圖片數(shù)據(jù)到基站，必須借助于CPE信號(hào)轉(zhuǎn)換，并不是真正意義的5G工業(yè)相機(jī)，同時(shí)，增加的CPE和線束影響設(shè)備端的輕量化和靈活度。目前市場還沒有成熟的5G工業(yè)相機(jī)設(shè)備，因此，開發(fā)無線5G工業(yè)相機(jī)進(jìn)行圖像數(shù)據(jù)采集和傳輸是5G機(jī)器視覺檢測的基礎(chǔ)和必要條件。自研發(fā)的5G無線工業(yè)相機(jī)如圖1所示，相機(jī)主要由成像模組、控制器和5G通訊模塊3個(gè)部分組成。

圖1 基于5G的智能機(jī)器視覺檢測系統(tǒng)結(jié)構(gòu)

（1）成像模組。包括一個(gè)CMOS面陣傳感器和鏡頭。主要負(fù)責(zé)現(xiàn)場端圖像的獲取，可根據(jù)不同應(yīng)用場景需求進(jìn)行適配和選型。

（2）控制器。5G工業(yè)相機(jī)的核心，主要負(fù)責(zé)控制成像模組圖像采集和GPIO輸出控制，以及提供5G通訊模塊接口等。

（3）5G通訊模塊。提供大帶寬、高可靠、低延時(shí)的網(wǎng)絡(luò)環(huán)境，支持sub-6 GHz和毫米波頻段以及5G獨(dú)立組網(wǎng)（SA）和非獨(dú)立組網(wǎng)（NSA）兩種運(yùn)行模式。

1.2 智能視覺檢測云平臺(tái)

智能視覺檢測平臺(tái)是檢測系統(tǒng)的核心，一般部署在遠(yuǎn)程端，主要負(fù)責(zé)數(shù)據(jù)的云存儲(chǔ)、云處理和云協(xié)同等功能，同時(shí)利用容器技術(shù)將不同檢測工位組網(wǎng)，實(shí)現(xiàn)1對(duì)多的檢測任務(wù)與應(yīng)用支持，降低硬件成本和設(shè)備端復(fù)雜程度。智能視覺檢測平臺(tái)架構(gòu)如圖2所示，分為存儲(chǔ)層、容器層、算法層、應(yīng)用層和決策層。

圖2 5G工業(yè)相機(jī)

（1）存儲(chǔ)層。數(shù)據(jù)的存儲(chǔ)是智能視覺檢測平臺(tái)的基礎(chǔ)工作，由于需要存儲(chǔ)的圖片數(shù)據(jù)體量大，因此采用基于Hadoop分布式存儲(chǔ)技術(shù)，保證海量生產(chǎn)數(shù)據(jù)的快速、高效、可靠性傳輸和存儲(chǔ)。

（2）容器層。根據(jù)實(shí)際應(yīng)用需求，利用Kubern-etes或Docker技術(shù)構(gòu)建算法上層應(yīng)用接口，實(shí)現(xiàn)1對(duì)n的檢測任務(wù)。

（3）算法層。對(duì)圖像數(shù)據(jù)進(jìn)行處理分析實(shí)現(xiàn)對(duì)特定目標(biāo)的檢測、分析與識(shí)別，包含基于open-cv傳統(tǒng)算法和深度學(xué)習(xí)算法。各個(gè)算法高度集成化、模塊化，以便于重復(fù)調(diào)用。

（4）應(yīng)用層。根據(jù)實(shí)際應(yīng)用需求，通過編排器的方式將算法模塊進(jìn)行組合和調(diào)用，以完成檢測程序的封裝。

（5）決策層。依據(jù)圖像分析結(jié)果進(jìn)行決策判斷，并制定相應(yīng)響應(yīng)策略，包括控制，協(xié)同與顯示等。

2 5G智能視覺檢測系統(tǒng)關(guān)鍵技術(shù)

2.1 自研發(fā)的5G工業(yè)相機(jī)

工業(yè)相機(jī)是機(jī)器視覺系統(tǒng)中一個(gè)關(guān)鍵組件，其本質(zhì)的功能是將光信號(hào)轉(zhuǎn)變成有序的能被電子系統(tǒng)處理的電信號(hào)，具有高的成像穩(wěn)定性、高傳輸能力和高抗干擾能力等特點(diǎn)[8]。目前所有的5G視覺解決方案中，工業(yè)相機(jī)采集圖片后都需要借助于5G終端或者CPE傳輸圖片數(shù)據(jù)，大大增加了設(shè)備端的復(fù)雜程度。

5G工業(yè)相機(jī)是依靠5G的大帶寬、低延時(shí)和高可靠性等特點(diǎn)實(shí)現(xiàn)海量高清數(shù)據(jù)的采集功能，為保證特殊場景圖像傳輸速度，自研發(fā)5G工業(yè)相機(jī)利用MPEG-4 AVC圖片編碼技術(shù)對(duì)圖片進(jìn)行壓縮后傳輸，5G工業(yè)相機(jī)關(guān)鍵技術(shù)開發(fā)如圖3所示。相對(duì)于現(xiàn)有的5G圖像采集傳輸方案，自研發(fā)的5G工業(yè)相機(jī)配置簡單，支持遠(yuǎn)程部署和控制，插卡即用，依靠高效、穩(wěn)定的5G網(wǎng)絡(luò)實(shí)現(xiàn)端對(duì)端的實(shí)時(shí)圖像數(shù)據(jù)采集傳輸任務(wù)，可滿足當(dāng)前許多工業(yè)智能檢測應(yīng)用場景。

圖3 智能視覺檢測云平臺(tái)架構(gòu)

2.2 平臺(tái)化系統(tǒng)設(shè)計(jì)

傳統(tǒng)視覺檢測系統(tǒng)通常是為特定場景定制化開發(fā)的，光源、工業(yè)相機(jī)、圖像處理等單元模塊都在設(shè)備端，體積大，系統(tǒng)復(fù)雜，升級(jí)維護(hù)成本高。5G智能視覺檢測系統(tǒng)是基于C/S架構(gòu)設(shè)計(jì)的，設(shè)備端只保留5G工業(yè)相機(jī)，圖像處理能力移到后端智能檢測平臺(tái)上，各檢測工位只需采集圖片傳輸?shù)狡脚_(tái)端處理即可獲得檢測結(jié)果，具有以下優(yōu)勢。

（1）通過5G內(nèi)網(wǎng)架構(gòu)實(shí)現(xiàn)企業(yè)整體視覺檢測體系，可同時(shí)滿足多場景、多檢測點(diǎn)并行的檢測及智能化管理需求。

（2）圖像的存儲(chǔ)和分析處理算法主要部署在平臺(tái)端，極大提升設(shè)備的存儲(chǔ)和數(shù)據(jù)分析處理能力，減少了硬件及算力浪費(fèi)，實(shí)現(xiàn)數(shù)據(jù)云存儲(chǔ)，云計(jì)算和云協(xié)同。

（3）設(shè)備端只需5G相機(jī)即可實(shí)現(xiàn)智能視覺檢測，有效降低工位檢測成本，提高設(shè)備端輕量化程度及靈活性。

（4）對(duì)于設(shè)備的日常維護(hù)或者算法更新，只需要在服務(wù)器端進(jìn)行即可，降低了設(shè)備維護(hù)成本。

圖4 5G工業(yè)相機(jī)關(guān)鍵技術(shù)開發(fā)

2.3 基于深度學(xué)習(xí)的智能視覺算法

傳統(tǒng)圖像處理算法主要靠算法開發(fā)人員根據(jù)具體應(yīng)用所處環(huán)境、光源及被檢產(chǎn)品特點(diǎn)等因素人工設(shè)計(jì)特征提法方法，該方法對(duì)開發(fā)人員專業(yè)知識(shí)要求較高且泛化能力及魯棒性能差，只能用來解決特定場景、可人工定義、設(shè)計(jì)、理解的圖像分析任務(wù)。

深度學(xué)習(xí)算法主要是基于數(shù)據(jù)驅(qū)動(dòng)進(jìn)行圖像特征提取的方法，該方法根據(jù)大量圖片樣本的學(xué)習(xí)可以得到更深層、更高效和更準(zhǔn)確的圖像特征表示，泛化能力和魯棒性更強(qiáng)，并且是端對(duì)端的，無需復(fù)雜的調(diào)參過程[9]。本系統(tǒng)搭建的智能視覺檢測云平臺(tái)支持深度學(xué)習(xí)算法訓(xùn)練的全部流程，包括數(shù)據(jù)集存儲(chǔ)管理、圖片標(biāo)注、模型訓(xùn)練、模型部署等功能。目前已集成部署的深度學(xué)習(xí)算法有分類算法（VGG16，Resnet50，SENet等），目標(biāo)檢測算法（Faster-RCNN，YOLOv3，YOLOv5），圖像分割算法（FCN，Unet），光學(xué)字符識(shí)別OCR（advanced EAST+CRNN），生成對(duì)抗網(wǎng)絡(luò)GAN（encode+decode，Pix2Pix），智能平臺(tái)通過模塊化、標(biāo)準(zhǔn)化的系統(tǒng)設(shè)計(jì)，大大降低了算法應(yīng)用開發(fā)的難度，縮短了算法模型驗(yàn)證和部署的時(shí)間。

3 系統(tǒng)應(yīng)用驗(yàn)證

長沙博世作為5G工業(yè)互聯(lián)網(wǎng)示范工廠，目前已經(jīng)實(shí)現(xiàn)5G專網(wǎng)信號(hào)無死角全覆蓋，可同時(shí)保障5G信號(hào)強(qiáng)度及上下行帶寬（下行700 Mb/s以上，上行200 Mb/s以上），可保證所有智能視覺檢測應(yīng)用測試場景對(duì)網(wǎng)絡(luò)數(shù)據(jù)傳輸?shù)男枨蟆?/p>

馬達(dá)包裝是所有馬達(dá)產(chǎn)線最后一個(gè)生產(chǎn)工序，如果馬達(dá)包裝發(fā)生漏裝或者裝錯(cuò)型號(hào)的情況，沒有其他有效手段進(jìn)行攔截，將直接造成客戶投訴。由于傳統(tǒng)圖像處理算法對(duì)于環(huán)境和位置的變化要求非常高，所以不適用于此場景檢測，目前包裝重量的測量方法可以有效規(guī)避馬達(dá)包裝漏裝的情況，但是馬達(dá)錯(cuò)裝的情況仍無法有效檢測。

針對(duì)博世產(chǎn)線馬達(dá)包裝漏裝檢測需求，以馬達(dá)數(shù)量和型號(hào)為檢測目標(biāo)，進(jìn)行馬達(dá)包裝檢測，基于5G的馬達(dá)包裝智能檢測臺(tái)如圖5所示，通過自研發(fā)5G工業(yè)相機(jī)進(jìn)行實(shí)時(shí)圖片數(shù)據(jù)采集并傳輸?shù)竭h(yuǎn)程端AI服務(wù)器中智能檢測平臺(tái)進(jìn)行處理，實(shí)現(xiàn)馬達(dá)型號(hào)和數(shù)量的端對(duì)端的實(shí)時(shí)檢測，并在操作員拿走包裝后觸發(fā)結(jié)果輸出，利用聲光報(bào)警裝置告知操作員檢測結(jié)果。

圖5 基于5G的智能馬達(dá)包裝檢測臺(tái)

為方便技術(shù)人員查看結(jié)果，智能視覺檢測平臺(tái)輸出的可視化界面如圖6所示，應(yīng)用的平臺(tái)算法主要是目標(biāo)檢測算法YOLOv5和分類算法VGG-16。

圖6 基于5G智能馬達(dá)包裝檢測可視化界面

實(shí)際生產(chǎn)測試表明系統(tǒng)可實(shí)時(shí)檢測各種型號(hào)馬達(dá)和數(shù)量，準(zhǔn)確率達(dá)99.5%以上，與重量測試檢測方法相比，生產(chǎn)效率提高0.5%，誤報(bào)率降低8%。并且通過該系統(tǒng)的應(yīng)用和推廣，實(shí)施成本降低30%，運(yùn)維成本降低25%，實(shí)現(xiàn)了低成本、智能化的工業(yè)視覺檢測任務(wù)。

4 結(jié)束語

基于5G的智能機(jī)器視覺檢測系統(tǒng)是將5G和AI技術(shù)相結(jié)合，為生產(chǎn)的各種場景實(shí)現(xiàn)端對(duì)端的檢測而打造的平臺(tái)化、智能化工業(yè)視覺檢測系統(tǒng)。相較于現(xiàn)有的工業(yè)視覺檢測成本高、誤報(bào)率高、功能單一等問題，該系統(tǒng)成本低、功能完善，滿足多場景視覺檢測需求，適合在工業(yè)領(lǐng)域大規(guī)模部署。自研發(fā)的5G工業(yè)相機(jī)的采用大大降低了設(shè)備端的復(fù)雜度，有利于設(shè)備端的輕量化和靈活度，模塊化的算法設(shè)計(jì)和標(biāo)準(zhǔn)化的操作流程提高了系統(tǒng)的通用性和可復(fù)制性。系統(tǒng)測試表明，通過多測試工位并行接入，大大降低投入成本，有效解決制造業(yè)產(chǎn)品視覺檢測系統(tǒng)響應(yīng)慢、誤報(bào)率高、成本高等痛點(diǎn)和難點(diǎn)問題。