采用Jetson嵌入式平臺的LCD儀表數(shù)字識別方法研究

摘"要：當(dāng)前各行各業(yè)面臨著數(shù)字化轉(zhuǎn)型，亟需工廠各個環(huán)節(jié)設(shè)備的儀表數(shù)據(jù)進(jìn)行全流程的感知，然而大量接口封閉和無數(shù)據(jù)接口的LCD數(shù)字儀表難以快速地獲得數(shù)據(jù)。針對LCD儀表數(shù)字檢測識別過程中的圖像信息冗余、顯示屏幀切換導(dǎo)致的數(shù)字重影和邊緣側(cè)快速部署需求，提出了一種采用Jetson嵌入式平臺的LCD儀表數(shù)字識別方法。該方法通過設(shè)定感興趣區(qū)域（Region"of"Interest，"ROI）減少冗余信息，并結(jié)合幀間差分獲得ROI閾值信息，過濾掉儀表重影圖像，最后應(yīng)用PPOCRv2輕量化網(wǎng)絡(luò)模型中的檢測網(wǎng)絡(luò)模型和識別網(wǎng)絡(luò)模型。測試結(jié)果表明，在Jetson嵌入式平臺部署程序，采用幀間差分法能夠顯著地過濾掉LCD儀表數(shù)字重影圖像，獲得穩(wěn)定的儀表數(shù)值，其檢測速度平均為0.37"s，滿足工廠場景實(shí)際需求。

關(guān)鍵詞：數(shù)字儀表識別；幀間差分；深度網(wǎng)絡(luò)模型；嵌入式平臺

中圖分類號：TP242.2"""""""文獻(xiàn)標(biāo)識碼：A

Research"on"Digital"Recognition"Method"for"LCD"Meter

Using"Jetson"Embedded"Platform

GUO"Qingda1，2，"LIU"Jian2，"LI"Jian2，"HU"Kunyuan1，2，"YU"Guangping1，2

（1．Shenyang"Institute"of"Automation，"Chinese"Academy"of"Sciences，"Shenyang，"Liaoning"110017，China;

2．Guangzhou"Institute"of"Industrial"Intelligence，"Guangzhou，"Guangdong"511458，China）

Abstract：At"present"various"industries"are"needing"digital"transformation"and"there"is"an"urgent"need"for"full"process"perception"of"meter"data"from"various"equipment"in"factories."However，"a"large"number"of"LCD"digital"meter"with"closed"interfaces"and"no"data"interfaces"are"difficult"to"quickly"obtain"data."Due"to"the"redundancy"of"image"information，"digital"ghosting"caused"by"screen"frame"switching"and"rapid"deployment"requirements"on"the"edgenbsp;side，"we"proposed"a"digital"recognition"method"for"LCD"meter"using"the"Jetson"embedded"platform."The"method"reduces"redundant"information"by"setting"regions"of"interest"（ROI），"and"filters"meter"ghosting"images"by"setting"ROI"threshold"value"obtained"through"interframe"difference."Finally，"detection"network"model"and"recognition"network"model"in"the"PPOCRv2"lightweight"network"model"are"applied."The"test"results"show"that"the"program"is"easily"deployed"on"the"Jetson"embedded"platform，"filter"out"LCD"meter"digital"ghosting"images"and"obtain"right"meter"display"values."The"digital"recognition"method"has"an"average"detection"speed"of"0.37"s"and"meet"the"actual"needs"of"industry"scenarios.

Key"words：digital"meter"recognition；interframe"difference"method；deep"neural"network；embedded"platform

近些年，隨著物聯(lián)網(wǎng)和工業(yè)互聯(lián)網(wǎng)等技術(shù)的快速發(fā)展，各行各業(yè)構(gòu)建了“云-邊-端”架構(gòu)的云平臺并融合新一代人工智能技術(shù)，實(shí)現(xiàn)企業(yè)數(shù)字化、網(wǎng)絡(luò)化、智能化、綠色化發(fā)展[1-3]。構(gòu)建云平臺的基礎(chǔ)是設(shè)備或工藝流程中設(shè)備參數(shù)，這些數(shù)據(jù)的深度挖掘可以感知、預(yù)測設(shè)備故障或者工藝狀態(tài)。在離散或流程制造現(xiàn)場，通常部署大量的儀器儀表，實(shí)現(xiàn)設(shè)備或者工藝狀態(tài)的監(jiān)測控制。現(xiàn)場的各種儀表一般分為接口開放型、接口封閉型和無數(shù)據(jù)接口型。接口開放型儀表可通過各種通信協(xié)議進(jìn)行網(wǎng)絡(luò)協(xié)議轉(zhuǎn)換，獲得儀表數(shù)據(jù)并上傳至云端；接口封閉型和無數(shù)據(jù)接口型儀表不能通過工業(yè)通信協(xié)議轉(zhuǎn)換獲得儀表數(shù)據(jù)，而計(jì)算機(jī)視覺和深度網(wǎng)絡(luò)模型的發(fā)展為儀表數(shù)據(jù)圖像識別獲得提供了一種可行的解決方案。

儀表一般分為指針型和數(shù)字型儀表，而在數(shù)字型儀表中LCD儀表是較為常見的類型。由于儀表類型種類多種多樣，其解決方案也是各有不同。陳開峰等[4]提出改進(jìn)YOLOv5的目標(biāo)檢測框架，針對數(shù)字儀表目標(biāo)區(qū)域在整張圖片大小不一致的情況，實(shí)現(xiàn)感興趣區(qū)域的迭代目標(biāo)檢測方法。華澤璽等[5]針對變電站場景中的數(shù)字儀表（7段數(shù)字），提出了一種基于輕量級YOLOv4模型的數(shù)字儀表檢測識別方法，在不損失精度的情況下將模型壓縮大約5倍。曾科等[6]針對字符3和7誤識別率高，提出了一種用傾斜直線代替?zhèn)鹘y(tǒng)的豎直直線的改進(jìn)方法。楊鑫威等[7]針對數(shù)字儀表圖像中示數(shù)區(qū)域存在透視畸變的問題，提出一種基于八點(diǎn)回歸的凸四邊形示教區(qū)域擬合算法。祝長生等[8]面向溫濕度檢定儀的數(shù)字識別提出了一種基于不變矩（Hu矩與Zernike矩）信息融合的數(shù)字識別算法。寇文博等[9]以數(shù)顯式流量計(jì)儀表字符為研究對象，提出了一種改進(jìn)Transformer模型的儀表字符識別算法。Karthick"等[10]提出了面向電能儀表7段數(shù)字的YUVA"EB數(shù)據(jù)集，涉及傾斜、模糊、白天和夜間等儀表圖像，進(jìn)一步地采用MSER和標(biāo)記方法進(jìn)行OCR（Optical"Character"Recognition）儀表識別。這些方法皆面向固定場景或者特定對象的數(shù)字儀表識別，在LCD儀表數(shù)字中難以遷移應(yīng)用。

多場景通用性O(shè)CR網(wǎng)絡(luò)模型獲得了突破性發(fā)展，尤其是百度公司開源了PaddleOCR框架[11]，支持多種深度網(wǎng)絡(luò)模型，并可在多平臺進(jìn)行部署應(yīng)用。這為在Jetson嵌入式平臺搭建邊緣側(cè)的LCD儀表數(shù)字識別方案，提供了一種可行性方案。由于LCD儀表顯示屏具有大量的冗余信息和顯示屏幀切換時的數(shù)字重影，不能直接地檢測識別獲得準(zhǔn)確的儀表數(shù)值。本文在輕量化深度網(wǎng)絡(luò)模型PPOCRv2和幀間差分法基礎(chǔ)上，搭建了基于Jetson嵌入式平臺的一套面向LCD儀表數(shù)字識別方法，最后采用某時間段LCD儀表視頻進(jìn)行了對比測試。

1"系統(tǒng)架構(gòu)及算法

1.1"項(xiàng)目算法框架

本項(xiàng)目建立了一種基于Jetson嵌入式平臺的LCD儀表數(shù)字識別框架，如圖1所示。首先，在原始圖像上采用交互操作建立目標(biāo)感興趣區(qū)域（ROI），進(jìn)行圖像分割以提取關(guān)鍵圖像區(qū)域并減少計(jì)算量，采用幀間差分法過濾儀表數(shù)字重影圖像，最后采用PPOCRv2網(wǎng)絡(luò)框架進(jìn)行數(shù)字識別，其中去掉文字方向識別模型，保留數(shù)字檢測和識別模型。

1.2"幀間差分法

幀間差分法[12]是指使用視頻相鄰兩幀圖像進(jìn)行差分獲得差異區(qū)域圖像，通過其亮度差的絕對值來分析視頻或圖像序列中的運(yùn)動特性，因此一般多用在運(yùn)動區(qū)域檢測場景或者序列圖像差異性檢測。

設(shè)Ak（i，j）為第k幀灰度圖像，Ak-1（i，j）為第k-1幀灰度圖像，將兩幅圖像進(jìn)行差分處理，獲得：

Dk（i，j）=Ak（i，j）-Ak-1（i，j）

將幀差圖像進(jìn)行二值化處理，獲得二值圖像Tk（i，j）：

Tk（i，j）=1"Dk（i，j）≥Th

0"Dk（i，j）lt;Th

其中Tk（i，j）為二值化后的像素，Th為設(shè)定的像素閾值。

1.3"輕量化網(wǎng)絡(luò)模型

PPOCRv2網(wǎng)絡(luò)模型引入了知識蒸餾訓(xùn)練策略，解決端側(cè)預(yù)測效率較差、背景復(fù)雜以及相似字符的誤識等問題；相比于PPOCR深度網(wǎng)絡(luò)模型魯棒性更強(qiáng)，比PPOCR提升模型精度7%。

在文字檢測網(wǎng)絡(luò)模型中，采用了協(xié)同互學(xué)習(xí)（Collaborative"Mutual"Learning，CML）和CopyPaste數(shù)據(jù)增強(qiáng)。CML利用兩個Student網(wǎng)絡(luò)和一個Teacher網(wǎng)絡(luò)來學(xué)習(xí)更強(qiáng)大的文本檢測器，如圖2（a）所示。CopyPaste是一種新的數(shù)據(jù)增強(qiáng)技巧，已被證明能有效提高目標(biāo)檢測和實(shí)例分割任務(wù)的性能。

在文字識別網(wǎng)絡(luò)模型中，采用了輕量化CPU模型（Lightweight"CPU"Network，PPLCNet）、統(tǒng)一深度相互學(xué)習(xí)（UnifiedDeep"Mutual"Learning）和增強(qiáng)損失函數(shù)（Enhanced"CTC"Loss）。輕量化CPU模型是一種新設(shè)計(jì)的基于Intel"CPU的輕量級骨架網(wǎng)絡(luò)，它是從MobileNetV1改進(jìn)而來的，如圖2（b）所示。統(tǒng)一深度相互學(xué)習(xí)利用兩個Student網(wǎng)絡(luò)學(xué)習(xí)更準(zhǔn)確的文本識別器。增強(qiáng)損失函數(shù)采用CenterLoss方法來降低相似字符的錯誤。

2"軟硬件搭建與算法測試

2.1"硬件和軟件平臺

NVIDIA"Jetson是目前部署深度網(wǎng)絡(luò)模型的理想嵌入式平臺，其在深度學(xué)習(xí)方面具有計(jì)算效率高、能耗低和方便部署等優(yōu)點(diǎn)。Jetson"TX2采用NVIDIA"Pascal架構(gòu)，支持256顆CUDA核心，可以構(gòu)建更大型的深度網(wǎng)絡(luò)模型，如圖3（a）所示為Jetson"TX2的開發(fā)者套件。

Jetson"TX2的開發(fā)者套件支持CSI攝像頭，然而其僅滿足Python2語言的開發(fā)應(yīng)用，因此項(xiàng)目采用USB攝像頭（RGB，分辨率：1920×1080）進(jìn)行系統(tǒng)搭建，滿足Python3語言的開發(fā)應(yīng)用，如圖3（b）所示；項(xiàng)目采用水質(zhì)監(jiān)測儀表（濁度）進(jìn)行LCD數(shù)據(jù)測試，如圖4所示。

運(yùn)行在Jetson平臺的是Ubuntu1804系統(tǒng)，采用Pycharm軟件平臺和Python3語言編程（版本3.8），需要用到的庫包括OpenCVPython、Matplotlib、PaddleOCR、Numpy、Scikitimage、Polygon3、PIL等。

2.2"算法測試步驟

為了驗(yàn)證和完善算法，主要進(jìn)行以下步驟：

1）把USB攝像頭放置在LCD儀表正前面，使其能夠清晰地拍攝到數(shù)字區(qū)域；

2）啟動Jetson嵌入式平臺，加載輕量化深度網(wǎng)絡(luò)模型主程序；

3）啟動USB攝像頭捕捉儀表圖像，手動選定待識別的數(shù)字ROI區(qū)域；

4）根據(jù)選定的數(shù)字ROI區(qū)域進(jìn)行圖像分割減少圖像尺度，進(jìn)行幀間差分處理；

5）統(tǒng)計(jì)幀間差分法后的二值化像素，判斷是否進(jìn)行下一步數(shù)字檢測與識別。

6）如果二值化圖像滿足設(shè)定的閾值，將由輕量化深度網(wǎng)絡(luò)模型進(jìn)行檢測識別；如果二值化圖像不滿足閾值，將重新獲得儀表圖像；

7）完成識別后的LCD儀表數(shù)值，將發(fā)送給服務(wù)器端進(jìn)行云臺的數(shù)據(jù)保存及后續(xù)處理。

2.3"結(jié)果分析

我們從圖像序列中獲取了10組LCD儀表穩(wěn)定狀態(tài)和顯示屏幀切換狀態(tài)的RGB圖像進(jìn)行了幀間差分預(yù)處理，如圖5（a）（b）所示，其中穩(wěn)定狀態(tài)的圖像比較清晰，而顯示屏幀切換時的重影圖像由于顯示屏拖影產(chǎn)生重影圖像，難以分辨出準(zhǔn)確的數(shù)字。在對LCD儀表穩(wěn)定狀態(tài)和顯示屏幀切換時的RGB圖像灰度化后，進(jìn)行幀間差分法計(jì)算，如圖5（c）；再對幀間差分法后的灰圖像進(jìn)行二值化，如圖5（d）所示，可清晰地觀測重影區(qū)域，最后統(tǒng)計(jì)幀間差分后的二值化圖中所變化像素值。

3"數(shù)字識別結(jié)果與對比分析

根據(jù)10組圖像分析，在幀間差分后的圖像進(jìn)行了重影像素閾值設(shè)定（測試中設(shè)為零），以過濾LCD儀表顯示屏幀切換時的數(shù)字重影圖像，獲得儀表數(shù)字穩(wěn)定狀態(tài)的圖像。進(jìn)一步地，在此硬件基礎(chǔ)上保存了某段時間內(nèi)的視頻序列，分別進(jìn)行有無過濾重影圖像的LCD儀表數(shù)字識別，結(jié)果如圖6（a）（b）所示，可觀測到采用幀間差分法的預(yù)處理模塊能過濾LCD儀表數(shù)字的重影圖像，獲得儀表的準(zhǔn)確數(shù)值并同時減少LCD儀表非自身的數(shù)值波動干擾；圖6（c）顯示兩個無過濾的LCD儀表數(shù)字識別的擾動數(shù)值情況。同時，連續(xù)500幀的檢測、識別測試，其平均每幀時間為0.37"s，能夠滿足大多數(shù)LCD儀表數(shù)字識別場景。

作為對比測試，進(jìn)一步地針對USB攝像機(jī)原始圖像未經(jīng)按需設(shè)定數(shù)字ROI區(qū)域，進(jìn)行PPOCRv4檢測模型與識別模型處理，結(jié)果如圖7所示。PPOCRv4模型檢測與識別結(jié)果是多個無序文字或數(shù)字組，且存在誤識別的字符，難以準(zhǔn)確有效地獲得儀表數(shù)值，同時算法無存在重影過濾算法，不能滿足邊緣側(cè)的可靠性部署需求。

4"結(jié)"論

目前中國企業(yè)已基本完成了自動化改造，擁有大量的自動化設(shè)備儀器；在向“云-邊-端”數(shù)字體系架構(gòu)轉(zhuǎn)型過程中，大量接口封閉型和無數(shù)據(jù)接口型儀表的存在使管理者難以準(zhǔn)確地感知產(chǎn)品生產(chǎn)過程中的質(zhì)量態(tài)勢。針對工業(yè)現(xiàn)場中的LCD儀表數(shù)字識別需求，提出了一種采用Jetson嵌入式平臺的LCD儀表數(shù)字識別方法，通過設(shè)定數(shù)字ROI區(qū)域減少冗余圖像信息，采用幀間差分法過濾顯示屏幀切換過程中的數(shù)字重影圖像，最后基于PPOCRv2架構(gòu)中的數(shù)字檢測和識別模型獲得準(zhǔn)確的儀表數(shù)值。該方法每幀圖像的識別周期平均為0.37"s，可以滿足工廠大多數(shù)場景的儀表數(shù)字識別需求。未來的工作中將繼續(xù)采用Jetson嵌入式平臺，進(jìn)行多數(shù)據(jù)組的識別要求，探索在保持精度的情況下壓縮模型以及把設(shè)備部署至“云-邊-端”架構(gòu)。

參考文獻(xiàn)

［１］"周濟(jì)，周艷紅，王柏村，"等.面向新一代智能制造的人信息物理系統(tǒng)（HCPS）[J]."Engineering，"2019，"5（4）："71-97.

[2]"袁沐坤，"于廣平，"劉堅(jiān)，"等."基于感知-決策-評估的污水處理智能曝氣方法[J]."工業(yè)水處理，"2022，"42（4）："65-72.

[3]"何王金，"于廣平，"郭清達(dá)，"等.基于神經(jīng)網(wǎng)絡(luò)的鋰萃取率軟測量模型研究[J]."計(jì)算機(jī)仿真，"2021，"38（2）："174-179.

[4]"陳開峰，"俞偉聰，"唐雁文，"等."基于輕量化深度學(xué)習(xí)網(wǎng)絡(luò)的數(shù)字儀表識別[J]."科學(xué)技術(shù)與工程，"2023，"23（2）："674-680.

[5]"華澤璽，施會斌，羅彥，等．"基于輕量級YOLOv4模型的變電站數(shù)字儀表檢測識別[J]."西南交通大學(xué)學(xué)報(bào)，2024，59（1）：70-80.

[6]"曾科，高潮，扶新，等."多參數(shù)數(shù)顯儀表的自動識別方法研究[J]."中國測試，"2018，"44（12）："122-128."

[7]"楊鑫威，"鄧春華."基于巡檢機(jī)器人的數(shù)字儀表自動識別方法[J]."計(jì)算機(jī)工程與設(shè)計(jì)，"2023，"44（5）："1502-1510.

[8]"祝長生，"張成元，"徐亞超."溫濕度檢定儀中的數(shù)字式儀表識別[J]."科學(xué)技術(shù)與工程，"2020，"20（34）：14120-14125.

[9]"寇文博，"屈八一，"李智奇."一種改進(jìn)Transformer的儀表字符識別算法[J]."自動化與儀器儀表，"2022，"7："284-288.

[10]"KARTHICK"K，"KAVASKAR"S."Text"detection"and"recognition"in"raw"imagenbsp;dataset"of"seven"segment"digital"energy"meter"display[J]."Energy"Reports，"2019，"5："842-852.

[11]"DU"Y"N，"LI"C"X，"GUO"R"Y，"et"al."PPOCRv2："bag"of"tricks"for"ultra"lightweight"OCR"system[J]."arXiv"2021，"arXiv：2109.03144.

[12]"付蓮蓮，"丁鑫圣，"王映龍."基于幀間差分法的口罩佩戴檢測算法研究[J]."計(jì)算機(jī)仿真，"2022，"39（10）："250-254.