基于嵌入式視覺識別的透明液體液位實時檢測方法研究

曹承昊，錢炫言，伍哲

（1.海軍工程大學 動力工程學院，武漢 430033；2. 91999部隊）

0 引言

在容器中液體介質(zhì)的高低叫做液位，使用液位計及其儀表指示可以測量出液體的液位。采用機器視覺的方法來實時監(jiān)測并識別液位計讀數(shù)則可實現(xiàn)液位的遠距離監(jiān)測、指示、記錄和控制。

隨著計算機及人工智能技術(shù)的發(fā)展，基于視覺的場景識別方法取得了許多成果，并被應用于在各類液位的識別場景中。劉治鋒[1]應用圖像識別的方法，對采集的水位圖像進行了一系列處理，包括形狀矯正、光強矯正、目標分析、信息過濾、區(qū)域定位等，從而實現(xiàn)了水位的自動檢測；任明武等[2]同樣應用圖像識別方法精確地檢測和定位出水位線；在瓶裝液體識別的場景中，黃玲等[3]建立了一種帶標桿的透明瓶裝液體液位檢測系統(tǒng)，有效地利用了液體的折射原理，通過圖像處理確定標桿斷開的位置從而得到液位的高度；同樣采用視覺識別的方式，李寧等[4]也將該技術(shù)應用自動讀取水銀溫度計讀數(shù)，測量偏差率為0.01 ℃；姚坤等[5]則基于OpenCV開源平臺提出了透明瓶裝無色液體液位的實時監(jiān)測算法，其相對誤差在0.8%左右。

相對于傳統(tǒng)的圖像識別方法，神經(jīng)網(wǎng)絡的興起也為基于機器視覺的研究提供了新思路。深度神經(jīng)網(wǎng)絡模型，特別是深度卷積神經(jīng)網(wǎng)絡（DCNN）[6]在各種機器視覺的應用中獲得了巨大成功。Laroca等[7]提出了一種利用卷積神經(jīng)網(wǎng)絡的方法來解決自動抄表的問題；Salomon等引入深度學習方法實現(xiàn)了多刻度盤的識別，識別準確率可達93.6%；陳志恒等[8]采用基于EMD的BP神經(jīng)網(wǎng)絡對儲油罐的液位進行檢測，識別準確率為99%。

隨著視覺技術(shù)的發(fā)展，OCR技術(shù)、傳統(tǒng)圖像處理技術(shù)、神經(jīng)網(wǎng)絡技術(shù)等都得到了廣泛的應用，與此同時各類指示計的自動化識別需求也越來越多，如血管血清液位計的檢測[9]、試管液位檢測[10]、指針式儀表度數(shù)識別[13]、飲料灌裝液位識別[12]等。

因此，本文提出一種基于嵌入式環(huán)境下視覺識別的透明液體液位檢測方法，主要針對的是玻璃管液位計，例如YWZ系列液溫液位計，在對透明液體進行液位測量的場景中實現(xiàn)實時監(jiān)測。該方法提出了一種激光輔助方式，基于液體本身的介質(zhì)反射原理來增強液位面的視覺效果，并在面向嵌入式的應用環(huán)境中，采用MobileNets網(wǎng)絡模型來實現(xiàn)圖像的特征提?。蛔詈罄枚喑叨忍卣魅诤系姆椒▽崿F(xiàn)液位目標的檢測。實驗分析表明，本文提出的方法可有效實現(xiàn)透明液體的液位實時識別，可滿足工業(yè)化應用場景下對于該類型液位計進行實時數(shù)據(jù)監(jiān)測的應用需求。

1 方法

本文提出的面向透明液體的液位檢測方法，檢測任務中包括液位計檢測和液位位置點檢測。該方法采用多任務學習策略，同時預測液位計輪廓以及液位位置點，在預測液位計輪廓的同時，加入了是否為液位計輪廓的類別識別任務（物體或背景）。 因此最終本方法識別任務包括3項：是否為液位計輪廓、液位計輪廓位置及液位位置點檢測。

由于主要是面向透明液體的液位計檢測，同時考慮到在嵌入式環(huán)境條件下計算資源有限的情況，本文提出的檢測方法主要包括以下幾個步驟：1）激光輔助。根據(jù)液體介質(zhì)的光反射原理，利用激光照射來增強液位顯示的視覺效果。2）圖片尺寸調(diào)整。將圖像調(diào)整為640×640的尺寸，便于統(tǒng)一提取圖像特征。3）圖像特征提取。采用mobileNet網(wǎng)絡模型提取圖像特征，可以同時提取多尺寸的圖像特征。4）目標檢測。利用特征金字塔FPN網(wǎng)絡對各特征層進行獨立預測并實現(xiàn)多尺寸特征融合。5）識別結(jié)果輸出?；诙喑叽缛诤系奶卣?，識別結(jié)果輸出包含的三部分任務結(jié)果：是否為液位計輪廓、液位計輪廓位置及液位位置，如圖1所示。

圖1 面向多任務的液位位置關(guān)鍵點檢測方法

1.1 激光輔助

液位計本身往往是透明的，因此在對透明液體進行液位顯示的時候，通常無法有效地識別液位的位置。黃玲等[3]利用了液體折射的原理根據(jù)液面處出現(xiàn)的虛擬斷開的現(xiàn)象來識別液位位置，而這種方式對于環(huán)境光線的要求較高。本文考慮到透明液體介質(zhì)本身的光反射原理采用了激光照射增強的方式，如圖2所示。

圖2 基于激光輔助的液位指示

圖2（a）為透明液體液位在液位計中的顯示圖像，從圖中肉眼較難識別出液位的位置，圖2（b）為采用了激光照射方法后，透明液體液位在液位計中的顯示圖像，可以看出根據(jù)激光顏色較容易區(qū)分出液位區(qū)域，為后續(xù)基于視覺的分析方法提供了更加明顯的信號。

1.2 圖像尺寸調(diào)整

為了適應并更好地滿足面向圖像的特征分析與提取，本文對所有的分析圖像采用統(tǒng)一的尺寸640×640來進行分析。圖像尺寸的調(diào)整方式為按比例縮放，縮放不足部分采用灰色背景填充。部分尺寸調(diào)整效果如圖3所示。

(2)硫酸鹽的水溶性是發(fā)生TSR反應的重要影響因素，對于能夠啟動TSR反應的硫酸鹽，其溶解度越高，TSR反應速率越快，生成H 2 S越多。

圖3 圖像尺寸調(diào)整前后對比

如圖3所示，其中圖3（a）為原始圖像，經(jīng)過按比例縮放將尺寸統(tǒng)一調(diào)整為640×640。由于原圖寬度與高度不同，同時寬度小于高度，因此進行圖像等比例縮放直至將長度縮放到640 px后, 寬度不足，因此將圖像的寬度不足部分用灰色背景補足，如圖3（b）所示。

1.3 圖像特征提取

卷積神經(jīng)網(wǎng)絡（CNN）已經(jīng)普遍應用在計算機視覺領(lǐng)域，并且已經(jīng)取得了不錯的效果。根據(jù)近幾年來CNN在ImageNet的表現(xiàn)可以看到，為了追求分類準確度，模型深度越來越深，模型復雜度也越來越高，如深度殘差網(wǎng)絡（ResNet）層數(shù)已經(jīng)多達152層。然而，在某些真實的應用場景（如移動端或者嵌入式設備）中，如此大而復雜的模型是難以被應用的。例如一些嵌入式平臺上的應用（比如機器人和自動駕駛），它們的硬件資源有限，就十分需要一種輕量級、低延遲（同時精度尚可接受）的網(wǎng)絡模型。如果采用CNN會導致模型過于龐大，設備內(nèi)存占用過大，面臨著內(nèi)存不足的問題，且無法滿足這些場景對低延遲、響應速度快的要求，所以必須要建立一個小型的神經(jīng)網(wǎng)絡。事實上在建立小型和有效的神經(jīng)網(wǎng)絡這一問題中，已經(jīng)有了一些研究，如SqueezeNet、Google Inception、Flattened network等。大概可分為壓縮預訓練模型和直接訓練小型網(wǎng)絡兩種。

本文采用了由谷歌提出的一種輕量級深層神經(jīng)網(wǎng)絡MobileNets。MobileNets是基于一個流線型的架構(gòu)，主要關(guān)注優(yōu)化延遲，同時兼顧模型大小。它使用深度可分離的卷積來構(gòu)建輕量級的深層神經(jīng)網(wǎng)絡，它可以將標準卷積分解成一個深度卷積和一個點卷積（1×1卷積核）,如圖4所示。深度卷積將每個卷積核應用到每一個通道，而1×1卷積用來組合通道卷積的輸出。標準卷積的分解如圖4所示。

圖4（a）為標準卷積過濾，圖4（b）是從標準卷積過濾中分解出的一個深度卷積，將每一個卷積和應用到每一個通道；圖4（c）是從標準卷積中分解出的1×1 卷積，用來組合通道卷積的輸出。

圖4 MobileNets對標準卷積的分解過程

本文應用MobileNets對640×640的液位計圖像進行特征提取，分別提取了多尺寸的特征，包括256×256、128×128、64×64、32×32。為了便于表達，將MobileNets每部分網(wǎng)絡層（conv2、conv3、conv4、conv5）的最后一個殘差塊，分別命名為{C2,C3,C4,C5}。

1.4 多尺度特征融合

在使用MobileNets獲取到多尺寸的圖像特征后，我們就可以結(jié)合該特征信息進行液位位置的目標檢測。在傳統(tǒng)方法中一般是對頂層特征做預測，而通常情況下底層的特征語義信息比較少，但是目標位置準確；高層的特征語義信息比較豐富，但是目標位置比較粗略，因此多尺寸的特征融合可以使目標檢測更準確。本文應用特征金字塔網(wǎng)絡FPN 來實現(xiàn)多尺寸的特征融合。整體融合預測方法如圖5所示。

如圖5所示，左側(cè)為原特征圖，是由MobileNets依次自下而上路徑提取的特征圖，右側(cè)新特征圖為自頂向下路徑融合后得到的特征圖。對于每一次的融合過程，先對新特征圖進行2倍上采樣，然后與原特征圖進行橫向連接，依次向下迭代，產(chǎn)生更大分辨率的新特征圖，具體過程為：1）上采樣過程采用簡單的最近鄰插值，使特征圖寬高變?yōu)?倍；2）橫向連接時，先對原特征圖進行1×1卷積操作調(diào)整通道數(shù)至d, 然后與新特征圖進行加法操作，二者通道數(shù)均為d；3）對于最頂層的新特征圖，是由原特征圖直接進行1×1卷積操作，調(diào)整通道數(shù)至d。

圖5 基于FPN特征金字塔的多尺寸融合預測

在通過橫向連接產(chǎn)生所有的新特征圖后，對每層新特征圖再分別使用3×3 卷積，得到最終的特征圖，可以用于后續(xù)的預測過程。根據(jù)對應關(guān)系依次命名為{P5,P4,P3,P2}。原特征圖和新特征圖下標相同時就有相同的分辨率。由于所有層的新特征圖最后會共享使用分類器，新特征圖的通道數(shù)均固定為d，文中設置d=256 。

1.5 候選框生成

常用的候選框生成方法是滑動窗口檢測器，通過在特征圖上滑動窗口來檢測目標，對于不同的目標類型，使用不同的窗口類型。以前的滑動窗口方法的致命缺陷在于使用窗口作為最終的邊界框，這就需要非常多的形狀來覆蓋大部分目標。更有效的方法是將窗口當作初始猜想，這樣就得到了從當前滑動窗口同時預測類別和邊界框的檢測器。本文借鑒了這一思路并在此基礎(chǔ)上進行優(yōu)化，把目標框的回歸和檢測放到一個流程內(nèi)完成。例如有一個8×8特征圖，并在每個位置做出2個預測，即總共有8×8×2個預測結(jié)果。本文中檢測的只有液位計，結(jié)合液位計的尺寸和實際實驗結(jié)果后，發(fā)現(xiàn)生成的anchor box的比例為2:1，這樣設計的目的是為了更好地區(qū)分前景和背景以及候選框的回歸，當候選框生成的尺寸大小和實際越接近，模型識別效果越好。為實現(xiàn)對不同尺寸的液位計進行識別，我們采用了2種不同大小的候選框。然后在此基礎(chǔ)上回歸實際液位計的坐標，具體效果如圖6所示。

圖6 基于anchor box的候選框檢測與回歸

1.6 損失函數(shù)設計

本任務的損失分為3個部分，分別為分類損失、bbox回歸損失及各液位關(guān)鍵點的回歸損失。整體損失函數(shù)設計如下式：

1.7 模型輸出

在特征金字塔上有3個檢測分支，分別對應3個步長（stride）：32、16、8。在stride32上一個特性圖（feature map）對應的原圖的32×16的感受野（receptive field, RF），可以用來檢測較大的區(qū)域液位計，同理stride16和stride8可用于中等和較小液位計的檢測。默認設置為每個stride對應1個ratio，每個ratio對應2個scale，即每個stride對應的feature map位置會在原圖上生成2個anchor box。

模型的最終輸出包括3類信息：1）識別的對象是否為液位計，其中1表示正例，表示當前識別的對象為液位計，0表示負例，表示當前識別對象不是液位計；-1表示丟棄，即識別失敗。2）識別的液位計位置信息：通過4個坐標點來標記液位計的輪廓框圖。3）識別的液位計液位目標點，識別結(jié)果是一個坐標值。

2 實驗結(jié)果與分析

2.1 數(shù)據(jù)準備

本實驗中標注出訓練集867張，測試集100張。針對每一個訓練或測試的圖像標注信息輸出，如圖7所示。

圖7 字符檢測與識別標注數(shù)據(jù)集示例

圖7（a）為圖像標注的示例，圖像中用矩形區(qū)域標注出液位計的區(qū)域，同時用點標注出液面的位置；圖7（b）為一個圖像的標注結(jié)果數(shù)據(jù)，其中imagePath代表了圖片的名稱，imageHeight及imageWidth分別代表了圖片的原始高度與寬度；接下來的3個對象point、class和box分別代表了本方法需要識別的3個任務，分別對應的是液位位置目標檢測、圖像前景及背景識別、液位計區(qū)域識別。針對Point對象中points代表了液位位置目標的坐標，整體坐標軸原點為圖像的右上角；class對象中type為1代表當前識別的圖像為前景，即識別出的box對象為液位計區(qū)域，type為0時代表當前識別的圖像區(qū)域為背景，即識別出的box對象為非液位計區(qū)域；box對象代表了液位計的區(qū)域，由points中4個坐標點來確認。

2.2 結(jié)果分析

基于目標檢測生成的網(wǎng)絡模型，將其應用于100篇已經(jīng)標注的數(shù)據(jù)集，將模型識別結(jié)果與人工標記結(jié)果進行比對分析，分析結(jié)果如圖8 所示。針對液位位置的識別，誤差范圍在1 cm 范圍內(nèi)的，準確率可達99%，誤差范圍在0.5 cm范圍內(nèi)的，識別準確率可達96%。

圖8 液位位置識別誤差分析

3 結(jié)論

使用液位計及其儀表指示可以測量出液體的液位，而采用機器視覺的方法來實時監(jiān)測并識別液位計讀數(shù)則可進一步實現(xiàn)液位的遠距離監(jiān)測、指示、記錄和控制。但液位計本身往往是透明的，因此在對透明液體進行液位顯示的時候，通常無法有效地識別液位的位置。本文提出了一種基于嵌入式視覺識別的透明液體液位實時檢測方法，此方法利用了液體折射的原理根據(jù)液面處出現(xiàn)的虛擬斷開的現(xiàn)象來識別液位位置，并采用了激光照射的方式增強，再對圖片尺寸調(diào)整，隨即采用輕量級深層神經(jīng)網(wǎng)絡MobileNets獲取到多尺寸的圖像特征后，應用特征金字塔網(wǎng)絡FPN來實現(xiàn)多尺寸的特征融合，生成候選框，并計算整體損失，最后對識別的對象是否為液位計、識別的液位計位置信息，以及識別的液位計液位目標點三項輸出。通過實驗驗證，針對液位位置的識別，誤差范圍在0.5 cm范圍內(nèi)的識別準確率可達96%，且誤差范圍越大準確率越高（可達到99%）。該研究結(jié)果對玻璃管液位計所在無人場景的數(shù)字化轉(zhuǎn)型應用具有重要意義。