基于深度學(xué)習(xí)算法的水尺刻度提取技術(shù)

祝子維，陶青川，沈建軍，雷磊

（四川大學(xué)電子信息學(xué)院，成都610065）

0 引言

近年來(lái)，南方夏季經(jīng)常暴雨成災(zāi)，多地洪水泛濫，汛情來(lái)勢(shì)洶洶，河流水位智能監(jiān)控對(duì)于減少人力和實(shí)時(shí)監(jiān)控分析有著重要意義。隨著信息化時(shí)代的發(fā)展，社會(huì)基礎(chǔ)設(shè)施的完善，信息化建設(shè)逐漸滲透到各個(gè)領(lǐng)域，水域監(jiān)控系統(tǒng)日益完善，智能監(jiān)控逐漸取代人工監(jiān)控。水位值測(cè)量傳統(tǒng)方法主要依靠安裝水尺人工讀數(shù)或者通過(guò)傳感器[1]自動(dòng)采集模擬信息并轉(zhuǎn)為數(shù)字信息來(lái)獲取，這些方式測(cè)量水位值成本較高而且實(shí)時(shí)性低。隨著圖像技術(shù)的發(fā)展，許多學(xué)者將人工智能、機(jī)器視覺(jué)方法運(yùn)用到水尺測(cè)量，測(cè)量過(guò)程主要分為兩步，首先是水尺定位去掉背景里的大部分背景信息，目前主要使用傳統(tǒng)機(jī)器視覺(jué)或深度學(xué)習(xí)目標(biāo)檢測(cè)的方式進(jìn)行定位，傳統(tǒng)機(jī)器視覺(jué)方法主要使用圖像處理的邊緣檢測(cè)算子[2]進(jìn)行水尺邊緣角點(diǎn)特征提取、從HSV 色域空間提取水尺顏色定位水尺以及人工標(biāo)定水尺區(qū)域等方法，霧天、噪聲、周圍環(huán)境等因素對(duì)傳統(tǒng)機(jī)器視覺(jué)檢測(cè)方法影響極大，需要不斷調(diào)參適應(yīng)不同環(huán)境，實(shí)用性差。基于深度學(xué)習(xí)目標(biāo)檢測(cè)算法如SSD[3]等雖然可以大致框出水尺位置，但還是會(huì)有一部分背景信息對(duì)后續(xù)的水尺刻度提取造成影響。第二步水尺刻度提取目前主要采用傳統(tǒng)機(jī)器視覺(jué)形態(tài)學(xué)處理、二值化、旋轉(zhuǎn)矯正、字符分割等方法[4]，但是這些方法里的閾值參數(shù)設(shè)置受環(huán)境影響較大，不能自主學(xué)習(xí)，并不能適應(yīng)復(fù)雜多變的實(shí)際監(jiān)測(cè)環(huán)境。

本文提出一種基于改進(jìn)SegNet 和YOLOv3 網(wǎng)絡(luò)的水尺刻度檢測(cè)算法，通過(guò)深度學(xué)習(xí)語(yǔ)義分割和目標(biāo)檢測(cè)提取水尺信息，有較強(qiáng)的抗干擾能力，能適應(yīng)復(fù)雜多變的環(huán)境。語(yǔ)義分割是一種分類算法，實(shí)現(xiàn)對(duì)圖像像素的歸類并提供類別語(yǔ)義，輸入一張圖像經(jīng)過(guò)語(yǔ)義分割網(wǎng)絡(luò)得到一張逐像素標(biāo)注的圖像，語(yǔ)義分割從像素級(jí)別解釋圖像，目前已廣泛應(yīng)用在醫(yī)療、無(wú)人駕駛等眾多領(lǐng)域。Vijay Badrinarayanan 等人提出一種用于圖像分割的深度卷積編碼-解碼架構(gòu)SegNet[5]，SegNet 分割引擎包含一個(gè)編碼網(wǎng)絡(luò)和一個(gè)解碼網(wǎng)絡(luò)并跟隨一個(gè)像素級(jí)別的分類層，相比其他廣泛的語(yǔ)義分割網(wǎng)絡(luò)（FCN[6]、UNet[7]、DeepLab[8]）等，在保證良好分割精確度的同時(shí)，內(nèi)存和時(shí)間的利用率上更加高效，能在AI 計(jì)算芯片（Atlas 200、Hi3559A 等）運(yùn)行。改進(jìn)SegNet 融入雙重注意網(wǎng)絡(luò)DANet[9]，引入位置注意力模塊和通道注意力模塊改進(jìn)特征表示，一定程度上解決分割邊界粗糙，提高分割準(zhǔn)確度。Joseph Redmon 提出的YOLOv3[10]在BackBone 網(wǎng)絡(luò)上將用DarkNet-53 替換DarkNet-19，性能提升巨大，本文在保證水尺特殊字符檢測(cè)精確度前提下，修改BackBone 模塊卷積層，使網(wǎng)絡(luò)權(quán)重大幅減小，提高運(yùn)行效率。

1 水尺刻度提取整體流程

本文算法結(jié)合SegNet 和YOLOv3 改進(jìn)網(wǎng)絡(luò)對(duì)圖像進(jìn)行處理，提取水尺刻度，具體步驟分為：①?gòu)臄z像機(jī)采集視頻流，通過(guò)視頻解碼模塊，得到RGB 格式的圖像幀。②將RGB 格式圖像幀輸入SegNet 語(yǔ)義分割模塊，分離出水尺、水域、背景3 個(gè)特征部分。③由邊緣檢測(cè)算子提取出水岸線。④截取水尺圖像resize 后輸入到Y(jié)OLOv3 改進(jìn)網(wǎng)絡(luò)，檢測(cè)出特殊字符個(gè)數(shù)。⑤配合水岸線位置計(jì)算出部分進(jìn)入水中的不完整字符長(zhǎng)度值，最后得到完整水尺刻度值。算法流程如圖1 所示。

2 水尺刻度提取算法

2.1 基于改進(jìn)的SegNet水尺定位算法

（1）SegNet 網(wǎng)絡(luò)概述

SegNet 是劍橋大學(xué)團(tuán)隊(duì)開(kāi)發(fā)的開(kāi)源語(yǔ)義分割網(wǎng)絡(luò)，網(wǎng)絡(luò)在像素級(jí)別對(duì)圖像內(nèi)部不同特征分類，主要分為編碼模塊（encoder）和解碼模塊（decoder）兩塊，編碼模塊基于VGG16[11]網(wǎng)絡(luò)模型，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)解析圖像信息，得到圖像的特征圖譜。解碼模塊在得到編碼模塊從原圖解析出來(lái)的特征圖譜后，實(shí)現(xiàn)對(duì)圖像每一個(gè)像素的分類標(biāo)注，最后得到語(yǔ)義分割圖。SegNet編碼和解碼結(jié)構(gòu)是一一對(duì)應(yīng)關(guān)系，一個(gè)編碼模塊對(duì)應(yīng)一個(gè)解碼模塊，他們具有相同的空間尺寸和通道數(shù)。SegNet 采用池化索引（pooling indices）解決過(guò)多的邊界細(xì)節(jié)損失，存儲(chǔ)每個(gè)池化窗口中最大特征值的位置，用于編碼模塊和解碼模塊的特征映射。在保證精度前提下，SegNet 內(nèi)存消耗比其他語(yǔ)義分割架構(gòu)明顯更小。

（2）改進(jìn)的SegNet 網(wǎng)絡(luò)結(jié)構(gòu)

SegNet 網(wǎng)絡(luò)分割雖然可以保證低內(nèi)存使用率情況下對(duì)圖片特征像素級(jí)的分類，但仍然是使用局部感受野進(jìn)行特征的提取，這會(huì)導(dǎo)致最終的feature map 的表達(dá)可能不同，以致分割效果不理想。DANet 是一種雙重注意力網(wǎng)絡(luò)，可以自適應(yīng)地將局部特征和全局依賴項(xiàng)聯(lián)系在一起。水尺也暴露在露天室外環(huán)境，時(shí)常因?yàn)楣庹铡㈧F天、遮擋等環(huán)境因素而影響分割效果，SegNet網(wǎng)絡(luò)雖然可以有效捕獲目標(biāo)，但是忽略了全局信息。因此，本文在SegNet 中融入DANet 注意力機(jī)制，DANet包括位置注意力模塊（position attention）和通道注意力模塊（channel attention），從SegNet 解碼出feature map分別送入兩個(gè)注意力模塊，得到新的加權(quán)feature map，再相加后輸入到解碼模塊。

①位置注意力模塊

特征圖的表示能力體現(xiàn)對(duì)圖像的理解，位置注意模塊將全局語(yǔ)義信息融入局部感受野中，增強(qiáng)特征圖表示能力，具體流程如圖2 所示。

圖2 位置注意力模塊流程

如圖2 所示，對(duì)SegNet 解碼模塊輸出的特征圖T0∈RC×H×W，其通道特征數(shù)為C，經(jīng)過(guò)一個(gè)帶有BN 層和ReLU 層的卷積網(wǎng)絡(luò)得到 3 個(gè)新的特征圖T1,T2,T3∈RC×H×W，將T1,T2矩 陣 變 換 為RC×N，其 中N=H×W，將T1乘以T2的轉(zhuǎn)置，然后通過(guò)Softmax 層計(jì)算位置注意力映射圖S∈RN×N，計(jì)算如公式（1）所示。

其中Sij表示第i 個(gè)位置對(duì)于第j 個(gè)位置的影響程度，值越大表明特征越相似。然后將T3∈RC×H×W矩陣變換為RC×N，再乘以S，矩陣變換為RC×H×W，乘上因子α，并與特征圖T0逐像素相加得到最終特征E，如公式（2）所示。

其中加權(quán)系數(shù)α初始設(shè)置為0，然后不斷學(xué)習(xí)，E為通過(guò)注意力機(jī)制模塊后得到的特征圖，其中每個(gè)位置為所有位置的特征和原始特征加權(quán)和，因此融入全局的圖像信息。

②通道注意力模塊

通道注意力模塊通過(guò)獲取不同通道映射之間的聯(lián)系增強(qiáng)特征圖語(yǔ)義的表達(dá)能力。具體流程如圖3所示。

圖3 通道注意力模塊流程

與位置注意力模塊中把特征圖通過(guò)卷積神經(jīng)網(wǎng)絡(luò)再與原始特征加權(quán)和不同，通道注意力直接把原始特征T0∈RC×H×W矩陣轉(zhuǎn)換為RC×N，其中N=H×W，然后與不同通道特征轉(zhuǎn)置后進(jìn)行一次矩陣乘法，最后通過(guò)Softmax 層獲得RC×C特征矩陣，如公式（3）所示。

其中Xij表示第i 個(gè)通道與第j 個(gè)通道的聯(lián)系，然后對(duì)Xij轉(zhuǎn)置后與原始特征進(jìn)行矩陣乘法運(yùn)算得到RC×H×W，再乘上因子β并與原始特征逐像素相加得到最終的特征圖E∈RC×H×W，如公式（4）所示。

每個(gè)通道都是所有通道的特征和原始特征圖的加權(quán)和，增強(qiáng)通道之間的依賴，增強(qiáng)特征圖的判別能力。將DANet 模塊加入到SegNet 的解碼和編碼之間的整體結(jié)構(gòu)圖如圖4 所示。

圖4 加入注意力機(jī)制的SegNet網(wǎng)絡(luò)

（3）改進(jìn)SegNet 模型分割圖像結(jié)果

本文使用2112 張樣本圖訓(xùn)練網(wǎng)絡(luò)模型，加載訓(xùn)練好的模型對(duì)圖像進(jìn)行分割。分割結(jié)果如圖5 所示，其中黑色代表背景，紅色代表水尺，綠色代表水域。從分割圖中提取水尺位置和水岸線信息，水尺區(qū)域之后輸入到目標(biāo)檢測(cè)模塊提取水尺刻度，水岸線用來(lái)計(jì)算不完整字符長(zhǎng)度。

圖5 分割結(jié)果

2.2 基于改進(jìn)YOLOv3網(wǎng)絡(luò)的水尺刻度檢測(cè)算法

目前，在定位水尺之后，水尺刻度提取大都基于傳統(tǒng)機(jī)器視覺(jué)，通過(guò)傾斜矯正、水尺裁剪、圖像形態(tài)學(xué)操作分割字符、刻度提取等步驟，很容易受到環(huán)境影響。因此，本文改進(jìn)YOLOv3 網(wǎng)絡(luò)提取水尺特殊字符“?”和“ヨ”。

（1）RulerYolo 網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv3 網(wǎng)絡(luò)結(jié)構(gòu)采用DarkNet-53 作為特征提取的特征網(wǎng)絡(luò)，DarkNet-53 引入殘差ResNet 模塊，解決深層次網(wǎng)絡(luò)梯度問(wèn)題，減小梯度爆炸的風(fēng)險(xiǎn)，提高學(xué)習(xí)能力，重復(fù)利用兩個(gè)卷積層和一個(gè)快捷鏈路組成的殘差組件，而原網(wǎng)絡(luò)結(jié)構(gòu)較深，權(quán)值參數(shù)太過(guò)龐大，本文根據(jù)YOLOv3 來(lái)改進(jìn)的網(wǎng)絡(luò)，在保證精度的情況下，減少內(nèi)存使用和運(yùn)行速率，為了方便理解，將改進(jìn)的YO?LOv3 網(wǎng)絡(luò)稱為RulerYolo。在卷積層和殘差模塊組成的特征提取的BackBone 基礎(chǔ)上，對(duì)網(wǎng)絡(luò)深度和特征圖數(shù)量上進(jìn)行縮減，通過(guò)5 次下采樣，每次采樣步長(zhǎng)為2，先后通過(guò)7×7 的卷積核和MaxPooling 2 倍下采樣，然后殘差塊的數(shù)量從1,2,8,8,4 改變?yōu)?,3,3,4，保證網(wǎng)絡(luò)特征能力的前提下，縮減網(wǎng)絡(luò)的層數(shù)，使網(wǎng)絡(luò)權(quán)重大大減少，提高運(yùn)行速度。利用多尺寸特征進(jìn)行對(duì)象檢測(cè)，水尺圖像為矩形形狀，自定義輸入尺寸為768×384，圖像通過(guò)BackBone 網(wǎng)絡(luò)32 倍、16 倍、8 倍下采樣得到三種不同尺度的預(yù)測(cè)結(jié)果，分別為24×12、48×24、96×48 三種尺度，改進(jìn)后輸入尺寸為768×384，權(quán)值大小為3.8Mb，大小相對(duì)于原始YOLOv3 減小了64 倍，GPU 運(yùn)行平均耗時(shí)12ms，改進(jìn)后的結(jié)構(gòu)框圖RulerYolo 如圖6所示。

圖6 RulerYolo網(wǎng)絡(luò)結(jié)構(gòu)圖

經(jīng)過(guò)修改網(wǎng)絡(luò)模型結(jié)構(gòu)，樣本制作，訓(xùn)練模型，得到RulerYolo 網(wǎng)絡(luò)模型，將水尺區(qū)域圖像通過(guò)雙線性插值resize 到768×384 尺寸，輸入到網(wǎng)絡(luò)模型中得到目標(biāo)檢測(cè)結(jié)果如圖7 所示。

圖7 目標(biāo)檢測(cè)結(jié)果

（2）水尺刻度檢測(cè)

本文完整水尺檢測(cè)算法分為兩部分，第一部分長(zhǎng)度通過(guò)RulerYolo 檢測(cè)特殊字符“?”和“ヨ”獲取，第二部分長(zhǎng)度通過(guò)SegNet 語(yǔ)義分割獲取的水岸線位置和RulerYolo 獲取特殊字符最低位置距離來(lái)估算不完整字符的長(zhǎng)度，水岸線可以通過(guò)Canny 邊緣檢測(cè)算子提取，水岸線位置坐標(biāo)通過(guò)Canny 邊緣算子獲取的邊緣輪廓像素取均值得到，具體計(jì)算如公式（5）、（6）、（7）所示。

式（5）中d 為水面之上水尺總刻度，d1為RulerY?olo 測(cè)得完整特殊字符的刻度和，d2為不完整字符的長(zhǎng)度。式（6）中5 表示為一個(gè)“?”和“ヨ”字符刻度為5 cm，n為字符個(gè)數(shù)。式（7）中round為取整，eiy和eih分別為第i個(gè)框的左上角縱坐標(biāo)和高，w為水岸線。計(jì)算出總刻度之后，除以水尺總刻度，乘水尺實(shí)際長(zhǎng)度即可得水岸之上的長(zhǎng)度，最后得到水位值。各參數(shù)在圖中具體表示如圖8 所示。

圖8 水尺刻度檢測(cè)標(biāo)注

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

本文樣本數(shù)據(jù)集通過(guò)互聯(lián)網(wǎng)爬取、成都河長(zhǎng)制水利攝像頭獲取、四川大學(xué)附近人工河拍攝得到，由于網(wǎng)上水尺圖片樣本較少和人工拍攝的樣本比較單一，通過(guò)對(duì)圖片進(jìn)行裁剪、旋轉(zhuǎn)、加噪、亮度、對(duì)比度等操作進(jìn)行樣本擴(kuò)充。總共2112 張圖像，隨機(jī)抽取1689 張作為訓(xùn)練集，423 張圖像作為驗(yàn)證集。首先使用labelme對(duì)樣本圖進(jìn)行人工標(biāo)注，分為水域、水尺、水岸3 個(gè)區(qū)域，把水域標(biāo)注為紅色，水尺標(biāo)注為綠色，水岸等其他背景標(biāo)注為黑色，通過(guò)腳本文件把JSON 格式文件轉(zhuǎn)換出人工分割圖作為真實(shí)分割效果，然后由人工分割圖制作全黑的mask 圖像作為圖像模型分割訓(xùn)練。

3.2 實(shí)驗(yàn)結(jié)果

本文實(shí)驗(yàn)環(huán)境為PyTorch1.4.0、Cuda9.0、Python3.6、Ubuntu18.04.4LTS；處理器為Intel Core i5-7400，CPU頻率為3.0 GHz；內(nèi)存8 Gb；GPU 顯卡為NVIDIA GTX 1080TI，顯存11 Gb。

實(shí)驗(yàn)測(cè)試包括圖片和視頻，選取圖片測(cè)試集分辨率大小不一，從不同的水位高度、不同的水尺傾斜角度、不同遠(yuǎn)近距離、水面清晰度等選取的100 張測(cè)試圖片，水尺種類為紅色和藍(lán)色兩種水尺，總長(zhǎng)為1m，最小刻度為1cm。視頻是通過(guò)成都河長(zhǎng)制水利系統(tǒng)部署的攝像頭獲取的，因?qū)嶋H環(huán)境，攝像機(jī)捕捉的視頻有輕微抖動(dòng)，也更正符合水利監(jiān)控的實(shí)際場(chǎng)景，對(duì)紅藍(lán)兩種水尺場(chǎng)景進(jìn)行測(cè)試，視頻通過(guò)FFMpeg 進(jìn)行解碼，分別率為1920×1080、幀率為30。水位檢測(cè)實(shí)驗(yàn)結(jié)果如表1所示，水位檢測(cè)部分結(jié)果圖如圖9 所示。

從表1、圖9 可以看出，本文算法測(cè)試大部分圖結(jié)果誤差在0 cm 到3 cm 之間，準(zhǔn)確率達(dá)到了95%，對(duì)不可控的環(huán)境因素有較強(qiáng)的適應(yīng)性，基本能滿足實(shí)際水利監(jiān)控的要求，對(duì)水利監(jiān)控系統(tǒng)有一定的幫助。

表1 實(shí)驗(yàn)結(jié)果

圖9 實(shí)驗(yàn)結(jié)果圖

4 結(jié)語(yǔ)

本文基于深度學(xué)習(xí)網(wǎng)絡(luò)提出的水尺檢測(cè)算法，能準(zhǔn)確測(cè)出水尺刻度，計(jì)算當(dāng)前水位值，并且有較強(qiáng)的環(huán)境適應(yīng)力，對(duì)于不同水域環(huán)境如：水庫(kù)、河流等場(chǎng)景都能很好適應(yīng)，對(duì)于不同光照、霧天、攝像機(jī)輕微抖動(dòng)等不可控因素有一定適應(yīng)性。實(shí)現(xiàn)了對(duì)水域水位線實(shí)時(shí)監(jiān)控，極大減少了人工監(jiān)控成本，為水利智能化監(jiān)控提供新的方法。本文提出改進(jìn)SegNet、YOLOv3 網(wǎng)絡(luò)還可以推廣到其他目標(biāo)的分割和檢測(cè)，諸如：人入侵、車輛、水面漂浮物等場(chǎng)景，有較強(qiáng)的應(yīng)用性。