基于圖像的雨強等級監測算法研究

摘" 要：基于人工智能和深度學習技術，文章對不同雨強等級圖片進行監測，提升了社會化攝像頭對各雨強等級的監測能力。不同雨強等級的圖像在HSV色彩空間、對比度、紋理特征、白色占比和灰度共生矩陣等特征上存在一定的差異，基于這五個特征，首先采用SVM+特征的方法進行雨強等級監測，但驗證發現該方法監測效果不佳。其次，鑒于深度學習方法能夠提取到圖像中較多深層次特征，繼而采用基于ResNet的深度學習方法進行雨強等級的監測。實驗結果表明，深度學習方法在雨強等級監測中的準確率明顯高于SVM+特征的方法。

關鍵詞：深度學習；特征提??；雨強等級監測；SVM

中圖分類號：TP391.4" 文獻標識碼：A" 文章編號：2096-4706（2024）21-0061-06

Research on Rain Intensity Level Monitoring Algorithm Based on Image

ZHANG Zhiming， XIONG Hui

（Sichuan Vocational and Technical College， Suining" 629099， China）

Abstract： Based on Artificial Intelligence and Deep Learning technology， this paper monitors images of different rain intensity levels to improve the ability of social cameras to monitor each rain intensity level. There are some differences in HSV color space， contrast， texture feature， white proportion， Gray Level Co-occurrence Matrix and other features between images with different rain intensity levels. Based on these five features， firstly， the SVM + feature method is used to monitor the rain intensity level， but it is found that the monitoring effect of this method is not good. Secondly， in view of the Deep Learning method can extract more deep features in the images. Then， the Deep Learning method based on ResNet is used to monitor the rain intensity level. The experimental results show that the accuracy of the Deep Learning method in rain intensity level monitoring is significantly higher than that of the SVM + feature method.

Keywords： Deep Learning; feature extraction; rain intensity level monitoring; SVM

0" 引" 言

為了提升社會化攝像頭對不同雨強等級監測能力，本文充分結合深度學習方法對不同雨強等級圖片進行監測。首先，本文使用SVM（Support Vector Machine， SVM）＋特征法對不同雨強等級進行監測，但實驗數據表明監測效果不好，相比之下，采用基于ResNet的深度學習法進行監測時，監測效果顯著提升。

1" RainData數據集構建

本文首先進行RainData數據集的構建，RainData數據集來源于第三方。第三方圖像數據集根據不同的降雨強度進行了大雨、中雨和小雨三個等級的劃分，包含訓練圖像數據和測試圖像數據。數據集中每張圖像包括有雨和無雨兩部分，本文僅需有雨部分，通過裁剪處理得到大雨、中雨、小雨和無雨圖像。最終形成包含16 000張訓練圖像和1 600張測試圖像的RainData數據集。雨強等級訓練圖像數量分布如圖1所示，雨強等級測試圖像數量分布如圖2所示。其中，“1”表示大雨圖像，“2”表示中雨圖像，“3”表示小雨圖像，“4”表示無雨圖像。不同雨強等級圖像如圖3所示。

2" 五大特征的提取

特征指的是一事物不同于其他事物的特點，每一種事物有自己的特征。例如地面濕滑，這屬于下雨天一個特征；地面干燥，這屬于晴天一個特征。不同雨強等級的圖像，在HSV色彩空間、對比度、紋理特征、白色占比和灰度共生矩陣特征上存在一定的差異性?；谶@五個特征，本文首先使用SVM方法進行雨強等級監測并對此進行研究分析。

2.1" HSV色彩空間特征

HSV顏色空間描述了人類的視覺，由于HSV顏色空間中的每個元素都是相互獨立的，所以當人們需要改變顏色時，只需要改變H的值就可以[1]。將RGB轉換為HSV，轉換過程如式（1）至式（3）所示[2]：

（1）

（2）

（3）

按照式（1）至式（3）進行轉換，將圖4從RGB圖像轉化為HSV顏色空間，如圖5所示。

依據式（1）至式（3），對400組不同雨強等級的圖像一階矩特征值進行了計算，最終取平均值，結果如表1所示。

由表1中可知，無雨圖像H平面一階矩值最大，大雨圖像H平面的一階矩值最??；大雨圖像S平面一階矩最小，無雨圖像S平面一階矩最大；對于V平面一階矩來說，大雨圖像的一階矩最大，無雨圖像的一階矩值最小。因此，將HSV一階矩值作為雨強等級監測的一個特征。

2.2 圖像紋理特征

對于小雨圖像，其紋理較為清晰，明亮；對于中雨圖像，降雨強度相對于小雨來說更大，其紋理較為復雜；對于大雨圖像，其紋理比較復雜。因此，進行雨強等級監測時，紋理特征可作為其中的一個特征。LBP常用于計算圖像紋理特征，傳統的LBP算子以中心像素qc為中心，然后計算以r為半徑相對于中心像素的圓形鄰域內的像素qp[3]，如式（4）所示：

（4）

這里的p為鄰域內的像素個數，當x≥0時，s（x） = 1，否則s（x） = 0。人們常用LBP圖譜進行描述，圖6對應的LBP圖譜，依次為大雨、中雨、小雨和無雨圖像。

圖6所示依次為圖4中大雨、中雨、小雨及無雨的LBP圖譜。為了能夠直觀展示不同雨強等級圖像間的差異，本文計算了50組不同雨強等級圖像的LBP圖譜二階矩值：大雨圖像的LBP圖譜二階矩值為85.24，中雨圖像的LBP圖譜二階矩值為86.62，小雨圖像的LBP圖譜二階矩值為88.43，無雨圖像的LBP圖譜二階矩值為92.24。從中可以看出，不同雨強等級的圖像，LBP圖譜的二階矩值不一樣，無雨圖像的二階矩值最大，而大雨圖像的二階矩值最小，因此，將此特征值作為雨強等級分類的一個特征。

2.3" 對比度特征

對于一張圖像來說，圖像中的不同內容越接近，圖像的對比度越低，反之就越高。本文將三通道像素值的最大值平均值與三通道像素值的最小值平均值之差作為對比度值，計算方法如式（5）和式（6）所示：

（5）

（6）

式中，min（I m）代表R、G、B三個通道中任意一個通道最小像素值，max（I m）表示的是R、G、B三個通道中任意一個通道最大像素值。表示三個通道的最小像素值相加后的平均值，表示的是三個通道的最大像素值相加后的平均值，m∈（R，G，B），圖像最終的對比度值為和的差。用-計算出400組不同雨強等級圖像，然后取平均值，結果如表2所示。

由表2可知，根據公式對400組雨強等級圖像求對比度值，其對比度值是不一樣的。大雨圖像上面幾乎布滿雨絲雨線，此時的對比度值最小，而無雨圖像上面沒有雨絲雨線，圖像上面各個場景的信息比較清晰，此時對比度值是最大的。因此，將對比度值作為區分無雨和大雨的一個特征。

2.4" 白色占比特征

本文中，不同雨強等級圖像上的白色占比值不一樣。本文將150作為閾值，也就是說像素值大于150的就統計為白色，反之統計為黑色。本文中白色占比計算流程如圖7所示。

本文對400組不同雨強等級圖像進行白色占比計算，然后取平均值。大雨圖像的白色占比為42.59%，中雨圖像的白色占比為35.80%，小雨圖像的白色占比為30.18%，無雨圖像白色占比為28.32%。不同雨強等級圖像白色占比不同，大雨圖像白色占比最高，無雨圖像白色占比最低，因此，將白色占比作為雨強等級監測的一個特征值。

2.5" 灰度共生矩陣

灰度共生矩陣是描述圖像紋理另一種方式[4]。其從矩陣上可以看到相同灰度級的像素間位置分布特征[5]。

一般采用角二階矩、熵和反差分矩陣來表示灰度共生矩陣參數。其中：角二階矩表示圖像灰度分布的均勻情況，也稱能量；熵闡述的是圖像所具有信息量的能量；反差分矩陣值表示的是圖像紋理不同區域的變化情況，這個參數越大，表示圖像中不同區域變化較小，區域比較均勻。它們的計算方法如如式（7）至式（9）所示[6]：

（7）

式中，E表示能量；L表示灰度級，本文中L = 16；i、j分別表示像素灰度；P表示灰度共生矩陣。式（8）和式（9）中參數如同：

（8）

（9）

本文根據式（7）至式（9）計算了50組不同雨強等級圖像的角二階矩、熵和反差分矩陣值，如表3所示。

由表3可知，無雨和小雨雨強等級較低，圖像上面的雨絲很少，圖像比較均勻，其角二階矩值高于大雨和中雨圖像的角二階矩值。無雨圖像上面沒有雨絲雨線，是最均勻的，此時反差分矩陣值最大。大雨和中雨圖像，圖像上面有許多雨絲雨線，此時的反差分矩陣值較小。大雨圖像上面幾乎布滿雨線，圖像其他場景信息幾乎完全被覆蓋，熵最??；中雨圖像雨線很多，上面其他場景信息沒有被覆蓋，因此中雨圖像的熵最大。最終將這三個值合成一個向量作為不同雨強等級監測的一個特征。

3" SVM雨強等級監測概述

上文分析了不同雨強等級圖像五個特征，下文提取了這五個特征，用于SVM的雨強等級的監測。

3.1" SVM介紹

分類中，支持向量機（SVM）對非線性數據集有更好的數據泛化能力和正則化能力，避免了很多分類器過擬合現象[7]。SVM主要通過核函數來找到最優的決策邊界。表4所列為常用的SVM核函數及其形式[8]。

3.2" SVM雨強等級監測

根據不同雨強等級降雨圖像表現出來的差異，本文提取了這五個特征并用于向量機進行雨強等級監測。整個過程分為特征提取、SVM分類器搭建訓練和測試驗證。其框架如圖8所示。

接著開始SVM的搭建并訓練，如圖9所示。

進行SVM搭建并訓練之后，生成一個.m格式的SVM模型，接著進行模型的測試驗證。首先對測試的圖像進行五個特征的提取并拼接成向量進行文件的保存；其次加載訓練好的SVM模型文件；最后統計測試集上的模型預測正確率。本文中SVM參數配置如表5所示。

配置好SVM參數并基于訓練數據集進行訓練，在測試集上進行五次模型準確率驗證，最終取平均值，測試結果如表6所示。

從表6可知，SVM進行大雨、中雨、小雨及無雨監測，其準確率很低，本文認為不同雨強等級圖像間差異不是很明顯，向量機能夠提取到的特征較少，對于圖像分類來說，提取到更多的特征至關重要；其次就是SVM本身識別分類性能較差，這兩個方面導致本文中用SVM進行雨強等級監測效果較差。

3.3" 深度學習雨強等級監測

上文中使用SVM法進行圖像識別，效果不好。鑒于深度學習模型在圖像分類中表現出良好的效果，本文選擇ResNet-34和ResNet-18兩種模型進行模型訓練，分析實驗結果。首先將數據集按照1：9的比例分為驗證集和訓練集。其次進行相應圖像預處理，包括將每張圖像大小裁剪為224×224，并將圖像進行歸一化處理，經過訓練及驗證得到性能較好的模型。最后在性能較好的模型上進行測試，得到雨強等級監測的準確率，同時在測試集上統計每種雨強的精確率和召回率。本文雨強等級監測流程如圖10所示。

本文模型訓練使用的硬件資源及軟件配置參數如下兩個表所示。表7為服務器硬件配置信息，表8為深度學習環境配置的一些信息。

對于多分類識別來說，訓練過程中損失函數的選擇比較重要，正確選擇使用損失函數，能夠促進模型的收斂，提高模型的訓練速度[9]。交叉熵損失函數表示預測分布概率和實際分布概率間的距離，損失值越小，模型預測越準確，表達形式如式（10）所示[10]。

（10）

式中，p表示預測輸出，q表示實際分布。

本文對不同雨強等級圖像進行監測，選用交叉熵損失函數進行模型預測值與真實值間計算。Adam算法為每一個參數都提供了獨自的自適應學習率，模型中的每一個參數學習率通過梯度的第一和第二矩估計產生，因此Adam算法是一種自適應學習率優化技術[11]。表9為本文模型訓練過程中的參數配置。

使用上述參數配置，對不同雨強等級的數據集進行訓練，并在測試集上進行測試驗證，結果如表10所示。

由表10可知，使用ResNet-18和ResNet-34網絡模型進行雨強等級監測，準確率分別為89.1%和86.3%，相較于SVM監測準確率有了較大的提升。進一步分析網絡模型取得較高準確率的原因，發現網絡模型中包含許多卷積層，能夠提取到圖像中較多的深層次特征，這對于圖像分類來說，是極為重要的。相對于手動提取特征進行圖像分類，深度學習模型在效率及準確率方面都更具有優勢，有效驗證了其在不同雨強等級監測中的可行性及高效性。

4" 結" 論

數據集貫穿本文工作的始終。首先，本文介紹了RainData數據集的來源及每類雨強等級數據圖像的組成、數量。不同雨強等級的圖像在HSV色彩空間、對比度、紋理特征、白色占比和灰度共生矩陣等特征上存在一定的差異性?；谶@五個特征，本文使用SVM方法進行了雨強等級的監測，并詳細描述了每個特征的產生過程及其相應的介紹。然而，使用SVM+特征法進行雨強等級監測時，監測準確率較低。近年來，深度學習模型在圖像分類應用上表現出良好的效果，基于此，本文使用深度學習進行雨強等級監測，并進行對比分析，有效驗證深度學習模型進行不同雨強等級監測中的可行性及高效性。

參考文獻：

[1] CHEN J H，LEI J. Research on Color Image Classification Based on HSV Color Space [C]//2012 Second International Conference on Instrumentation， Measurement， Computer， Communication and Control.Harbin：IEEE，2012：944-947.

[2] SEHAD A，CHIBANI Y，HEDJAM R，et al. LBP-based Degraded Document Image Binarization [C]//2015 International Conference on Image Processing Theory， Tools and Applications （IPTA）.Orleans：IEEE，2015：213-217.

[3] LU M H，LIU Y F，HE W J，et al. Skin Roughness Evaluation Method Based on Gray Level Co-Occurrence Matrix [C]//2019 Chinese Control And Decision Conference （CCDC）.Nanchang：IEEE，2019：5671-5674.

[4] 李亞文，劉愛軍，陳垚.基于GLCM紋理特征提取的黃瓜葉部病害檢測算法研究 [J].湖北農業科學，2022，61（9）：141-145.

[5] RANI K S，SATYANARAYANA R V S. Image Denoising Using Boundary Discriminated Switching Bilateral Filter with Highly Corrupted Universal Noise [C]//2017 International Conference on Energy， Communication， Data Analytics and Soft Computing （ICECDS）.Chennai：IEEE，2017：1515-1521.

[6] 姚慧玲，胡興，黃影平.基于光流灰度共生矩陣的視頻暴力行為檢測 [J].電子測量技術，2021，44（4）：132-137.

[7] AWAD M，KHANNA R. Support Vector Machines for Classification [M]//AWAD M，KHANNA R. Efficient Learning Machines. [S.I.]：Apress，2015：39-66.

[8] LI Y Y，SHI W X，LIU G Y，et al. SAR Image Object Detection Based on Improved Cross-Entropy Loss Function with the Attention of Hard Samples [C]//2021 IEEE International Geoscience and Remote Sensing Symposium IGARSS.Brussels：IEEE，2021：4771-4774.

[9] 任進軍，王寧.人工神經網絡中損失函數的研究 [J].甘肅高師學報，2018，23（2）：61-63.

[10] ?EN S Y，?ZKURT N. Convolutional Neural Network Hyperparameter Tuning with Adam Optimizer for ECG Classification [C]//2020 Innovations in Intelligent Systems and Applications Conference （ASYU）.Istanbul：IEEE，2020：1-6.

作者簡介：張志明（1994—），男，白族，云南大理人，專任教師，助教，碩士，研究方向：人工智能與智能信息處理、軟件開發；熊輝（1981.12—），女，漢族，四川遂寧人，專任教師，講師，碩士，研究方向：PHP開發技術、軟件測試技術。