基于遷移學習的有毒水母分類方法研究

王鑫， 文澤華，任家樂，韓藝圓

(1.蘭州職業技術學院， 甘肅蘭州730070； 2.蘭州工業學院， 甘肅蘭州730050； 3.寧夏大學， 寧夏銀川750021)

一、引言

提到水母，人們首先會想到它透明的、傘狀的、帶有許多觸手的外表，它們在海洋中徜徉的裊裊身姿美麗而又奇幻，讓人浮想聯翩，但很多水母并不像它所表現地那么“溫柔”，許多水母的觸手都帶有大量毒液的刺細胞，現存有不少種類是有劇毒的。如果不小心被此類水母蜇傷，會使人麻痹、休克甚至死亡。例如澳洲箱水母，它是目前已知水母品種里毒性最強的水母，一只箱水母可以毒殺60名成年人，且在短短四分鐘之內就會致人死亡。此類水母對于海下勘察作業人員具有極大的安全隱患。即使是在淺灘海岸，這種危險也依然存在，曾發生過多起游客在海灘被擱淺的僧帽水母蜇傷進而引起休克的案例。設計一種通過水母圖片來判別水母危險程度的系統可以方便海員、游客、海下作業人員等對所觀察到的水母進行一定程度地安全識別是很有必要的。

圖像識別是在計算機對圖像特征提取的基礎上進行的，雖然有很多有效的算法可以對圖像進行特征提取，但往往這些基于數學模型的方法需要進行大量的運算，耗時較長，而且對于內容復雜的圖像通常提取特征精度較低。深度學習技術在圖像特征提取方面的應用在很大程度上提升了圖像特征的處理效率和精度，基于深度學習的方法具有更好的實時性。卷積神經網絡的提出最初就是為了解決圖像分類識別問題，目前已經有很多成熟的卷積神經網絡模型可以對各類圖像進行分類識別，而且已經能達到很高的識別精度，例如LeNet[1]主要用來進行手寫字符的分類與識別，準確率達到了98%，AlexNet[2]證明了當卷積神經網絡具有更寬更深的結構時仍然有效并確立了深度學習在計算機視覺領域的地位。VGGNet[3]取得了2014年Imagenet[4]比賽定位項目第一名與分類項目第二名，它可以看作是AlexNet的加深版本，它相對于AlexNet而言，具有更深的層次和更多的參數，所以它具有更好的表達能力,而深度網絡達到一定深度后，如果繼續增加層數并不能進一步提高準確率，反而使得網絡收斂變得更慢，測試數據的準確率也會變得更差。上述網絡模型都是基于數據驅動的深度學習模型，雖然已經是非常成熟的網絡模型，但在圖像分類識別的具體任務中，如果想要達到較高的準確率，首先需要有大規模的數據樣本作為訓練數據集才能保證上述網絡模型具有理想的準確率。其次，上述深度網絡模型需要有比較昂貴的計算機設備才能支持大規模數據樣本訓練，對于普通用戶和便攜式設備來講，普及性較差。為了解決上述問題，本文提出了一種遷移ResNet預訓練模型的方法以解決毒性水母圖像數據樣本匱乏和使用普通設備很難對大型成熟網絡模型進行訓練的問題，實驗表明，本文方法在針對有毒水母微小規模數據集進行分類識別的任務中，在使用普及性機器的情況下，相對于使用常用的深度學習網絡模型，僅需要很短的訓練時間就能夠達到較高的識別率。

二、相關工作

(一)深度殘差網絡ResNet[5]

ResNet是圖像分類識別任務中的王者，其準確率很高，它有效解決了深度網絡由于梯度消失或者梯度爆炸而發生退化的問題，并且將網絡層數擴展到了152層，其網絡結構主要由殘差學習模塊構成，如圖1：

圖1 殘差結構

相較于普通卷積過程，殘差結構會引入一個X的恒等映射(Identity Mapping)，當梯度消失時，網絡模型將學習不到任何有價值的信息，這時就需要恒等映射來防止梯度消失以至于模型不能夠繼續學習。可以用F(X,Wi)來表示殘差映射，那么輸出可以表示為：

Y=F(X,Wi)+X(1)

當梯度消失時，即F(X)=0，Y=relu(X)=X，如此會將X恒等映射，相當于在淺層網絡中堆疊“克隆層”，由于整個網絡結構中有很多的恒等映射，所以網絡繼續學習到有效信息的概率會大幅度增加。從數學角度來解釋的話，由于對X求導數會得到常數1，所以Loss基本不可能為0。由于VGG有3個全連接層，這會用到大量參數，而ResNet用平均池化層代替全連接層，會節省大量參數。與VGG相比，ResNet參數少了很多，所以其訓練效率較高。

(二)遷移學習(Transfer Learning)

遷移學習[6]是將某個領域或任務中學習到的知識或方法應用到其他不同的領域或問題中，讓計算機也具備“舉一反三”的能力，以免在新的領域又要通過大數據從頭學起。針對具體的應用場合，可以節省網絡模型訓練時間，也為普及型計算設備獲得較理想的網絡模型另辟蹊徑。使用遷移學習有諸多益處，第一，可以利用海量數據中與當前任務相關標注數據構建適用網絡模型；第二，節省設備購置成本和訓練時間成本，將世界頂級公司在大數據上訓練成型的模型遷移到當前應用中來，需要做的僅僅是微調模型；第三，擺脫目前還沒有通用模型的局面，利用成熟模型進行靈活調整以適應當前任務需要；第四，面向特定領域和任務，利用現成的標注數據和模型。

三、基于遷移學習的水母分類網絡模型

(一)網絡結構

根據毒性程度不同，本文將有毒水母分為三類，分別為：警惕的(Vigilant)、危險的(Dangerous)及致命的(Fatal)。

1.基于VGG16預訓練模型的遷移網絡——本文方法1

本文在VGG16預訓練模型的基礎上，利用遷移學習方式，利用VGG16現成模型已經習得的海量標注數據及模型參數，并將已有模型分類器中的最后一層的線性輸出修改為3種輸出，以對應于3種不同的水母。其中的分類器結構如圖2：

圖2 本文分類器結構

2.基于ResNet預訓練模型的遷移網絡——本文方法2

由于不同種類的水母在外觀方面有很多相似的特征，而越深的網絡模型更有利于感知和提取這些特征之間的差異性，相較于其他網絡模型，ResNet更具備這方面的優勢。而且利用ResNet具有快速收斂的特性，以便可以在手持移動弱算力設備(如：智能終端)上快速識別水母的毒性程度，本文依據遷移學習的數據相關性，在ResNet預訓練模型的基礎上，根據任務需要做了一定修改，本文將最后的線性層進行了重新定義，將輸入單元數(前面各層卷積所提取到的圖像特征數目)修改為符合本文研究內容的4種輸出以對應不同類別的水母。

(二)優化器

考慮到本文方法在弱算力設備上的普及應用，而通常解決大規模深度學習問題時，梯度下降法計算開銷巨大，所以本文采用隨機梯度下降法，每次僅用單個數據樣本來確定梯度下降方向。因為隨機梯度的期望就是梯度本身，所以在對網絡模型的優化過程中，其實不斷優化的是Expected loss，其可以表示為：

上式表示對所有可能的樣本x, 計算其expected loss，其中x表示數據樣本，與其對應的分布用p(x)表示，W為模型參數。那么相應的梯度可以表示為：

WL(W)=WEx[L(W,x)]=Ex[WL(W,x)] (3)

由于無法獲知真實的分布p(x)，所以expected loss很難計算，使用蒙特卡洛(monte carlo)算法[7]做近似估計(approximation)，(3)可以近似表示為：

隨著M增大，所得到的估計值就會更加準確。當M =1時，即使用了單個樣本，即為SGD[8]，其較適用于本文的研究內容。

(三)數據集

本文構建了一個有毒水母的微小圖像數據集(可以擴充)，該數據集中的圖片均為.jpg、.png等網絡格式圖片構成，其中訓練數據集和測試數據集按照水母毒性大小都含有Vigilant、Dangerous及Fatal三種類別的數據樣本，數據集結構如圖3。

圖3 有毒水母數據集結構

四、實驗分析與評價

本文實驗基于如下硬軟件配置環境進行：硬件：CPU:Intel i5-8300h @2.3GHz 內存：8G，集成顯卡，軟件：Windows10家庭中文版+python 3.6+Jupyter Notebook。為了使模型的魯棒性更強，首先對所加載的訓練圖像進行數據增強處理：1、從單張圖像樣本中隨機裁剪一塊224×224的圖像區域。2、隨機地對圖像區域進行水平或垂直翻轉。3、對圖像區域進行色彩標準化處理。如圖4。

圖4 加載隨機圖像樣本示例

(一)首先構建一個卷積神經網絡對有毒水母微小規模數據集進行訓練

本文構建了一個CNN網絡模型，它由提取圖像特征的兩個卷積層和一個池化層構成主要部分，后接兩個FC層用于分類輸出。使用該網絡對有毒水母微小規模數據集進行20輪迭代訓練，結果如表1。

由表1可以看到，搭建的CNN網絡在當前微小規模數據集上的表現并不好，經過20輪迭代訓練后，訓練準確率只有60%左右，而測試正確率也僅有50%上下，其損失折線下降表現也并不好，如圖5。接下來使用本文基于遷移學習的方法。

表1 CNN迭代訓練結果

圖5 CNN模型迭代訓練錯誤率示意圖

(二)使用本文提出的第一種方法

即在VGG16預訓練模型上利用遷移學習對有毒水母微小規模數據集進行訓練，并引入交叉熵作為損失函數，將模型參數放入Adam優化器[9]中進行訓練，一個訓練周期(epoch)中將對訓練數據集中的所有樣本都訓練一遍。使用該遷移網絡模型對有毒水母微小數據集進行20輪迭代訓練的變化情況見表2。

如表2所示，利用本文方法1對有毒水母微小數據集進行迭代訓練，隨著訓練持續進行，Loss值下降到0.3之后，始終在0.1到0.2左右徘徊，在迭代到第11輪之后，Loss又在0.1上下浮動，經過20輪訓練后，loss值下降了6倍左右，在測試數據集可以達到80%的正確率，結合圖6觀察，圖中，深色為訓練錯誤率折線、淺色為驗證錯誤率折線。可以看到，模型在測試數據中的表現并不理想，與訓練數據擬合地并不盡如人意。利用本文方法1經20輪迭代訓練共耗時1588.029秒。

表2 本文方法1迭代訓練情況

圖6 本文方法1訓練錯誤率示意圖

再來看實際測試效果，在測試集中隨機抽取6張圖片進行測試，結果如圖7所示，判斷錯誤的第四張圖片已經在其下方以紅色叉號標出，其所屬類別應該為”Fatal”。

圖7 本文方法1樣本測試結果

(三)使用本文提出的第二種方法

即在ResNet18預訓練模型上利用遷移學習再對有毒水母微小規模數據集進行訓練，同樣引入交叉熵作為損失函數，將模型參數放入SGD優化器[8]中進行訓練，對訓練數據集中的所有樣本都訓練一遍為一個訓練周期(epoch)。使用該遷移網絡模型對有毒水母微小數據集進行20輪迭代訓練的變化情況如表3。

表3 本文方法2迭代訓練情況

再結合圖8觀察利用本文方法2進行訓練的錯誤率變化趨勢，圖中深色折線為訓練數據集、淺色折線為驗證數據集。

依據表3和圖8所示，本文方法2的正確率與Loss相對吻合，在ResNet網絡模型持續消除梯度消逝的情況下，相較于方法1，本文方法2的訓練折線與測試折線擬合度較好，但由于本文并未考慮數據集平衡的問題，且水母圖片訓練樣本之間確實存在特征近似的情況，在訓練集和測試集樣本均在幾十張以內的情況下，確實很難達到理想的準確率；可以看到在20輪迭代訓練后訓練集的準確率仍高于驗證集，測試集正確率依然具有提升的余地。由此可見，利用預訓練ResNet模型在微小規模數據集上進行遷移訓練是很有效的，且本文方法2經20輪迭代訓練共耗時471.534秒。

圖8 本文方法2訓練錯誤率示意圖

隨機從測試數據集中抽取6張圖片進行測試，結果如圖9所示：實際測試結果均為正確。

圖9 本文方法2樣本測試結果

(四)結果判定

為了比較不同方法在有毒水母微小數據集上的表現，進行系統化實驗，每種方法都進行10次實驗,每次均迭代訓練20次，并計算它們的平均結果，見表4。

表4 基于不同方法的數據統計

由表4可以說明，本文方法在針對微小規模數據集樣本的圖像識別分類任務中，測試精度均優于直接使用卷積網絡模型進行訓練的方法，對于本文提出的兩種方法，后者雖然測試準確率略低，但訓練時間比前者快將近3.5倍左右，對于便攜式弱算力設備來講，本文方法2最為適用。

五、結語

本文針對有毒水母圖像識別分類任務提出了一套行之有效的方法，該方法解決了訓練數據匱乏的窘境，并克服了在弱算力設備上難以訓練較高精度網絡模型的問題。本文方法可以在很短時間內快速訓練出較高精度的毒性水母識別模型，且容易在手機、平板電腦等智能終端上普及應用。本文方法相較于其他方法，具有在很短時間內達到更高識別準確率的優勢。