卷積神經網絡在紅木樹種識別中的應用

黃鵬桂，趙 璠，李曉平，吳章康，湯正捷，張嚴風

（1. 西南林業大學 大數據與智能工程學院，云南 昆明 650224；2. 西南林業大學 國家林業和草原局 木材與木竹制品質量檢驗檢測中心，云南 昆明 650224）

根據國家標準GB/T 18107?2017《紅木》，紅木共5屬8類29種。由于不同種類的紅木在表層宏觀特征不具有唯一性，但在橫切面上它們具有十分明顯的結構差異，只有少部分紅木如烏木的結構特征體現在弦切面上，因此，紅木識別目前主要依據紅木切片在光學顯微鏡下的結構特征差異[1]。目前，紅木的特征識別主要是通用木材識別技術[2?3]，如紅外光譜識技術[4?5]和氣相色譜技術[6?7]。此類紅木識別方法具有2個主要的缺陷：其一，根據紅木切片照片的特征進行人工識別，識別的準確度受限于識別人員的專業素養和經驗，特別是對于較為罕見的紅木品種，時常發生不同識別人員識別結果不一致的情況；其二，現行的紅木識別并沒有結合紅木的結構特征進行相關優化。由于不同種類紅木的結構特征差異使得紅木切片上的紋理特征不同[3]，這就可以運用圖像識別技術來進行紅木分類識別。王學順等[8]、ESTEBAN等[9]、LAZARESCU等[10]、MOHAN等[3]等已將機器學習和一些圖像識別技術應用于木材識別。卷積神經網絡[11?12]作為目前圖像識別領域中最先進的技術，利用該模型對紅木切片紋理特征進行紅木識別，可大幅降低紅木識別的專業要求，又能提高紅木識別率[13]。相比于傳統的紅木識別技術和一些特殊的技術如應力波[14?15]、熱重曲線[16]等，這些方法的識別效果對所提取特征的表示性要求較高，為取得最優的識別效果還需對比眾多分類算法[17?19]。卷積神經網絡可以自動提取紅木切片的紋理特征并分類識別。為了簡化紅木識別流程，提升識別精度，使用卷積神經網絡對紅木樹種分類識別研究。

1 圖像采集與預處理

1.1 圖像采集

紅木切片樣本來自國家林業和草原局木材與木竹制品質量檢驗檢測中心(昆明)實際檢測業務中累積的數據，包括黃檀屬Dalbergia和紫檀屬Pterocarpus中交趾黃檀D.cochinchinensis、刀狀黑黃檀D.cultrata、盧氏黑黃檀D.louvelii、巴里黃檀D.bariensis、奧氏黃檀D.oliveri、大果紫檀P.macrocarpus、檀香紫檀P.santalinus等7種紅木的376個樣本。由于在實際木材檢驗中，結合宏觀特征與橫切面結構特征就可確定許多紅木種類，因此，橫切面(顯微鏡30倍)樣本數據較多。在分別針對紅木的橫切面、徑切面、弦切面的部分數據初步建立卷積神經網絡時，同樣發現針對橫切面的數據識別模型精度較高(圖1)。因此，選用橫切面數據做識別訓練。

圖 1 識別精度對比圖Figure 1 Comparison of recognition accuracy

1.2 圖像預處理

1.2.1 去除圖像氣泡和空白 受試劑的影響，切片圖像存在氣泡和空白，很容易產生噪聲數據影響識別精度，因此設計RGB圖像空白處裁剪算法。算法需要先行設置空白率r，1幅圖像中1行的白色像素數在整行所占的比列小于r后，則認為從這一行開始包含有效信息，此行后的像素行不再進行裁剪。處理流程為先拷貝圖像A的副本A2，對A2進行灰度化處理，使得空白處像素點的值接近于1。從左到右逐列比較空白率，得出x1；再從右到左逐列比較空白率，得出x2；同理從上到下、從下到上比較空白率，得出y1和y2。依據(x1,x2,y1,y2)得矩形的4個點，依據4個點的位置裁剪目標圖片(圖2)。

1.2.2 圖像直方圖均衡化處理 切片在取樣時可能存在薄厚不均，在放入載玻片操作時會導致切片折疊產生黑塊，且紅木切片的顏色很容易受試劑的影響。因此，先將圖像從RGB空間轉換到HSV空間[20]，再在V通道進行直方圖均衡化處理后再轉換到RGB空間。均衡化處理后，圖像上的黑塊變淡、紋理清晰(圖3)。

圖 2 空白裁剪前后的檀香紫檀橫切面圖Figure 2 Comparison of P.santalinus cross section before and after blank cutting

圖 3 直方圖均衡化前后的奧氏黃檀Figure 3 Comparison of D.oliveri cross sections before and after histogram equalization

1.2.3 圖像尺寸與旋轉處理 切片大小不一會造成切片圖像尺寸和旋轉方向不一致，卷積神經網絡模型需要輸入固定尺寸和方向的圖像，會導致圖像因縮放紋理結構發生形變，同時樣本數量有限，因此提出旋轉隨機裁剪法來統一和擴充樣本。處理流程為每張圖片旋轉36次，每次旋轉10°，每次旋轉都依據圖片的面積比裁剪出相應數量的子圖。為了使子圖盡可能小同時又包含更多信息，子圖的尺寸被統一為(224, 224)，如輸入圖像的尺寸為(w,h)，共裁剪出的子圖數量n為wh/(224×224)。經過空白處理后的圖像在邊角部分仍存在連續的空白區塊，這使得旋轉后的圖像存在不少黑色填充區域，導致隨機裁剪出的部分圖像存在連續的黑色或白色區域。為了減少這種影響，使用白點率、黑點率丟棄法，統計圖像中白色或黑色像素點的數量，如果所占比例超過閾值就直接丟棄。黑點丟棄的閾值設置為0.06，考慮到紅木切片管孔的空白部分，白點丟棄得閾值為0.17，處理如圖4所示。最終，擴展得到可用樣本21 495個(表1)。將這些樣本按照3∶1∶1的比例劃分為訓練集、驗證集、測試集3部分。

圖 4 擴充后的巴里黃檀橫切面圖Figure 4 Expanded D.bariensis cross section pictures

2 紅木識別模型

卷積神經網絡通過構建人工神經網絡[21]，模擬人類的大腦思考過程自動從帶有標簽的數據中學習特征，進行分類預測。卷積神經網絡由3種網絡層結構組成，前面部分由卷積層、池化層交替連接，后面部分由全連接層組成。利用卷積神經網絡模型進行紅木切片識別，先要使用被標注過的切片樣本訓練模型，然后通過代價函數評估模型的擬合能力，并以反向傳播的過程不斷調試模型參數，最終使得模型能提取并擬合紅木切片的結構特征。

表 1 樣本數量表Table 1 Number of samples

2.1 模型結構設計

紅木切片的識別模型有12層，卷積核的數目逐層增多。連續的2個3×3的卷積核，使卷積核的視野與5×5的卷積核一致，而運算量減少28%；同樣為了減少卷積的運算量，將裁剪后的圖像統一縮放到150×150。模型在卷積層中，設計了多個卷積通道，能以不用角度的視野提取特征。為了能對邊緣像素點提取特征，將卷積運算模式設置為填充模式，步長為1。卷積之間加入2×2的最大池化層(maxpool)，選擇矩陣中每個2×2區塊的最大值為下一層輸入，能提取顯著特征，減小矩陣尺寸，最后一個卷積層與全局平均池化層 (global average pool)相連接將輸入矩陣從 (37, 37, 128)直接變為 (128)，充分減少了模型計算量。模型采用線性整流函數(relu)作為激活函數，克服網絡層次變深而梯度消失的情況。最后3層為全連接，最后一層的特征利用歸一化指數函數(softmax)做多分類預測。最終模型結構如圖5所示，各層參數如表2所示。

圖 5 模型結構圖Figure 5 Model structure

表 2 模型的各層參數Table 2 Layer parameters of the model

2.2 模型訓練原理

模型的訓練過程實際上是將網絡輸入以正向傳播的過程輸入圖像逐層提取特征，在卷積層a中，卷積核w以滑動窗口的方式從矩陣最右上角的點運算到最后1個像素點，窗口覆蓋的范圍與對應的卷積核參數相乘，乘積結果之和加上偏移量b賦值到對應矩陣中卷積核中心的位置，然后在使用激活函數σ將卷積的輸出結果z進行激活操作。卷積層的前向傳播過程為：

式(1)中：L表示卷積層的層數，zL表示第L層卷積操作的輸出，aL表示第L個的卷積層的輸出結果。上述只是描述了單個卷積核連接的過程，網絡層有多個卷積核時，每個卷積核多需要經相應的運行，并將所有卷積核的輸出累加作為卷積層的輸出。

選用的池化層大小是2×2，其運算是將一個n×n的矩陣劃分成多個2×2的子區域，然后選取每個子區域的最大值輸出一個的矩陣，整個過程中并沒有參數需要調整。全連接層f的傳播過程為：

式(2)中：當fL?1層的神經元數為n，fL層的神經元數為m時，w的形狀為n×m。全連接的最后一層選用歸一化指數函數作為激活函數，提取結果映射到[0, 1]概率區間與標簽編碼形成的獨熱碼編碼比較，得出擬合損失。再利用自適應矩估計(adaptive moment estimation, Adam)優化器將比較結果以反向傳播的過程逐層調整網絡層參數，使得模型的擬合損失逐步變小。自適應矩估計優化器實現簡單計算高效，能自動調整學習率，減少損失函數的震蕩，使精度不斷上升。

2.3 實驗過程

在訓練時為了盡量精簡模型的體量，起初每層的卷積核通道都比較少，訓練出來模型的精度不高。每次訓練結束后都依據損失函數的值，適度調整優化器的學習率和衰減率、變更卷積通道數、修改全連接層結構，使模型的測試精度不斷上升，直到精度符合實驗預期目標時終止調參過程。模型最初選用的優化器是隨機梯度下降法(stochastic gradient descent, SGD)，收斂速度較慢，在換成自適應矩估計優化器后模型收斂速度變快，且精度有所提升，如圖6所示。在起初模型存在過擬合，引入隨機失活(dropout)機制降低過擬合，但調整后又出現數據泄露假象，訓練集的重要特征丟失導致驗證集精度高于訓練集，最終通過降低隨機失活的神經元數量的權重加以解決，并經過試驗最終采用隨機失活的權重為0.2。

輸入圖像的尺寸是150×150的RGB三通道圖像，在經過卷積層時圖像矩陣通道數變成和卷積核數目一致，經過第1個池化層后數據矩陣尺寸變為75×75×16，再通過卷積層、池化層后數據矩陣尺寸變為18×18×128的三維數組。而其后的全連接層輸入必須是一維向量，因此使用全局平均池化層在每個18×18的矩陣中求得平均值，將三維數組重塑為128維的向量，第1個全連接層的輸出是158。數據再經過卷積層和全連接層時，都利用線性整流函數進行激活操作，而通過最后一個全連接層輸出時使用歸一化指數函數將數值映射到概率[0, 1]空間。如圖7所示：模型的訓練輪次為30、批大小為32，模型在第29個輪次后，精度穩定在99%，達到收斂狀態。

圖 6 2 種優化器的損失對比Figure 6 Comparison of loss between two optimizers

圖 7 訓練時精度變化Figure 7 Accuracy changes during training

3 結果與分析

如表3所示：利用4 299個測試樣本測試后，有4 273個樣本預測正確，僅有26個紅木樣本預測錯誤，準確率高達99.4%。本方法不需要對特征建立多個識別模型，能夠自動提取適合模型分類識別的特征，使用更為便捷。

此外，為進一步論證本方法模型的可靠性，選用卷積神經網絡模型AlexNet[22]和VggNet[23]，分別運用遷移學習技術修改它們的最后一層全連接層的數量，微調其全部全連接層的參數建立模型與本方法模型進行了對比。從表4可以看出：本模型參數更少、精度更高。

表 3 各類別的識別準確率Table 3 The recognition accuracy of each category

表 4 模型參數對比Table 4 Comparison of model parameters

4 結論

本方法準確率達99.4%，證明了卷積神經網絡技術用于紅木分類識別的可能性。此外，本方法模型在同樣的數據情況下，雖然在調參優化與訓練時間大于遷移學習模型，但泛化能力明顯高于遷移學習模型，證明了自建模型在應用上優于遷移學習模型。

但是，本方法還存在以下問題：針對交趾黃檀、巴里黃檀、檀香紫檀等7種紅木達到實用級的準確率，但要滿足實際應用還需更多更全的樣本，以保證對于全紅木種類的識別精度；模型給定的輸入必須為顯微鏡30倍拍攝圖片，在圖像輸入到模型前可以針對圖像的拍攝倍數進行適當縮放，以達到顯微鏡30倍拍攝的效果；識別結果中僅包括種類信息，無法給出相應的判別依據，后續可借鑒目標檢測網絡的思想，構建語義化的紅木切片識別模型，達到自動識別紅木類型并框選出相應紅木結構特征的效果。