結合深度學習與Hough變換的等長原木材積檢測系統

林耀海，趙洪璐，楊澤燦，林夢婷

(1. 福建農林大學計算機與信息學院，福州 350002; 2. 智慧農林福建省高等學校重點實驗室(福建農林大學)，福州 350002)

原木材積檢測是木材貿易、加工和流通中的重要環節，材積檢測的效率和準確率直接關系著原木行業的經濟效益；因此，我國木材加工、流通、管理等多部門一直渴望得到一套有效的原木材積檢測系統。依據我國國家標準GB/T 4814—2013《原木材積表》，原木的材積計算由木材端面徑級和木材長度兩個參數決定。原木貿易、流通行業中，同一批次木材的長度相對固定，較容易獲得，相比之下，原木端面大小不一，難以快速獲得其徑級。如果采用人工檢測端面徑級，存在主觀隨意性大、勞動強度高和效率低的問題。

國內諸多學者提出了多種基于計算機視覺技術的原木材積檢測算法[1-5]，采用計算機視覺技術進行檢測，不僅檢尺效率高、成本低，而且避免了主觀隨意性。學者們提出的端面檢測算法，如應用Hough變換圓檢測[3,6]、圓弧檢測[2]、K-means聚類[3,5]、FCM聚類等算法，其主要利用的是原木端面為類圓的幾何特征，原木邊緣、紋理等特征進行識別。這些算法在原木端面較為完整干凈的情況下能夠準確實現原木材積檢測。但是，在原木背景環境復雜、色彩變化差異較大、邊緣模糊，或者原木端面存在明顯年輪、污漬的情況下，少有算法可以準確識別定位原木，這就要求設計魯棒性更強的原木材積檢測系統。

本課題結合深度學習和Hough變換，搭建等長原木材積檢測系統，不僅能實現在復雜環境下的原木材積快速檢測，而且提供了友好的圖形化用戶界面，方便原木材積檢測人員的使用。

1 等長原木材積檢測系統總體設計

本課題提出的木材材積檢測系統可分為硬件系統與軟件系統兩大部分，其中主要硬件系統如圖1所示。實驗采用英特爾公司的NUC6i7KYK微型計算機作為個人電腦部分，搭載Intel四核八線程i7處理器，操作系統為ubuntu16.04。攝像機采用USB接口免驅動攝像頭，工作電壓為5 V，視角為75°，分辨率為1 920×1 080，圖像輸出格式為MJPG。

軟件系統主要分為前端用戶界面和后端材積檢測算法兩大部分。前端用戶界面使用基于PyQt5核心庫開發的圖形化系統用戶界面設計并實現，為原木材積檢測人員提供一個友好的用戶界面，方便非計算機專業人員的使用。后端材積檢測算法結合了深度學習和Hough變換圓檢測技術。

a. 個人電腦; b. USB攝像頭; c. 原木。圖1 等長原木材積檢測系統Fig. 1 An equal length log volume inspection system

2 等長原木材積檢測系統核心算法設計

2.1 YOLOv3-tiny目標檢測算法

YOLO (you only look once)系列卷積神經網絡[7-10]自從2016年被提出后在工業界得到廣泛應用，并獲得一致好評。與當前其他目標檢測神經網絡相比，如Fast R-CNN[11]、Faster R-CNN[12]、SPP-Net[13]，YOLO系列卷積神經網絡采用整張圖像作為網絡的輸入，其網絡結構能更好地學習到圖像中的上下文信息。同時，網絡模型的泛化性能、網絡訓練和檢測效率等都得到了提高。該網絡屬于典型的one-stage結構的目標檢測網絡，即端到端的訓練方式，有著訓練、檢測速度快等優點。

YOLOv1[7]網絡把輸入的圖像分割為S×S網格。每一個網格負責檢測物體中心位于當前網格的待檢測目標，并預測B個候選框(bounding boxes)，然后計算其預測物體的置信度(confidence scores)，以便表達YOLO檢測系統中該物體在該位置的可信度。

YOLOv2[9]網絡在YOLOv1的基礎上改進，并提出檢測與分類聯合訓練，可以檢測9 000多類物體，故也被稱為YOLO9000。YOLOv2在保持檢測速度的前提下加入BN[14](batch normalization)加速網絡的收斂，同時提出了Anchor Boxes來提升模型的召回率。YOLOv3算法[10]在YOLOv1和YOLOv2基礎上改進，引入了殘差模型Darknet-53和FPN架構。YOLOv3通過提取最后3層特征圖，在每個特征圖上分別做獨立預測，實現了多尺度特征檢測，較大地提升了性能。YOLOv3-tiny在YOLOv3的基礎上去掉了一些特征層，保留2個獨立預測分支，即兩個尺度的輸出，這使得檢測速度得到進一步提高。YOLOv3-tiny卷積神經網絡兩個尺度的輸出分別為13×13和26×26，多尺度的輸出有效地避免YOLOv3-tiny中出現對小目標物體難以檢測的問題。在YOLOv3-tiny網絡中，網絡輸入圖片大小為416×416，其中共有13層卷積層和6層池化層，網絡具體結構如圖2所示。在YOLOv3-tiny網絡中，26×26尺度輸出中融合了Conv_5卷積層和Conv_11層上采樣的信息，采樣后的結果采用Concat操作，其不僅保存原有網絡層的數值信息，還保留了空間位置信息。

YOLOv3-tiny網絡的輸出模型可以抽象表示為一個S×S×B×(5+C)的張量。由于等長原木徑級檢測系統中待檢測目標只有一個類別，即原木，故其C=1，采用的候選框個數為3，即B=3，網絡最后輸出張量深度為18。等長原木材積檢測系統使用的卷積神經網絡中，在Conv_10和Conv_13兩個卷積層采用的卷積核個數為18，這保證了網絡最后的輸出結構深度為18。

圖2 YOLOv3-tiny原木檢測網絡結構示意圖Fig. 2 YOLOv3-tiny detection of log network structure diagram

2.2 基于Hough變換的目標中心精確檢測算法設計

YOLOv3-tiny卷積神經網絡訓練后能對原木端面圖像中的原木進行目標檢測，但是原木端面的徑級識別準確度較低。考慮到YOLOv3-tiny卷積神經網絡進行目標檢測后，可獲得原木端面所在圖像中的大體位置，本課題提出采用Hough變換圓檢測[15]進行接下來的原木端面徑級識別。

Hough變換圓檢測方法采用圖像空間與參數空間中的對偶關系來檢測圓。對于一個半徑為r、圓心為(a,b)的圓，在圖像空間中圓上的點表示為(x0,y0)，其對應的參數空間為三維(a，b，r)。圖像空間上的一點(x0,y0)對應著參數空間中的一個錐面，圖像空間的一個圓對應著一簇錐面相交的一個點。由于Hough變換圓檢測的參數空間為三維，當待檢測圖像中干擾邊緣多，或存在多個檢測圓時，其檢測效果十分不理想。而本課題中的原木端面圓檢測可以利用YOLOv3-tiny卷積神經網絡對原木端面進行目標檢測后的輸出位置信息(x,y,w,h)，從而能有效避免上述問題。

YOLOv3-tiny對原木端面進行目標檢測后的輸出結果為原木端面在圖像中的位置信息(x,y,w,h)，其中(x,y)代表原木端面外包矩形框左上角坐標，(w,h)代表原木端面外包矩形的寬度和高度。YOLOv3-tiny模型目標檢測后，根據原木端面的位置信息，截取該區域圖像，提取邊緣并去除中心的噪聲點，最后運行Hough變換圓檢測。由于YOLOv3-tiny模型截取的區域僅存在一根原木，所以Hough參數空間中僅需選取1個峰值點，對應到圖像空間，即為檢測原木端面中心和徑級。

3 系統核心算法實驗與分析

3.1 實驗數據集制作

本系統搭建過程中訓練YOLOv3-tiny卷積神經網絡的圖片包括：完好端面、霉變端面、伐痕端面、輪廓形狀不規則端面等各類復雜端面原木，共計336張原始圖片。其中82張拍攝于福建省永安市某林場，另一部分來自互聯網。采用276張圖片作為訓練集，余下的60張為測試集。每張圖片中的原木從3～100棵不等。數據集采用Pascal VOC2007標準格式，制作工具為LabelImage，帶標注(空心小圓點)的原木端面圖像，如圖3所示。識別結果為原木，標志為log。表1列出了完好端面、霉變端面、伐痕端面、輪廓形狀不規則端面的原木圖片數量(注：霉變、劃痕和輪廓形狀不規則端面可能同時存在一張圖片中)。

為了提高模型的魯棒性和泛化能力，在訓練模型前，本實驗對訓練集中每一張圖像進行了擴充數據集處理。其中包括：1)圖片旋轉；2)調整曝光度、色調、飽和度；3)添加高斯噪聲。

圖3 數據集樣本標注Fig. 3 Labelled images in dataset

表1 各類原木端面圖像Table 1 Log face images 張

3.2 YOLOv3-tiny卷積神經網絡實驗分析

在訓練階段，首先把數據集中圖像全部轉為416×416，以方便網絡進行輸入訓練。本課題實驗中網絡訓練以32張圖像為一個批次進行小批量訓練，每次更新權重時采用BN進行正則化處理，動量值設置為0.9，網絡初始訓練學習率為0.001，權值衰減值為0.000 5。模型訓練與測試硬件平臺同為英偉達公司的嵌入式開發深度學習平臺Jeston TX2，操作系統為ubuntu16.04，共計為YOLOv3-tiny模型進行了13萬次迭代。

為了獲取合適的候選框，使得YOLOv3-tiny網絡的預測框能更加貼合實際標記框，采用K-means聚類計算出合適的候選框大小，其中K-means使用的為歐式空間距離。得到的6個錨定框為(12×12)、(25×25)、(46×48)、(78×82)、(170×172)、(332×320)，在網絡的26×26的輸出上使用前3個錨定框，13×13的輸出上使用后3個錨定框。

在對YOLOv3-tiny模型進行13萬次迭代后，模型對原木端面具有良好的檢測效果如圖4所示。針對原木所在背景復雜，端面存在裂變、霉變，以及端面不整潔等復雜情況都有很好的檢測效果。值得一提的是，由于在模型訓練過程中，采用數據集增強方式，模型能適應光線強弱變化大的應用場景。

a)原木端面整潔；b)背景復雜；c、d)端面不整潔且存在裂變。圖4 YOLOv3-tiny在復雜情況下識別結果Fig. 4 YOLOv3-tiny results in complex situations

3.3 原木端面徑級檢測算法實驗分析

原木端面徑級檢測主要流程如圖5所示。首先對原木端面圖像采用Canny算子進行邊緣提取。根據YOLOv3-tiny卷積神經網絡預測的位置信息(x,y,w,h)，考慮到YOLOv3-tiny輸出的預測框可能沒有包括原木端面的完整輪廓，故對YOLOv3-tiny的輸出區域進行拓展，其拓展大小為5個像素點，如圖5步驟①所示；再根據YOLOv3-tiny輸出的位置信息計算待檢測目標(原木)的中心位置，以該中心位置為圓心，半徑為R的圓區域去除噪聲邊緣點，如圖5步驟②所示；最后使用Hough變換圓檢測對原木端面的圓心和徑級進行計算。其中，邊緣去除處理部分的半徑R計算如公式1所示；在本系統的框架中，R值的設置主要會影響Hough參數空間峰值的計算速度。

(1)

原木端面檢測結果見圖6。如圖6所示，對比直接采用Hough變換圓檢測算法和“一種漸進式圓心定位的原木端面輪廓識別方法”[16],本課題算法對端面檢測具有更加顯著的實驗結果。

① 區域截取；② 中心區域邊緣去除；③ Hough變換圓檢測。圖5 原木端面檢測步驟示意圖Fig. 5 Log face inspection procedure

圖6 原木端面檢測結果Fig. 6 Comparision of log face detection results

各類原木端面特征的實驗圖像上的實驗結果統計對比見表2。由表2可見，本課題提出的算法對比直接采用Hough變換圓檢測算法和漸進式圓心定位法在提升真檢率、降低誤檢率方面優勢十分明顯。Hough變換圓檢測在端面圖像復雜、待檢測類圓目標較多時，性能迅速下降；漸進式圓心定位法在端面色彩變化大、端面情況臟亂時，性能迅速下降。本課題提出的算法在上述各類情況下，性能穩定，顯示了較好的魯棒性。

表2展現了本課題算法的真檢率和誤檢率相較其他兩種方法具有明顯的優勢。Hough變換圓檢測算法的真檢率為25.86%，誤檢率為1.20%，漸進式圓心定位[16]算法的真檢率為64.45%，誤檢率為21.08%，而本課題算法的真檢率為98.79%，誤檢率為0.602%，相較于其他兩種方法，本課題算法在提升真檢率的同時降低了誤檢率。

表2 各類原木端面檢測結果統計對比Table 2 Numerical comparision of log face detection results

4 系統軟件設計與實現

考慮等長原木材積檢測系統的使用人員一般為非計算機專業人員，本課題提出采用基于PyQt5核心庫開發出友好的系統用戶界面，方便工作人員使用，同時提供動態參數調整(算法已經設置了默認值)，使得檢測人員在有需要的情況下可以進行一定的調整，以提高等長原木材積檢測的準確率。

等長原木材積檢測系統主界面如圖7所示。圖7中，左上角區域為用戶控制區域，右上角為通過USB攝像頭獲取的原圖信息，左下角為采用YOLOv3-tiny卷積神經網絡進行目標檢測后的結果圖，右下角為本系統檢測的結果。在圖7右下角圖中，本課題提出的材積檢測系統較為醒目地圈出了原木的圓形輪廓，并將原木直徑直觀地顯示在圓形中間。

圖7 等長原木材積檢測系統主界面Fig. 7 The main interface for an equal length log volume inspection system

圖8 系統使用基本流程Fig. 8 Basic process used by the system

本系統用戶使用基本流程如圖8所示。首先用戶開啟等長原木材積檢測系統并導入待檢測圖片；再次點擊RUN YOLO按鈕，使用YOLOv3-tiny對圖片進行目標檢測，其檢測結果能實時顯示給用戶；最后使用默認參數或用戶自定義參數進行端面徑級檢測，并根據用戶輸入的原木長度和校準端面徑級信息進行材積計算。其中，端面徑級校準如圖9所示。系統提示用戶手工測量圖片中紅色原木端面徑級，通過用戶輸入，校準材積檢測結果。

圖9 校準端面徑級Fig. 9 Calibrated the log face diameter

本課題提出的檢測系統中原木徑級會直接顯示在最后檢測結果圖中，同時系統檢測過程的步驟圖片(如：邊緣圖、中心區域去除邊緣圖、YOLOv3-tiny目標檢測結果圖等)和檢測結果信息都會保存于系統文件中，方便用戶后續查看。倘若用戶調整Canny算子參數，信息后重新檢測的邊緣會以彈窗形式展現，提高系統與用戶的交互性。

5 結 論

本課題提出的等長原木材積檢測系統結合了深度學習和Hough變換圓檢測兩種算法的優勢，在面對背景復雜、端面裂紋、端面有污漬霉變等情況下，對于成捆堆放的原木仍能展現出很好的檢測效果，其真檢率達到了98.79%，這說明了本系統對復雜原木端面圖像有很好的魯棒性。除了引入的深度學習算法保證了系統的魯棒性外，系統的Hough算法模塊則保證了直徑大小的準確性。

在系統軟件方面，為了兼容深度學習算法和用戶界面設計，采用PyQt5核心庫作為系統前端開發，從而使得本系統既能很好地連接后臺核心算法，又可以給用戶提供一個簡潔友好的使用界面。多種木材的原木端面圖像的材積檢測結果表明，本系統具有很好的推廣應用價值。