用于秸稈燃料熱值估計的圖像分析系統設計

， ，，，

(1.浙江工業大學 信息工程學院，杭州 310023； 2.嘉興新嘉愛斯熱電有限公司，浙江 嘉興 314016)

0 引言

秸稈可以替代煤炭、石油和天然氣等礦物質燃料產生電力，不僅減少人類對礦物能源的依賴，保護國家能源資源，而且通過嚴格控制秸稈的高效燃燒將有效降低我國PM2.5濃度，減輕能源消費給環境造成的污染[1]。目前歐美國家建立了較為完善的秸稈類農業廢棄物燃燒發電廠，證明秸稈直燃發電具有顯著的能源效益和環境效益，而且回收廢棄秸稈增加了農民收入，從經濟上保證農民不再亂燒秸稈，目前秸稈燃燒技術在我國發展十分迅速。

不同于煤炭、石油和天然氣等礦物質燃料，不同品種和產地的秸稈具有不同固定碳、揮發份、水分、灰分等成分比例，加上回收時預處理手段和當地氣候的影響，造成了秸稈燃料品質的差異很大。由于秸稈燃料品質的變化，導致燃燒單位質量秸稈的發熱量也隨之發生改變，這給秸稈燃燒發電循環流化床鍋爐的燃燒效率控制和發電過程控制造成了不利的影響。因此，在實際秸稈燃燒發電過程中，為了更好的控制秸稈循環流化床鍋爐燃燒效率，提高秸稈燃料的發電效率和發電安全性，需要對送入循環流化床鍋爐燃燒發電的秸稈燃料進行熱值計量操作，并將計量結果及時反饋給秸稈燃燒發電過程控制系統。

目前秸稈燃燒發電過程燃料熱值計量方法仍然采用化學檢驗方法為主[2], 在秸稈燃料購買后進廠入庫時取樣，然后烘干秸稈燃料樣本，收集蒸發的水蒸氣，得到秸稈燃料的含水率，再燃燒烘干的秸稈燃料樣本，結合用化學試劑測定的成分組成，建立樣本絕干料的熱值，進而計量本批次秸稈燃料的熱值。但目前這些方法和裝置不能實現燃燒發電的所有秸稈燃料的熱值的在線計量，而且操作周期長，應用過程復雜，計量實效性低，遠遠不能滿足現代秸稈燃燒發電過程的高品質燃燒控制要求。因此，近年來相關學者對于這個具有挑戰性的難題做了一些探索性研究，以滿足現代秸稈燃燒發電過程對秸稈燃料熱值的在線實時計量的迫切需要[3]。

本文結合秸稈燃燒發電過程中的實際需求，設計了一套針對秸稈燃料熱值在線實時計量的圖像分析系統。不同于傳統的化學檢驗方法，本系統定制了一套基于深度學習U-Net[4]網絡的圖像分割算法來實現秸稈燃料分類功能，更進一步地，良好的分類結果為秸稈燃燒發電過程中的熱值估算以及后續的燃料量的在線自動調整控制提供了參考依據。

1 系統硬件設計

根據秸稈燃料圖像分析系統的設計需求，本文設計的系統框架如圖1所示。

圖1 秸稈燃料圖像分析系統框架

系統包括工業攝像機、圖像分析主機、服務器和工業互聯通信網絡總線、含水率檢測儀，其中含水率檢測儀本文不作任何介紹，但最后的含水率參數通過工業互聯網返回給主機用于在線計算燃料熱值。

圖像分析系統硬件設計如圖1虛線框所示，主要包括工業攝像機和圖分析主機兩部分。

1.1 工業攝像機的設計

工業攝像機的設計主要包括ISP處理板和攝像頭板兩部分。

ISP處理板選用TI公司開發的針對高清視頻處理的高性價比DaVinci系列多媒體處理器DM365，主頻最高可達300 MHz，芯片內部包含一個視頻處理子系統，有獨立的視頻處理前端和視頻處理后端組成，提供了成熟的圖像處理功能，能夠針對多種類型的圖像傳感器進行圖像質量上的優化。

攝像頭板選用Aptina公司的CMOS傳感器 AR0135搭配M12接口，焦距為6 mm的定焦鏡頭，最大圖像傳輸率能達到720p@60fps，采用全局曝光的方式，能夠有效地避免因傳送帶快速運動而引起的“拖影”和“果凍現象”，進而拍攝出清晰的秸稈燃料圖片。

此外，經過ISP處理后的圖像數據通過一根雙絞線以串行的方式傳送至圖像分析主機。

1.2 圖像分析主機的設計

圖像分析主機的設計主要包括核心板以及接口板兩部分。

1.2.1 圖像分析核心板的設計

圖像分析核心板采用TI公司的一款浮點雙DSP C66x+雙ARM Cortex-A15工業控制及高性能音視頻處理器AM5728。

AM5728處理器最高主頻為750 MHz(DSP)+ 1.5 GHz(ARM)，ROM為4 G/8 GByte MMC，片上 L3 RAM 高達2.5 MB，雙 DDR3/DDR3L 存儲器接口 (EMIF) 模塊，最高支持 DDR3-1066，每 EMIF 支持高達 2 GB。支持全高清視頻(1080P@60fps)，多個視頻輸入和視頻輸出，具有 DMA 引擎和多達 3 條管線的顯示控制器。同時擁有豐富的外設接口：集成千兆網，PCIe，GPMC、USB、UART、SPI、SATA、I2C、DCAN及工業控制總線等接口。

此外，核心板體積極小，大小僅為80 mm×70 mm，底部為工業級精密B2B連接器，0.5 mm間距，穩定，易插拔，防反插，關鍵大數據接口使用高速連接器，保證信號完整性。核心板是最主要的信號處理分析核心，高速信號分布密集，采用了十層板層疊設計，同時預留一大塊裸銅散熱區。

1.2.2 圖像分析接口板的設計

圖像分析接口板，主要負責與外設進行交互。板上除了常用的HDMI,USB,SATA,UART接口外還集成了4 G模塊，用于連接工業互聯網，以達到和系統中的其他設備進行通信的目的。

4 G模塊選用一款Neoway的基于高通平臺的 4 G 全網通工業級模塊N720，搭載ARM Cortex-A7處理器，具有超寬工作溫度低至-40℃高至+85℃，靜電能力達到 8 KV；支持國內移動/聯通/電信三大運營商的2 G/3 G/4 G 網絡制式。N720通過USB虛擬串口與主控芯片AM5728進行通信。

2 系統軟件設計

在硬件系統的基礎上，軟件開發需要完成的任務包括各模塊的驅動編寫、圖像的采集和處理、工作狀態的檢測、訓練標注平臺的設計、圖像分割算法的實現以及秸稈熱值的計算。圖像分割算法和秸稈熱值估算將單獨在后兩小節實現與分析。整個系統的運行流程如圖2所示。

圖2 系統運行流程

2.1 ISP圖像處理

圖像傳感器經過曝光得到的圖像數據為原始數據(Raw Data)，由于保存的圖像信息量較大，無法直接傳遞給后續算法處理，所以需要經由ISP處理[5]，在格式上，質量上對圖像進行優化。ISP圖像處理主要流程如圖3所示。

圖3 ISP處理流程

2.2 工作狀態檢測算法

本系統利用了感知哈希算法[6]計算并比較圖像的相似度來檢測運送秸稈燃料的傳送帶是否處于工作狀態，同時根據工作狀態來關閉圖像分析系統中的一些功能模塊，進入待機模式，等待下一次工作，以此降低整個系統的功耗和網絡流量消耗。工作狀態檢測算法的流程如圖4所示。

圖4 系統運行流程

本系統在算法中通過DCT變換，利用DCT低頻系數之間的相關性構造哈希[7]。通過計算8x8DCT的矩陣的均值與64個數進行比較，大于等于DCT均值設為1，小于DCT均值的設為0。最后得到一個64位的哈希值作為每一張圖片的“指紋編碼”，通過比較這個“指紋編碼”來比較兩張圖片的相似度，進而判斷工作狀態。

2.3 訓練標注平臺

訓練標注平臺用ruby on rails框架開發。結構如表1所示，主要由數據存儲模塊、任務管理模塊、標注功能模塊、登錄管理模塊、標簽組管理模塊、訓練管理模塊組成。

表1 各模板類別識別時間

為了方便拓展，訓練標注服務器被設計成分布式結構，其架構如圖5所示。

圖5 標注訓練服務器分布式架構

標注平臺首先將用戶或者設備上傳的圖片數據按照不同的標簽組標識的任務分發給不同的標注人員，形成標注隊列，當用戶標注提交任務完成后，返回給平臺形成審核隊列，當分發任務人員審核通過后，即可發布訓練任務，形成一個訓練隊列，由訓練服務器輪詢認領任務。

Master程序主要實現任務認領，下載相關的圖片數據包，返回訓練進度，Worker程序主要用于訓練，生成訓練結果，當Worker程序訓練完成時，會通知Master程序將訓練結果返回給平臺，在訓練平臺中形成訓練結果隊列，以供給用戶展示結果。

3 分割算法

在燃料秸稈的分割算法中，核心算法主要由兩個部分組成：圖像數據增強算法和語義分割算法。圖像數據增強是指對現有的圖像數據進行各種變換操作，以達到數據擴展的效果。語義分割是將采集到的圖像輸入到U-Net改進網絡中，先集后經過編碼器、解碼器、歸一化等多種操作得到語義分割圖像。

3.1 圖像數據增強算法

深度學習是基于數據的算法，數據越多，其效果就越好，并且數據集越大，模型過擬合的可能就越小，可以說是有百利無一害。而由于語義分割的數據集標注成本較高，故我們引入了數據增強算法來對已有的標注數據集進行擴張。

3.1.1 隨機修剪

隨機裁剪就是指在原圖像上隨機裁剪指定大小的圖片用于訓練，假設原始圖像為256×256，裁剪得到224×224的圖片進行輸入，這可以使我們的數據集擴張1024倍。設定一個圖片大小，在原始數據集上的隨機位置裁剪下該大小的圖片用于訓練。本系統設定的裁剪大小為 512×512。

3.1.2 PCA Jittering

首先按照RGB三個顏色通道計算了均值和標準差，對網絡的輸入數據進行規范化，隨后我們在整個訓練集上計算了協方差矩陣，進行特征分解，得到特征向量和特征值，用來做PCA Jittering[8]。對秸稈燃料數據集做PCA jittering的效果如圖6所示。

圖6 施加PCA jittering效果圖

PCA jittering是利用主成分來給RGB像素值加偏差的處理方式，PCA jittering操作就是在訓練數據上執行PCA找到主成分，然后為每個訓練圖像添加多個找到的主成分。

3.2 語義分割算法

語義分割[9-10]是整個系統的核心，通過深度學習方法來對秸稈燃料進行分割，以分割的結果計算得到秸稈的占比，最后通過占比和各組分的熱值估算出當前燃料堆的熱值是本算法研究的主要方向。

盡管我們采用了圖像數據增強來對數據集進行擴張，但是由于，其場景比較單一，各張圖片內容會比較相似，所以實際數據集還是會偏小。因此我們選擇U-Net結構作為算法的核心架構。U-Net結構的網絡在小數據集上也能訓練得到一個較好的模型，并且相對于逐像素點分類的其他網絡，其網絡速度更快。

3.2.1 網絡結構

原始的U-Net網絡[4]在編碼器側使用了典型的卷積[11-12]網絡架構，每次重復兩個卷積層和一個池化層，深度略顯不足，而深度可以使模型擬合能力指數增長[13]。

編碼器部分主要是為了提取圖片的特征，而圖像分類網絡在圖片特征提取方面的效果非常不錯，谷歌最近發布的Mobilnet V2[14]是一個輕量網絡，在速度上超過了許多網絡，并且效果很好，所以我們選擇MobileNet V2網絡來作為編碼器。優化后的的網絡結構如圖7所示。圖片輸入網絡后的步驟描述如下：

圖7 U-Net網絡結構

步驟一：對輸入進行卷積得到特征圖。

步驟二：復制一份特征圖，對其中一份特征圖繼續前向卷積操作，保留另一份準備進行copy操作。

步驟三：重復步驟一、二4次。

步驟四：將前向得到的特征圖同之前保留的特征圖融合并進行卷積操作，重復4次。

步驟五：得到最后的輸出圖。

一般而言，卷積層越多，提取的特征越高級，即從提取線慢慢變成提取物體特征，具體提取的效果可以由網絡根據給定數據自動擬合

3.2.2 Loss函數

損失函數是用來評估預測結果與真值之間的差異程度，損失值越小，說明模型的效果越好。這里我們采用交叉熵函數作為網絡的loss函數。

交叉熵損失函數公式如式(1)所示：

(1)

其中:n為訓練數據的個數，x為訓練輸入，y為期望的輸出，a為實際的輸出。其導數公式如式(2)，式(3)所示：

(2)

(3)

根據導數可以看出，在使用交叉熵作為損失函數時，權重的學習速率可以被控制，也就是可以被結果的誤差控制。那么當誤差大的時候，權重更新就快，當誤差小的時候，權重的更新就慢。

3.2.3 優化算法

優化算法主要是通過改善訓練方式來幫助模型最小化損失函數。我們選擇Adam算法[15]作為網絡訓練的優化算法。Adam算法是在深度學習領域非常流行的算法，是一種可以替代傳統SGD算法的優化算法，它能計算每個參數的自適應學習率，在非凸優化問題中有著許多優勢。

4 熱值估算

在以下估算過程中，為方便敘述，將秸稈燃料主要分為三類：小麥秸稈、玉米秸稈、木頭。

計算步驟如表2所示。

表2 秸稈燃料熱值估算步驟

4.1 占比計算

4.1.1 表面積占比

用數據增強后的秸稈燃料數據集來訓練網絡，訓練1 000個epoch后得到可以使用的語義分割模型。將秸稈圖像輸入模型，得到一張的特征圖，不同維度預測的是不同種類物體的位置信息。我們將同位置不同維度的像素值大小視為該維度代表的種類的置信度，根據每個點在所有維度上的像素最大值的維度值，得到秸稈分割圖，即一張的特征圖。

P(m,n)=arg maxi(F(m,n,i))

(4)

其中:m,n表示坐標信息，i表示輸出特征圖的第i維，P(m,n)代表坐標(m,n)的像素值，F(m,n,i)表示在(m,n,i)位置的像素值。

對于處理得到的特征圖，每一個像素值就代表一種物體。在本文中，0代表小麥秸稈，1代表玉米秸稈，2代表木頭，3代表背景。最后我們通過統計不同像素值的個數做計算得到各個物體的占比。

4.1.2 總體占比估算

通過分割算法得到的占比僅僅是表面積占比，不代表總體占比。在實際應用中，我們不需要每隔幾秒就反饋一次占比給控制系統，因此針對燃料堆放不均勻，上下層次混亂等問題，本文通過累加法計算一段時間內的平均占比來降低隨機性，以此提高估算的精度。時間T的取值過小，過大都會影響系統的穩定性。

(5)

4.2 含水率問題

除了占比的問題，實際熱值估算中還需要考慮含水率對熱值的影響。

由于秸稈燃料的庫存量通常很大，而且存放周期也較長，因此即使是同一批次秸稈燃料，經過長時間存放后，由于含水率的變化它們的燃燒熱值都將發生很大的改變和不同。

通過含水率檢測儀在線測量秸稈燃料的含水率并返回給圖像分析主機，讀取服務器中對應秸稈燃料的成分組成和組分的熱值[3]，采用秸稈熱值計算公式計量秸稈燃料的熱值，熱值計算公式參見式(5):

Q=q(1-0.01w)-a1w

(6)

其中:Q表示單位質量某一類秸稈燃料的熱值，單位J/kg；w表示當前時間段內秸稈燃料的含水率，單位%；q表示秸稈燃料的決干料的熱值，單位J/kg，計算參見式(6)：

q=a1qC+a2qH+a3qS+a4qN-a5qO

(7)

其中:qC、qH、qS、qN和qO分別表示秸稈燃料中中碳、氫、硫、氮和氧的質量含量，單位%；系數a1、a2、a3、a4和a5分別表示對應秸稈燃料中對應成分的單位質量的熱值，單位J/kg。

4.3 熱值估算公式

綜上所述，結合平均占比計算公式和熱值估算公式得到一段時間T內總熱值的估算公式如式(7)所示：

(8)

5 系統測試

5.1 分割效果

輸入測試集到U-Net網絡中，得到特征圖，以像素值來區分不同的類別。在本實驗中，像素值0代表小麥秸稈，1代表玉米秸稈，2代表木頭，3代表背景，由于不同的像素值在視覺上無法給人直觀的感受，所以我們對像素值進行了編碼，將4個像素值以不同的RGB值映射到圖片中。其中，黑色為小麥秸稈部分，紅色為玉米秸稈，綠色為木頭，黃色為背景。效果展示如圖8所示。

圖8 分割算法效果圖

5.2 算法性能測試

本文對基于改進U-Net網絡的分割算法進行了量化測試，分別以150張人工標注過的圖片和300張人工標注過的圖片作為訓練集對算法進行訓練，挑選30張為訓練圖片進行測試，計算每一種成分的平均精度，平均重合度，結果如表3，表4所示。

表3 訓練集為150的算法性能

表4 訓練集為300的算法性能

通過比較，可以明顯的得知幾個結論：

1)小麥秸稈的分割效果最好，玉米秸稈次之，木塊的分割效果較差。

2)訓練集的大小影響分割效果，一般而言，訓練集越大，分割效果越好。

3)訓練集中每種成分的多少也會影響最后的分割效果，例如訓練集里小麥秸稈比例大，所以最后小麥秸稈的分割效果最優。

4)平均精度和平均重合度越大，分類結果越準確，最后得出的熱值估值也就越精確。

6 結束語

本文針對秸稈燃料燃燒發電時的實際需求，設計了用于秸稈燃料熱值估計的圖像分析系統，先后介紹了該系統的硬件和軟件系統，加入了傳送帶工作狀態的檢測機制，設計了用于標注訓練秸稈數據的平臺，提出了基于改進U-Net網絡的圖像分割算法，并通過大量實驗驗證了該算法的精確度。系統測試結果表明，在訓練集大于300以上時，算法的平均精度達到0.86以上，平均重合度達到0.68左右，算法穩定性和適應性較好，能根據秸稈燃料的成分不同，訓練出不同的模型。

但是由于秸稈燃料堆放不均勻，層次復雜等問題，得到的表面積占比不足以代表最后的占比，后續將針對如何選擇一個合理的T值使秸稈燃料占比估算的過程最優化進行研究，并結合實際應用場景，基于大量實驗數據，給出一個合理的時間閾值T，優化整個系統的精確度。