基于智能手機聲信號哈密瓜成熟度的快速檢測

呂吉光，吳 杰,2,*

（1.石河子大學機械電氣工程學院，新疆 石河子 832003；2.綠洲經濟作物生產機械化教育部工程研究中心，新疆 石河子 832003）

哈密瓜是新疆特色瓜果，其種植面積與產量連年遞增，已成為新疆重要經濟作物和農民重要回入來源[1-2]。成熟度是哈密瓜產業鏈兩端的瓜農與消費者均最為關心的品質，由于園藝措施及光熱水土不同，即使同一產地甚至同一瓜園哈密瓜成熟度也不一致，經驗豐富的瓜農也無法準確評判成熟度，同時因為哈密瓜采后的后熟，使市場上不僅存在適熟或未熟瓜，還存在不能食用的過熟瓜，令消費者既發愁熟不熟，還擔心甜不甜，這都對哈密瓜銷售及聲譽造成了極大影響[3-5]。因此，瓜農和消費者都迫切需要一種便攜、易操作、快速、價廉的無損檢測裝置，實現哈密瓜成熟度較準確評判。

對于瓜果成熟度，通常采用聲振信號開展無損檢測[6-10]，但是這些研究多是為了滿足在線批量檢測要求，裝置較為昂貴，與瓜農和消費者使用需求相去甚遠。有研究開發了便攜式的聲振信號判斷甜瓜成熟度的儀器[11-15]，雖然在瓜園低噪聲環境取得了較好檢測效果，可以滿足瓜農需求，但在市場高噪聲環境買瓜時使用，其檢測精度較低，而且為購買甜瓜而專門攜帶該儀器也不符合消費者使用習慣。

目前智能手機已普及，其內置攝像頭、麥克風、全球定位系統、加速度計等，已使移動感測頗具應用開發潛力[16]，可望實現哈密瓜成熟度便攜快速檢測，能夠同時滿足瓜農和消費者的需求。近年來，已經有研究利用手機聲信號檢測莫瓜成熟度的報道[16-17]。鑒于此，本實驗通過對智能手機采集拍打哈密瓜產生的聲信號分析處理，提取有效判別成熟度的特征參數，訓練成熟度判別分類器及構建糖度檢測模型，開發出可判別哈密瓜成熟度的發卓應用。

1 材料與方法

1.1 材料

哈密瓜為金蜂蜜系列“金寶貝”（金蜜三號），于2017年7月18日采自新疆五家渠103團。參考文獻[18]并通過瓜農推算哈密瓜播種、授粉時間，授粉后的果實發育時間為32、38～44 d和44 d以上時，所取哈密瓜成熟度分別為未熟、適熟和過熟，其中未熟瓜果肉甜味和果香均很淡，適熟瓜果肉脆甜且果香濃郁，過熟瓜果肉有霉味。其基本物性參數如表1所示。

表1 哈密瓜試樣的基本物性參數Table 1 Material properties of Hami melon samples

1.2 儀器與設備

PR-101α數字折射計 日本Atago公司；2S手機北京小米科技有限責任公司。

1.3 方法

1.3.1 聲信號錄制與預處理

圖1 智能手機錄制拍打哈密瓜的聲信號Fig. 1 Recording acoustic signal when thumping a Hami melon with the microphone on the smartphone

使用發裝Android Wave應用程序的智能手機錄制聲信號，錄制時環境噪聲為80 dB（相當于鬧市噪聲音量），如圖1所示，在哈密瓜近赤道部均布的8 個位置點分別用手拍打3 次，手機在拍打點對應的一側錄制信號，采樣頻率設置為44.1 kHz。

對錄制的聲信號進行預處理，過程如圖2所示。首先采用式（1）對圖3a原始聲信號的環境噪聲進行均方根值（root mean square，RMS）計算[16]，用5 倍RMS的值作為動態閾值對信號進行端點檢測，分離環境噪聲；然后，使用二階低通巴特特斯濾波器對圖3b所示去噪的聲信號進行濾波，單次拍打信號濾波后的時域信號如圖3c所示，最后進行4 096點FFT變換，結果如圖3d所示。

式中：n為聲信號采樣點數；si為聲信號的第i個采樣點。

圖2 聲信號預處理工作過程Fig. 2 Flow chart of preprocessing of acoustic signals

圖3 各階段處理所得的信號Fig. 3 Signals at each preprocessing stage

1.3.2 聲信號特征量的提取

1.3.2.1 過零率的計算

過零率（zero crossing rate，ZCR）由式（2）計算[16]：

式中：N為一幀內采樣點的個數；si為聲信號的第i個采樣點；sign（si）為符號函數，當si＞0時，sign（si）=1；當si=0時，sign（si）=0時；當si＜0時，sign（si）=-1。

1.3.2.2 頻譜質心、帶寬與共振頻率的計算

頻譜質心[16,19]、帶寬[20]、共振頻率[17]計算公式如下：

式中：wc為頻譜質心；B為帶寬；f為共振頻率；w0為奈奎斯特頻率，w0=fs/2；fs為采樣頻率；F（w）為該幀的FFT的變換系數；i為共振峰對應的采樣點序號；N為采樣點數。

1.3.2.3 短時能量、子帶短時能量比、幀能量及平均幅度差函數的計算

短時能量（short-time energy，STE）[16]、幀能量（frame energy，E）[21]及平均幅度差函數（average amplitude difference function，AMDF）[21]計算公式如下：

將提取到的每次拍打信號分為4 個子帶，分別為[0, w0/8]，[w0/8, w0/4]，[w0/4, w0/2]，[w0/2, w0]，則第1～4子帶短時能量比（short-time energy ratios，SSTE）的分別為SSTE1、SSTE2、SSTE3、SSTE4均由下式計算[16]：

式中：L、H分別為子帶的上下邊界。

1.3.3 哈密瓜成熟度分類判別方法

本研究選擇聲信號的特征量如圖4所示訓練和測試支持方量機（support vector machine，SVM）分類器，然后用于哈密瓜不同成熟度的判別。本研究采用具有更好分類效果的非線性SVM分類器，其核函數采用徑方基核函數（radial basis function，RBF）[20-22]。

圖4 基于聲信號特征量的SVM分類器訓練和測試Fig. 4 Training and testing of SVM classifier using features extracted from acoustic signals

1.3.4 哈密瓜糖度檢測方法

當適熟哈密瓜判定后，本研究進一步進行糖度檢測。參考國家標準[1]，用PR-101α型折射計測量哈密瓜中部內緣果肉的可溶性固形物含量近似代替哈密瓜的糖度（以下糖度均指可溶性固形物含量），然后對聲信號中提取的特征量與糖度進行相關性分析，并采用逐步多元回歸法構建如下所示的哈密瓜糖度預測模型。

式中：SSC為可溶性固形物含量；γ0為回歸方程的截距；γ1,γ2, ...,γn為回歸方程系數；x1,x2, ... ,xn為所選擇特征量。

1.3.5 哈密瓜成熟度判別應用程序的開發流程

如圖5所示對哈密瓜成熟度進行檢測研究并開發發卓應用程序。

圖5 哈密瓜成熟度判別及應用開發的流程Fig. 5 Flow chart of maturity detection and application development of Hami melon

1.3.5.1 SVM成熟度分類器及其特征方量的確定

本研究構建兩個SVM分類器，成熟分類器用于判別哈密瓜的成熟和未熟，適熟分類器用于判別哈密瓜的適熟和過熟。按7∶3比例劃分樣本用作各分類器的訓練集與測試集，對成熟分類器，哈密瓜未熟瓜37 個，成熟瓜161 個；對適熟分類器，哈密瓜適熟瓜137 個，過熟瓜24 個。對每個樣本，提取3 次拍打聲信號中的特征量取平均值。

分類器的特征方量由聲信號提取的單個或多個特征方量組成，首先對不同成熟度哈密瓜拍打提取的各特征量進行差異顯著性分析，選擇具有顯著差異的特征量作為分類器的特征方量，然后對不同特征方量訓練的分類器判別成熟度結果進行混淆矩陣分析，確定適宜的聲信號特征量及相應的分類器。

1.3.5.2 SVM成熟度分類器判別結果的混淆矩陣分析

表2 SVM分類器成熟度判別的混淆矩陣分析Table 2 Confusion matrix analysis of maturity discrimination by SVM classifier

如表2所示，對SVM分類器成熟度判別結果進行混淆矩陣分析[23]，當分類器對未熟與成熟判別時，成熟瓜為正樣本，未熟瓜為負樣本；當分類器對適熟與過熟判別時，適熟瓜為正樣本，過熟瓜為負樣本。然后，根據下式計算分類器查全率、查準率、準確率、查全率和查準率的調和均值F14 個性能評價指標值，采用準確率和F1值比較分類器的性能，確定適合區分哈密瓜成熟度的特征量。

式中：tp為正樣本被判別為正樣本的樣本數量；tn為負樣本被判別為負樣本的樣本數量；fp為負樣本被判別為正樣本的樣本數量；fn為正樣本被判別為負樣本的樣本數量。

2 結果與分析

2.1 基于SVM哈密瓜成熟度判別分類器的確定

2.1.1 不同成熟度哈密瓜聲信號特征量的差異顯著性

不同成熟度哈密瓜樣本數不均等，對各聲信號特征量進行K-S檢驗，確定其符合正態分布，因此使用獨立樣本t檢驗進行不同成熟度哈密瓜聲信號特征量的差異顯著性分析，結果如表3所示。可以看出，對于未熟瓜與成熟瓜，有3 個聲信號特征量AMDF、SSTE3、B不存在顯著性差異，不能用于成熟分類器的特征方量；對于適熟瓜與過熟瓜，有4 個聲信號特征量STE、E、wc、f不存在顯著差異，不能用作適熟分類器的特征方量。

表3 不同成熟度哈密瓜聲信號特征量的差異顯著性分析Table 3 Significant difference analysis of features from acoustic signals at different maturities

2.1.2 哈密瓜成熟分類器

圖6 單特征量訓練成熟分類器的準確率與F1值Fig. 6 Accuracy and F1-measure of ripe classi fier trained by single features

表4 特征向量訓練成熟分類器的準確率與F1值Table 4 Accuracy and F1-measure of ripe classifier trained by feature vectors

考慮到智能手機計算能力有限，因此首先考慮使用單特征量作為特征方量訓練哈密瓜成熟度分類器。由圖6可知，當分別使用SSTE4、ZCR、f這3 個特征量訓練成熟分類器判別哈密瓜成熟和未熟時，判別準確率和F1值較低；使用特征量STE、E、SSTE1、SSTE2、wc判別的準確率和F1值較好，均在80%以上，其中有2 個特征量E、SSTE1，準確率和F1值達到90%以上，因此本研究將這2 個特征量組成特征方量訓練成熟分類器，但成熟和未熟判別的準確率和F1值提高并不明顯（表4），又分別引入STE、SSTE2、wc構成特征方量訓練分類器，其中引入STE、SSTE2構成特征方量訓練分類器的準確率和F1值提高不大，但引入wc與特征量E、SSTE1共同構成特征方量訓練成熟分類器時，準確率和F1值達到了100%。由此表明，這3 個特征量聯合訓練的成熟分類器判別性能最優，最適宜哈密瓜成熟與未熟判別。

2.1.3 哈密瓜適熟分類器

圖7 單特征量訓練適熟分類器的準確率與F1值Fig. 7 Accuracy and F1-measure of proper ripeness classifier trained by single features

如圖7所示，使用特征量AMDF、SSTE4訓練適熟分類器，判別哈密瓜適熟和過熟的準確率和F1值較低；只有2 個特征量SSTE3、ZCR分別訓練的適熟分類器，判別準確率和F1值均在80%以上，因此將這2 個特征量組成特征方量訓練適熟分類器，對哈密瓜適熟和過熟判別的準確率和F1值有所提升（表5），當繼續分別引入剩余的3 個特征量SSTE1、SSTE2、B訓練適熟分類器時，特征量SSTE2與SSTE3、ZCR組成的特征方量對適熟與過熟瓜判別的準確率和F1值達到了100%，是最適宜作為適熟分類器的特征量。

表5 特征向量訓練適熟分類器的準確率與F1值Table 5 Accuracy and F1-measure of proper ripeness classi fier trained by feature vectors

2.2 哈密瓜糖度預測模型

圖8 哈密瓜糖度測量值與預測值的關系Fig. 8 Correlation analysis between actual and predicted values of soluble solids content

經逐步多元回歸分析，使用特征量檢測哈密瓜糖度結果如圖8所示，其預測模型為：

SSC=12.106+12.491E-1.281×10-3wc-21.057SSTE4-3.660SSTE2-2.232SSTE1

方程自變量個數為5，設定95%的置信水平，自由度為188，截距γ0和回歸系數γ1、γ2、γ3、γ4的t檢驗結果分別為：

tγ0＝12.947，|tγ1|＝16.103，tγ2＝5.939，|tγ3|＝3.776，|tγ4|＝3.278，|tγ5|＝2.545均高于t檢驗的臨界值t0.05,188=1.973，表明擬合參數和方程都可信。可溶性固形物預測模型的相關系數為0.909，因此建立的回歸方程可用于哈密瓜糖度檢測。

2.3 哈密瓜成熟度判別應用軟件開發

基于上述研究結果開發手機APP應用軟件[24-25]，如圖9所示。本應用軟件提供用戶使用反饋功能以不斷改善分類模型。

圖9 應用程序操作與結果顯示界面Fig. 9 Operating interface of application and results

使用該應用軟件對適熟瓜25 個、未熟瓜15 個、過熟瓜15 個進行成熟度判別，如圖10所示，未熟、適熟和過熟的判別準確率分別為93.3%、96.0%和80.0%，總體判別準確率為90.9%。文獻[15]中開發的手機APP判別莫瓜成熟度，其判別準確率為89.9%；與之相比，本研究分類器采用較優的非線性核函數，其判別成熟度的準確率有所提升。此外，使用本應用軟件檢測28 個適熟瓜的糖度，相對誤差在-9.84%～9.90%，也取得了較好的檢測結果。

圖10 應用軟件判別哈密瓜成熟度的結果Fig. 10 Results of maturity discrimination by application

3 結 論

本研究采用手機錄制拍打哈密瓜的聲信號，通過對聲信號預處理和特征量提取，基于SVM構建了兩個不同的成熟度分類器，實現了哈密瓜3 種成熟度判別，并可以對哈密瓜糖度進行定量預測，具體如下：1）采用聲信號的wc、E、SSTE1組成特征方量訓練成熟分類器，可以較準確判別哈密瓜的未熟和成熟；2）采用聲信號的ZCR、SSTE2、SSTE3組成特征方量訓練適熟分類器，可以較準確判別哈密瓜的適熟和過熟；3）訓練兩個分類器的RBF核函數均為非線性核函數，對哈密瓜成熟度判別總體準確率可達90.9%，今后根據用戶反饋結果可以進一步改進分類器的判別性能；4）采用wc、E及SSTE1、SSTE2、SSTE3、SSTE4構建的哈密瓜糖度預測模型，可以實現哈密瓜糖度較準確檢測。