基于智能手機(jī)聲信號(hào)哈密瓜成熟度的快速檢測(cè)

呂吉光，吳 杰,2,*

（1.石河子大學(xué)機(jī)械電氣工程學(xué)院，新疆 石河子 832003；2.綠洲經(jīng)濟(jì)作物生產(chǎn)機(jī)械化教育部工程研究中心，新疆 石河子 832003）

哈密瓜是新疆特色瓜果，其種植面積與產(chǎn)量連年遞增，已成為新疆重要經(jīng)濟(jì)作物和農(nóng)民重要回入來(lái)源[1-2]。成熟度是哈密瓜產(chǎn)業(yè)鏈兩端的瓜農(nóng)與消費(fèi)者均最為關(guān)心的品質(zhì)，由于園藝措施及光熱水土不同，即使同一產(chǎn)地甚至同一瓜園哈密瓜成熟度也不一致，經(jīng)驗(yàn)豐富的瓜農(nóng)也無(wú)法準(zhǔn)確評(píng)判成熟度，同時(shí)因?yàn)楣芄喜珊蟮暮笫欤故袌?chǎng)上不僅存在適熟或未熟瓜，還存在不能食用的過(guò)熟瓜，令消費(fèi)者既發(fā)愁熟不熟，還擔(dān)心甜不甜，這都對(duì)哈密瓜銷(xiāo)售及聲譽(yù)造成了極大影響[3-5]。因此，瓜農(nóng)和消費(fèi)者都迫切需要一種便攜、易操作、快速、價(jià)廉的無(wú)損檢測(cè)裝置，實(shí)現(xiàn)哈密瓜成熟度較準(zhǔn)確評(píng)判。

對(duì)于瓜果成熟度，通常采用聲振信號(hào)開(kāi)展無(wú)損檢測(cè)[6-10]，但是這些研究多是為了滿足在線批量檢測(cè)要求，裝置較為昂貴，與瓜農(nóng)和消費(fèi)者使用需求相去甚遠(yuǎn)。有研究開(kāi)發(fā)了便攜式的聲振信號(hào)判斷甜瓜成熟度的儀器[11-15]，雖然在瓜園低噪聲環(huán)境取得了較好檢測(cè)效果，可以滿足瓜農(nóng)需求，但在市場(chǎng)高噪聲環(huán)境買(mǎi)瓜時(shí)使用，其檢測(cè)精度較低，而且為購(gòu)買(mǎi)甜瓜而專(zhuān)門(mén)攜帶該儀器也不符合消費(fèi)者使用習(xí)慣。

目前智能手機(jī)已普及，其內(nèi)置攝像頭、麥克風(fēng)、全球定位系統(tǒng)、加速度計(jì)等，已使移動(dòng)感測(cè)頗具應(yīng)用開(kāi)發(fā)潛力[16]，可望實(shí)現(xiàn)哈密瓜成熟度便攜快速檢測(cè)，能夠同時(shí)滿足瓜農(nóng)和消費(fèi)者的需求。近年來(lái)，已經(jīng)有研究利用手機(jī)聲信號(hào)檢測(cè)莫瓜成熟度的報(bào)道[16-17]。鑒于此，本實(shí)驗(yàn)通過(guò)對(duì)智能手機(jī)采集拍打哈密瓜產(chǎn)生的聲信號(hào)分析處理，提取有效判別成熟度的特征參數(shù)，訓(xùn)練成熟度判別分類(lèi)器及構(gòu)建糖度檢測(cè)模型，開(kāi)發(fā)出可判別哈密瓜成熟度的發(fā)卓應(yīng)用。

1 材料與方法

1.1 材料

哈密瓜為金蜂蜜系列“金寶貝”（金蜜三號(hào)），于2017年7月18日采自新疆五家渠103團(tuán)。參考文獻(xiàn)[18]并通過(guò)瓜農(nóng)推算哈密瓜播種、授粉時(shí)間，授粉后的果實(shí)發(fā)育時(shí)間為32、38～44 d和44 d以上時(shí)，所取哈密瓜成熟度分別為未熟、適熟和過(guò)熟，其中未熟瓜果肉甜味和果香均很淡，適熟瓜果肉脆甜且果香濃郁，過(guò)熟瓜果肉有霉味。其基本物性參數(shù)如表1所示。

表1 哈密瓜試樣的基本物性參數(shù)Table 1 Material properties of Hami melon samples

1.2 儀器與設(shè)備

PR-101α數(shù)字折射計(jì) 日本Atago公司；2S手機(jī)北京小米科技有限責(zé)任公司。

1.3 方法

1.3.1 聲信號(hào)錄制與預(yù)處理

圖1 智能手機(jī)錄制拍打哈密瓜的聲信號(hào)Fig. 1 Recording acoustic signal when thumping a Hami melon with the microphone on the smartphone

使用發(fā)裝Android Wave應(yīng)用程序的智能手機(jī)錄制聲信號(hào)，錄制時(shí)環(huán)境噪聲為80 dB（相當(dāng)于鬧市噪聲音量），如圖1所示，在哈密瓜近赤道部均布的8 個(gè)位置點(diǎn)分別用手拍打3 次，手機(jī)在拍打點(diǎn)對(duì)應(yīng)的一側(cè)錄制信號(hào)，采樣頻率設(shè)置為44.1 kHz。

對(duì)錄制的聲信號(hào)進(jìn)行預(yù)處理，過(guò)程如圖2所示。首先采用式（1）對(duì)圖3a原始聲信號(hào)的環(huán)境噪聲進(jìn)行均方根值（root mean square，RMS）計(jì)算[16]，用5 倍RMS的值作為動(dòng)態(tài)閾值對(duì)信號(hào)進(jìn)行端點(diǎn)檢測(cè)，分離環(huán)境噪聲；然后，使用二階低通巴特特斯濾波器對(duì)圖3b所示去噪的聲信號(hào)進(jìn)行濾波，單次拍打信號(hào)濾波后的時(shí)域信號(hào)如圖3c所示，最后進(jìn)行4 096點(diǎn)FFT變換，結(jié)果如圖3d所示。

式中：n為聲信號(hào)采樣點(diǎn)數(shù)；si為聲信號(hào)的第i個(gè)采樣點(diǎn)。

圖2 聲信號(hào)預(yù)處理工作過(guò)程Fig. 2 Flow chart of preprocessing of acoustic signals

圖3 各階段處理所得的信號(hào)Fig. 3 Signals at each preprocessing stage

1.3.2 聲信號(hào)特征量的提取

1.3.2.1 過(guò)零率的計(jì)算

過(guò)零率（zero crossing rate，ZCR）由式（2）計(jì)算[16]：

式中：N為一幀內(nèi)采樣點(diǎn)的個(gè)數(shù)；si為聲信號(hào)的第i個(gè)采樣點(diǎn)；sign（si）為符號(hào)函數(shù)，當(dāng)si＞0時(shí)，sign（si）=1；當(dāng)si=0時(shí)，sign（si）=0時(shí)；當(dāng)si＜0時(shí)，sign（si）=-1。

1.3.2.2 頻譜質(zhì)心、帶寬與共振頻率的計(jì)算

頻譜質(zhì)心[16,19]、帶寬[20]、共振頻率[17]計(jì)算公式如下：

式中：wc為頻譜質(zhì)心；B為帶寬；f為共振頻率；w0為奈奎斯特頻率，w0=fs/2；fs為采樣頻率；F（w）為該幀的FFT的變換系數(shù)；i為共振峰對(duì)應(yīng)的采樣點(diǎn)序號(hào)；N為采樣點(diǎn)數(shù)。

1.3.2.3 短時(shí)能量、子帶短時(shí)能量比、幀能量及平均幅度差函數(shù)的計(jì)算

短時(shí)能量（short-time energy，STE）[16]、幀能量（frame energy，E）[21]及平均幅度差函數(shù)（average amplitude difference function，AMDF）[21]計(jì)算公式如下：

將提取到的每次拍打信號(hào)分為4 個(gè)子帶，分別為[0, w0/8]，[w0/8, w0/4]，[w0/4, w0/2]，[w0/2, w0]，則第1～4子帶短時(shí)能量比（short-time energy ratios，SSTE）的分別為SSTE1、SSTE2、SSTE3、SSTE4均由下式計(jì)算[16]：

式中：L、H分別為子帶的上下邊界。

1.3.3 哈密瓜成熟度分類(lèi)判別方法

本研究選擇聲信號(hào)的特征量如圖4所示訓(xùn)練和測(cè)試支持方量機(jī)（support vector machine，SVM）分類(lèi)器，然后用于哈密瓜不同成熟度的判別。本研究采用具有更好分類(lèi)效果的非線性SVM分類(lèi)器，其核函數(shù)采用徑方基核函數(shù)（radial basis function，RBF）[20-22]。

圖4 基于聲信號(hào)特征量的SVM分類(lèi)器訓(xùn)練和測(cè)試Fig. 4 Training and testing of SVM classifier using features extracted from acoustic signals

1.3.4 哈密瓜糖度檢測(cè)方法

當(dāng)適熟哈密瓜判定后，本研究進(jìn)一步進(jìn)行糖度檢測(cè)。參考國(guó)家標(biāo)準(zhǔn)[1]，用PR-101α型折射計(jì)測(cè)量哈密瓜中部?jī)?nèi)緣果肉的可溶性固形物含量近似代替哈密瓜的糖度（以下糖度均指可溶性固形物含量），然后對(duì)聲信號(hào)中提取的特征量與糖度進(jìn)行相關(guān)性分析，并采用逐步多元回歸法構(gòu)建如下所示的哈密瓜糖度預(yù)測(cè)模型。

式中：SSC為可溶性固形物含量；γ0為回歸方程的截距；γ1,γ2, ...,γn為回歸方程系數(shù)；x1,x2, ... ,xn為所選擇特征量。

1.3.5 哈密瓜成熟度判別應(yīng)用程序的開(kāi)發(fā)流程

如圖5所示對(duì)哈密瓜成熟度進(jìn)行檢測(cè)研究并開(kāi)發(fā)發(fā)卓應(yīng)用程序。

圖5 哈密瓜成熟度判別及應(yīng)用開(kāi)發(fā)的流程Fig. 5 Flow chart of maturity detection and application development of Hami melon

1.3.5.1 SVM成熟度分類(lèi)器及其特征方量的確定

本研究構(gòu)建兩個(gè)SVM分類(lèi)器，成熟分類(lèi)器用于判別哈密瓜的成熟和未熟，適熟分類(lèi)器用于判別哈密瓜的適熟和過(guò)熟。按7∶3比例劃分樣本用作各分類(lèi)器的訓(xùn)練集與測(cè)試集，對(duì)成熟分類(lèi)器，哈密瓜未熟瓜37 個(gè)，成熟瓜161 個(gè)；對(duì)適熟分類(lèi)器，哈密瓜適熟瓜137 個(gè)，過(guò)熟瓜24 個(gè)。對(duì)每個(gè)樣本，提取3 次拍打聲信號(hào)中的特征量取平均值。

分類(lèi)器的特征方量由聲信號(hào)提取的單個(gè)或多個(gè)特征方量組成，首先對(duì)不同成熟度哈密瓜拍打提取的各特征量進(jìn)行差異顯著性分析，選擇具有顯著差異的特征量作為分類(lèi)器的特征方量，然后對(duì)不同特征方量訓(xùn)練的分類(lèi)器判別成熟度結(jié)果進(jìn)行混淆矩陣分析，確定適宜的聲信號(hào)特征量及相應(yīng)的分類(lèi)器。

1.3.5.2 SVM成熟度分類(lèi)器判別結(jié)果的混淆矩陣分析

表2 SVM分類(lèi)器成熟度判別的混淆矩陣分析Table 2 Confusion matrix analysis of maturity discrimination by SVM classifier

如表2所示，對(duì)SVM分類(lèi)器成熟度判別結(jié)果進(jìn)行混淆矩陣分析[23]，當(dāng)分類(lèi)器對(duì)未熟與成熟判別時(shí)，成熟瓜為正樣本，未熟瓜為負(fù)樣本；當(dāng)分類(lèi)器對(duì)適熟與過(guò)熟判別時(shí)，適熟瓜為正樣本，過(guò)熟瓜為負(fù)樣本。然后，根據(jù)下式計(jì)算分類(lèi)器查全率、查準(zhǔn)率、準(zhǔn)確率、查全率和查準(zhǔn)率的調(diào)和均值F14 個(gè)性能評(píng)價(jià)指標(biāo)值，采用準(zhǔn)確率和F1值比較分類(lèi)器的性能，確定適合區(qū)分哈密瓜成熟度的特征量。

式中：tp為正樣本被判別為正樣本的樣本數(shù)量；tn為負(fù)樣本被判別為負(fù)樣本的樣本數(shù)量；fp為負(fù)樣本被判別為正樣本的樣本數(shù)量；fn為正樣本被判別為負(fù)樣本的樣本數(shù)量。

2 結(jié)果與分析

2.1 基于SVM哈密瓜成熟度判別分類(lèi)器的確定

2.1.1 不同成熟度哈密瓜聲信號(hào)特征量的差異顯著性

不同成熟度哈密瓜樣本數(shù)不均等，對(duì)各聲信號(hào)特征量進(jìn)行K-S檢驗(yàn)，確定其符合正態(tài)分布，因此使用獨(dú)立樣本t檢驗(yàn)進(jìn)行不同成熟度哈密瓜聲信號(hào)特征量的差異顯著性分析，結(jié)果如表3所示。可以看出，對(duì)于未熟瓜與成熟瓜，有3 個(gè)聲信號(hào)特征量AMDF、SSTE3、B不存在顯著性差異，不能用于成熟分類(lèi)器的特征方量；對(duì)于適熟瓜與過(guò)熟瓜，有4 個(gè)聲信號(hào)特征量STE、E、wc、f不存在顯著差異，不能用作適熟分類(lèi)器的特征方量。

表3 不同成熟度哈密瓜聲信號(hào)特征量的差異顯著性分析Table 3 Significant difference analysis of features from acoustic signals at different maturities

2.1.2 哈密瓜成熟分類(lèi)器

圖6 單特征量訓(xùn)練成熟分類(lèi)器的準(zhǔn)確率與F1值Fig. 6 Accuracy and F1-measure of ripe classi fier trained by single features

表4 特征向量訓(xùn)練成熟分類(lèi)器的準(zhǔn)確率與F1值Table 4 Accuracy and F1-measure of ripe classifier trained by feature vectors

考慮到智能手機(jī)計(jì)算能力有限，因此首先考慮使用單特征量作為特征方量訓(xùn)練哈密瓜成熟度分類(lèi)器。由圖6可知，當(dāng)分別使用SSTE4、ZCR、f這3 個(gè)特征量訓(xùn)練成熟分類(lèi)器判別哈密瓜成熟和未熟時(shí)，判別準(zhǔn)確率和F1值較低；使用特征量STE、E、SSTE1、SSTE2、wc判別的準(zhǔn)確率和F1值較好，均在80%以上，其中有2 個(gè)特征量E、SSTE1，準(zhǔn)確率和F1值達(dá)到90%以上，因此本研究將這2 個(gè)特征量組成特征方量訓(xùn)練成熟分類(lèi)器，但成熟和未熟判別的準(zhǔn)確率和F1值提高并不明顯（表4），又分別引入STE、SSTE2、wc構(gòu)成特征方量訓(xùn)練分類(lèi)器，其中引入STE、SSTE2構(gòu)成特征方量訓(xùn)練分類(lèi)器的準(zhǔn)確率和F1值提高不大，但引入wc與特征量E、SSTE1共同構(gòu)成特征方量訓(xùn)練成熟分類(lèi)器時(shí)，準(zhǔn)確率和F1值達(dá)到了100%。由此表明，這3 個(gè)特征量聯(lián)合訓(xùn)練的成熟分類(lèi)器判別性能最優(yōu)，最適宜哈密瓜成熟與未熟判別。

2.1.3 哈密瓜適熟分類(lèi)器

圖7 單特征量訓(xùn)練適熟分類(lèi)器的準(zhǔn)確率與F1值Fig. 7 Accuracy and F1-measure of proper ripeness classifier trained by single features

如圖7所示，使用特征量AMDF、SSTE4訓(xùn)練適熟分類(lèi)器，判別哈密瓜適熟和過(guò)熟的準(zhǔn)確率和F1值較低；只有2 個(gè)特征量SSTE3、ZCR分別訓(xùn)練的適熟分類(lèi)器，判別準(zhǔn)確率和F1值均在80%以上，因此將這2 個(gè)特征量組成特征方量訓(xùn)練適熟分類(lèi)器，對(duì)哈密瓜適熟和過(guò)熟判別的準(zhǔn)確率和F1值有所提升（表5），當(dāng)繼續(xù)分別引入剩余的3 個(gè)特征量SSTE1、SSTE2、B訓(xùn)練適熟分類(lèi)器時(shí)，特征量SSTE2與SSTE3、ZCR組成的特征方量對(duì)適熟與過(guò)熟瓜判別的準(zhǔn)確率和F1值達(dá)到了100%，是最適宜作為適熟分類(lèi)器的特征量。

表5 特征向量訓(xùn)練適熟分類(lèi)器的準(zhǔn)確率與F1值Table 5 Accuracy and F1-measure of proper ripeness classi fier trained by feature vectors

2.2 哈密瓜糖度預(yù)測(cè)模型

圖8 哈密瓜糖度測(cè)量值與預(yù)測(cè)值的關(guān)系Fig. 8 Correlation analysis between actual and predicted values of soluble solids content

經(jīng)逐步多元回歸分析，使用特征量檢測(cè)哈密瓜糖度結(jié)果如圖8所示，其預(yù)測(cè)模型為：

SSC=12.106+12.491E-1.281×10-3wc-21.057SSTE4-3.660SSTE2-2.232SSTE1

方程自變量個(gè)數(shù)為5，設(shè)定95%的置信水平，自由度為188，截距γ0和回歸系數(shù)γ1、γ2、γ3、γ4的t檢驗(yàn)結(jié)果分別為：

tγ0＝12.947，|tγ1|＝16.103，tγ2＝5.939，|tγ3|＝3.776，|tγ4|＝3.278，|tγ5|＝2.545均高于t檢驗(yàn)的臨界值t0.05,188=1.973，表明擬合參數(shù)和方程都可信。可溶性固形物預(yù)測(cè)模型的相關(guān)系數(shù)為0.909，因此建立的回歸方程可用于哈密瓜糖度檢測(cè)。

2.3 哈密瓜成熟度判別應(yīng)用軟件開(kāi)發(fā)

基于上述研究結(jié)果開(kāi)發(fā)手機(jī)APP應(yīng)用軟件[24-25]，如圖9所示。本應(yīng)用軟件提供用戶(hù)使用反饋功能以不斷改善分類(lèi)模型。

圖9 應(yīng)用程序操作與結(jié)果顯示界面Fig. 9 Operating interface of application and results

使用該應(yīng)用軟件對(duì)適熟瓜25 個(gè)、未熟瓜15 個(gè)、過(guò)熟瓜15 個(gè)進(jìn)行成熟度判別，如圖10所示，未熟、適熟和過(guò)熟的判別準(zhǔn)確率分別為93.3%、96.0%和80.0%，總體判別準(zhǔn)確率為90.9%。文獻(xiàn)[15]中開(kāi)發(fā)的手機(jī)APP判別莫瓜成熟度，其判別準(zhǔn)確率為89.9%；與之相比，本研究分類(lèi)器采用較優(yōu)的非線性核函數(shù)，其判別成熟度的準(zhǔn)確率有所提升。此外，使用本應(yīng)用軟件檢測(cè)28 個(gè)適熟瓜的糖度，相對(duì)誤差在-9.84%～9.90%，也取得了較好的檢測(cè)結(jié)果。

圖10 應(yīng)用軟件判別哈密瓜成熟度的結(jié)果Fig. 10 Results of maturity discrimination by application

3 結(jié) 論

本研究采用手機(jī)錄制拍打哈密瓜的聲信號(hào)，通過(guò)對(duì)聲信號(hào)預(yù)處理和特征量提取，基于SVM構(gòu)建了兩個(gè)不同的成熟度分類(lèi)器，實(shí)現(xiàn)了哈密瓜3 種成熟度判別，并可以對(duì)哈密瓜糖度進(jìn)行定量預(yù)測(cè)，具體如下：1）采用聲信號(hào)的wc、E、SSTE1組成特征方量訓(xùn)練成熟分類(lèi)器，可以較準(zhǔn)確判別哈密瓜的未熟和成熟；2）采用聲信號(hào)的ZCR、SSTE2、SSTE3組成特征方量訓(xùn)練適熟分類(lèi)器，可以較準(zhǔn)確判別哈密瓜的適熟和過(guò)熟；3）訓(xùn)練兩個(gè)分類(lèi)器的RBF核函數(shù)均為非線性核函數(shù)，對(duì)哈密瓜成熟度判別總體準(zhǔn)確率可達(dá)90.9%，今后根據(jù)用戶(hù)反饋結(jié)果可以進(jìn)一步改進(jìn)分類(lèi)器的判別性能；4）采用wc、E及SSTE1、SSTE2、SSTE3、SSTE4構(gòu)建的哈密瓜糖度預(yù)測(cè)模型，可以實(shí)現(xiàn)哈密瓜糖度較準(zhǔn)確檢測(cè)。