基于卷積神經網絡干癟核桃X射線圖像判別

摘要：核桃內部品質良莠不齊會使其市場利潤降低，現有檢測方式不僅勞動成本高，效率低，且無法對核桃內部干癟程度進行判別，因此，迫切需要一種無損、快速、準確的檢測方式及判別方法。采用X射線技術獲取核桃內部圖像，采用圖像處理軟件Photoshop對核桃與核桃仁投影面積進行比值計算，確定3類不同干癟程度的核桃，分別為內部存在略干癟、過干癟的核桃與正常核桃，采用3種核桃構建干癟核桃數據集。基于卷積神經網絡（CNN）結構，利用Alexnet、視覺幾何群網絡（VGG16）、MobileNetV2與殘差網絡（ResNet50）分別構建核桃內部干癟程度判別模型。根據3種模型對干癟核桃數據集分類的預測損失值、預測準確率、測試準確率與Epoch均次用時進行性能分析確定最優模型，并進行參數優化。結果表明，MobileNetV2模型在學習率為0.000 1，批處理為32時，網絡性能最佳，預測準確率達98.65%，測試準確率為93.40%。

關鍵詞：核桃；無損檢測；X射線；內部干癟程度；卷積神經網絡

中圖分類號：S123" " " 文獻標識碼：A" " " 文章編號：2095?5553 （2024） 09?0184?06

Discrimination of shriveled walnut X?ray image based on convolution neural network

Pu Houxu， Zhang Hui

（School of Mechanical Engineering， Xinjiang University， Urumqi， 830000， China）

Abstract： The difference of internal quality of walnut will reduce its market profit. The existing detection methods have high labor cost and low efficiency， as well as impossible to discriminate the shriveled walnuts with different degrees. Therefore， a non?destructive， rapid and accurate detection method and a discriminated method are urgently needed to detect internal shriveled walnuts. The internal images of walnuts are obtained by using X?ray technology， and the ratio of the projection area between the walnut and walnut kernel is calculated by employing Photoshop image processing software， three categories of walnuts with different degrees of shriveling are identified， which are slightly shriveled， overly shriveled and normal walnuts， respectively. A shriveled walnut dataset is constructed by using these three types of walnuts. Based on the convolutional neural network （CNN） structure， the discrimination models of walnut internal shriveling degree are constructed by using Alexnet， VGG16， MobileNetV2 and ResNet50. The optimal model is determined through performance analysis based on the prediction loss value， prediction accuracy rate， test accuracy rate and Epoch average duration of the three models on the shriveled walnut dataset， followed by parameter optimization. The results show that the MobileNetV2 model achieves the best network performance with a learning rate of 0.000 1 and a batch size of 32， and with a prediction accuracy of 98.65% and a test accuracy of 93.40%.

Keywords： walnut; non?destructive detection; X?ray; internal shrinkage walnut with different degrees; convolutional neural networks

0 引言

新疆是中國核桃主產地之一。2022年，新疆核桃的種植面積達630.9 khm2，產量達1 132 kt[1]。由于新疆核桃以小規模零散種植農戶為主，核桃產業機械化水平較低，核桃在篩選過程中僅依靠人工與小型機械，內部存在干癟、褐變和空殼等缺陷的核桃無法被精確剔除，造成人工成本高，商品率低[2]。傳統的核桃檢測方法主要有人工檢測、機器振動篩和風選法。人工檢測效率低，勞動強度大；機器振動篩和風選法功耗大，在檢測過程中對核桃外部會造成一定的損傷，且均無法在不破壞核桃外殼的情況下對其內部缺陷進行有效的檢測，特別是核桃內部干癟程度的檢測。如果能無損、快速、準確地檢測出核桃內部干癟程度并分級，以進一步提高核桃分級效率與批次質量，提高核桃初加工產品的銷售利潤，對新疆核桃產業高質量發展有著重要意義。

X射線檢測技術在無損檢測領域中發展日趨成熟，具有操作方便、價格低廉、不同物質對X射線有不同吸收率的特點。基于X射線無損檢測技術，Dian等[3]實現了對核桃中雜物的篩選，在測試圖像中準確率高達99.5%，驗證圖像中準確率達到95%；許騫等[4]實現了柑橘浮皮與枯水的快速檢測，準確率分別為96.2%與86.9%；Van等[5]對梨內部褐變的檢測準確率達到了90.2%。

深度學習具有適應性強、數據驅動、自動提取特征的優點。王靈敏等[6]采用Alexnet網絡對香蕉成熟度進行分類，準確率達到95.56%。李文寶等[7]利用VGG16網絡對5類核桃進行品種分類，準確率達到99.7%。閆龍泉等[8]采用ResNet50網絡對唐卡進行判別，使其召回率提高25%。秦嘉奇[9]通過MobileNetV2對農作物的樹葉進行病害識別，準確率達到99.57%。

基于這些研究，本文以正常核桃與內部存在不同干癟程度核桃的X射線圖像為研究對象，構建Alexnet、VGG16、MobileNet、ResNet50圖像分類網絡挖掘不同核桃的X射線圖像特征，構建內部不同干癟程度核桃CNN判別模型以找到最適于核桃內部干癟程度判別分類網絡，并對分類網絡的參數進行進一步優化，以期為X射線技術應用于核桃內部存在干癟缺陷檢測方法提供理論參考。

1 材料與方法

1.1 樣本與設備

本研究所采用的試驗樣本為新疆葉城縣種植的“溫185”核桃，剔除表面存在缺陷的核桃后，對剩余1 447個試樣通過TXR-B3V1.0.0型X射線異物檢測系統采集核桃X射線圖像。該系統包括一個X光源SPC-P110（AVJ Technologies Company）、一個X-Scan c5 Series線性陣列X射線探測板（Detection Technology Plc）、控制裝置、傳送帶、X射線成像傳輸系統和機架。經過多次試驗驗證，X射線光源參數選為管電壓50 kV，管電流60 mA，可獲得清晰反映核桃內部品質的X射線圖像。

1.2 核桃內部干癟程度測定

黃星奕等[10]提出核桃擺放位置會影響核桃的X射線圖像質量，當核桃基于縫合線垂直擺放的狀態下獲取的X射線核桃圖像質量最高，因此，本試驗均采用該擺放方式獲取X射線核桃圖像，以降低核桃殼的內褶與分心木對核桃分類的影響。首先，對大批量核桃進行X射線連續檢測獲得內部正常核桃、內部存在干癟與過干癟缺陷的核桃原始圖像后，再采用圖像裁剪獲得僅包含單個核桃樣本的圖像，并進行編號。按編號通過人工剖開檢驗與圖像對比的方式，將樣本劃分為無干癟、略干癟和過度干癟3種情況，并設置相應標簽。核桃干癟度的判斷標準參考Zhao等[11]研究方法，結合《核桃堅果質量等級》國家標準[12]，采用圖像處理軟件PhotoShop的“對象選擇”工具，分別測量X射線下整個核桃投影面積S1（像素）和核桃仁投影面積S2（像素），如圖1所示。S1、S2分別為整個核桃投影面積與核桃仁投影面積。

由于在數碼圖像中，位圖圖像的像素大小和總數是固定的，不受圖像分辨率影響，圖像中S1與S2的比值就是固定的。因此，采用S1與S2的比值近似反映實際核桃與核桃仁的面積大小，通過該比值的百分比S可量化判斷核桃的干癟程度，計算如式（1）所示。

S=S₁/S₂×100% （1）

1.3 卷積神經網絡模型的構建及性能評價指標

1.3.1 CNN模型構建流程

由于本研究所采用的數據為X射線圖像，因此，采用目前圖像分類任務效果較好的Alexnet[13]、VGG16[14]、ResNet50[15]以及MobileNetV2[16]。首先，將核桃的X射線圖像輸入Alexnet、VGG16、ResNet50以及MobileNetV2模型，然后，根據模型性能指標確定適用于核桃內部干癟程度判別的模型，并對其超參數進行優化得到性能達到最優的判別模型。

4種圖像分類模型分別由卷積層、最大池化層、平均池化層、全連接層4個部分組成，具體構建流程如圖2所示。

1.3.2 模型性能評價指標

為了對比不同模型在核桃內部缺陷分類問題中的性能，本研究選擇預測損失值、預測準確率、測試準確率及Epoch均次時間（即每次迭代的平均耗時），4個參數作為評價指標，模型預測損失值波動越大，模型穩定性越差；損失值整體較高，模型收斂相對較慢。

1.3.3 環境配置及試驗流程

所用系統配置為Windows10系統，處理器采用Intel i5-8500，16 GB內存，1 T硬盤和Nvidia Tesla A100 40G顯卡，采用python軟件進行網絡搭建。模型設置初始參數如下：凍結訓練中學習率為0.001，Epoch為50次，批處理（BatchSize）為16；解凍訓練中學習率為0.000 3，Epoch為100次，BatchSize為16。搭建引入凍結學習的Alexnet、VGG16、ResNet50以及MobileNetV2圖像分類模型，凍結學習通過凍結底層網絡權重以減低網絡訓練時間，節約網絡訓練階段所占用的資源。試驗流程如圖3所示。

首先，采用初始參數完成模型的訓練、預測及測試階段，獲得預測損失值、預測準確率、Epoch均次用時及測試準確率4個模型指標，通過對4個指標的評價選擇適合核桃分類任務的網絡模型；然后，在此基礎上，對該網絡進行學習率與BatchSize這2個參數優化，以找出最適合核桃干癟程度分類任務的網絡參數及相應模型。

2 結果與分析

2.1 核桃內部干癟程度的界定

采用X射線核桃圖像與人工剖開相結合的方法，分別對200個內部完整與內部存在干癟問題的核桃進行百分比S統計，得到正常核桃與過干癟核桃的平均值，分別為65.31%±2.9%、24.05%±3.8%。為了嚴格區分正常核桃、略干癟核桃以及過干癟核桃，本研究將界定閾值做以下劃分：S值≥62.41%，正常核桃；27.85%lt;S值lt;62.41%，略干癟核桃；S值≤27.85%，過干癟核桃。圖4為正常核桃、略干癟核桃、過干癟核桃的X射線圖及S值。在X射線投影圖中核桃仁占整個核桃面積的62.41%及以上，且核桃仁色澤呈現黃白色，則標記為正常核桃；核桃仁面積占整個核桃的27.85%及以下，且核桃仁色澤呈現深褐色，則將其標記為過干癟核桃；S值介于兩者之間的核桃均歸為略干癟核桃。

2.2 核桃內部干癟程度判別模型的確定

試驗共獲得1 196幅圖像，將圖像進行以下劃分：訓練集913幅圖像，包括323幅正常核桃、287幅略干癟核桃、303幅過干癟核桃；預測集采用20%訓練數據進行模型預測，在每次Epoch完成后，重新對訓練數據進行隨機劃分；測試集283幅圖像，100幅正常核桃、90幅略干癟核桃與93幅過干癟核桃圖像。數據集通過改變圖像的噪音、對比度和旋轉角度等數據增強方式進行數據擴充，使得訓練集每類圖像均擴充為2 500幅，測試集每類圖像均擴充為1 440幅。

采用Alexnet、VGG16、ResNet50和MobileNetV2這4種網絡分別進行核桃內部干癟程度判別模型的構建。模型預測損失值與預測準確率如圖5所示。

與MobileNetV2模型相比，Alexnet模型的預測損失值整體高于其他模型，預測準確率明顯低于其他模型，而MobileNetV2模型的預測損失值略低于VGG16與ResNet50，預測準確率略整體高于Alexnet與ResNet50，表明MobileNetV2模型性能更加穩定。表1為Alexnet、VGG16、ResNet50及MobileNetV2模型對核桃內部干癟程度的判別性能結果。

由表1可知，VGG16、ResNet50與MobileNetV2這3個模型的預測準確率與測試準確率均相差不大，VGG16模型測試準確率最高，可達98.49%，MobileNetV2模型預測準確率最高，可達95.17%； MobileNetV2模型的Epoch均次用時最短，僅為15.43 s，預測損失值最低，為0.025 79。綜合目前市場需求高效率的條件下，本研究最終采用MobileNetV2網絡構建核桃內部干癟程度的判別模型。

張淑娟等[17]同樣采用X射線技術與CNN相結合的方式進行核桃內部缺陷的檢測研究，對正常、干癟與空殼3類核桃的平均準確率達到96.39%。然而，在缺陷核桃數據集的劃分上僅依靠《核桃堅果質量等級》國家標準[12]結合感官評判，并沒有將核桃的內部干癟程度進行明確量化，而本研究中對干癟核桃數據集的劃分方式更加標準嚴格，確定了核桃干癟程度的閾值，準確劃分出核桃的正常、略干癟與過干癟3種情況，為今后核桃內部干癟程度的無損檢測技術開發增加指導意義。近年來，CNN在圖像分類領域一直表現出色，Kausar等[18]基于CNN構建Pure-CNN模型對包含81種水果的fruit-360水果數據集進行分類，準確率達到98.88%；Qin等[19]基于CNN中的MobileNetV2網絡構建分類模型對5種花朵進行判別，準確率達到96%。相比之下，本研究基于X射線技術構建的MobileNetV2模型對核桃內部不同干癟程度的檢測上也表現出較高的判別能力，可為其他干果不同內部缺陷及其程度的檢測提供一種研究策略。

2.3 基于MobileNetV2網絡核桃內部干癟程度判別模型的參數優化

凍結學習通過凍結底層網絡的方式降低整體模型的訓練時間，減少訓練階段模型占用資源，由于凍結訓練不改變底層模型的權重，因此在后續參數優化過程，僅考慮解凍訓練階段的模型性能，并將凍結訓練部分的參數始終保持：學習率為0.001、BatchSize為16，總體Epoch為150。

2.3.1 學習率

學習率是模型收斂與否的關鍵指標，過大會導致模型無法收斂，過小會使網絡出現過擬合，因此選擇合適的學習率對性能有著關鍵影響。根據試驗研究與經驗，設置學習率分別為0.000 3、0.000 1和0.000 03，不同學習率下的模型預測損失圖與預測準確率如圖6所示，模型判別性能如表2所示。

從圖6可知，學習率為0.000 03時，模型預測損失值與預測準確率在解凍初期存在較大的波動；學習率為0.000 3與0.000 1時，模型預測損失值與準確率整體相差較小。由表2可知，學習率不同，模型Epoch均次用時相差不大，但學習率為0.000 1時，模型預測準確率與測試準確率均達到最高，分別為98.63%與91.49%，因此選擇學習率0.000 1構建模型并進行后續的參數優化。

2.3.2 批處理

BatchSize是網絡劃分數據的關鍵參數，網絡的迭代時間與準確率均受該參數的影響。根據試驗研究與經驗，設置BatchSize的參數分別為16、32與64，不同BatchSize參數下MobileNetV2模型的預測損失值與預測準確率如圖7所示，模型性能如表3所示。

由圖7可知，模型在BatchSize為32與64時，解凍訓練初期模型的預測損失值出現較大的波動，特別是BatchSize為64時，預測準確率在解凍初期同樣出現明顯的波動。從表3可看出，BatchSize的設置明顯影響網絡的迭代時間，BatchSize參數越小Epoch均次用時越長，但在訓練后期不同BatchSize下模型的預測損失值與測試準確率均相差較小。考慮到生產問題需要準確率高、穩定的檢測方式，因此，選用BatchSize為32構建模型并進行后續的參數優化。

3 結論

本研究基于X射線技術對內部品質存在略干癟、過干癟問題的核桃與正常核桃進行檢測，基于卷積神經網絡（CNN）構建VGG16、ResNet50及MobileNetV2圖像分類模型，以預測損失值、預測準確率、Epoch均次用時及測試準確率作為模型的性能評價指標。

1） 對比3種不同結構CNN模型，MobileNetV2模型Epoch均次用時最少，為15.43 s；預測損失值最低，為0.025 79，模型收斂穩定；預測準確率與測試準確率略低于VGG16模型，分別為95.17%與91.27%，最終選用MobileNetV2網絡構建核桃內部干癟程度的判別模型。

2） 設置不同學習率及BatchSize參數調整MobileNetV2網絡的性能，最終確定學習率為0.000 1，BatchSize為32，網絡性能最佳。在此基礎上，模型Epoch均次用時為15.24 s，預測損失值為0.020 17，預測準確率與測試準確率分別為98.65%與93.40%，相較于參數優化前，MobileNetV2模型訓練階段用時減少，預測損失值降低，可為今后開展MobileNetV2模型在核桃內部干癟程度分級問題中的結構優化提供研究基礎。

MobileNetV2網絡模型可以高效的實現核桃內部不同干癟程度的判別分類，可為今后針對干果內部缺陷及其程度的無損檢測提供一種研究策略。此外，今后研究可以對MobileNetV2模型結構進行再改進，進一步提高其在核桃內部缺陷檢測問題的效率和檢測精度。

參 考 文 獻

[ 1 ] 王方. 新疆核桃油精深加工關鍵技術重大專項啟動[N]. 中國科學報， 2023-01-19（003）.

[ 2 ] 胡東宇， 高健， 黃力平， 等. 南疆四地州核桃產業現狀與發展思路[J]. 北方園藝， 2021（13）： 148-154.

Hu Dongyu， Gao Jian， Huang Liping， et al. Current situation and development ideas of walnut industry in four prefectures of Southern Xinjiang [J]. Northern Horticulture， 2021（13）： 148-154.

[ 3 ] Dian R， Li J X， Yi B Y. Computer vision detection of foreign objects in walnuts using deep learning [J]. Computers and Electronics in Agriculture， 2019， 162： 1001-1010.

[ 4 ] 許騫， 蔡健榮， 杜燦， 等. 基于軟X射線成像技術的柑橘內部浮皮和枯水檢測[J]. 智慧農業（中英文）， 2021， 3（4）： 53-65.

Xu Qian， Cai Jianrong， Du Can， et al. Detection of peel puffing and granulation in citrus based on Soft X?ray imaging technology [J]. Smart Agriculture， 2021， 3（4）： 53-65.

[ 5 ] Van De Looverbosch T， Bhuiyan M H R， Verboven P， et al. Nondestructive internal quality inspection of pear fruit by X?ray CT using machine learning [J]. Food Control， 2020， 113： 107170.

[ 6 ] 王靈敏， 蔣瑜. 基于深度學習的香蕉成熟度自動分級[J]. 食品與機械， 2022， 38（11）： 149-154.

Wang Lingmin， Jiang Yu. Automatic classification of banana ripeness base on deep learning [J]. Food amp; Machinery， 2022， 38（11）： 149-154.

[ 7 ] 李文寶， 曹成茂， 張金炎， 等. 基于深度學習的山核桃破殼物料分類識別[J]. 食品與機械， 2021， 37（9）： 133-138.

[ 8 ] 閆龍泉， 駱沛然， 史偉， 等. 基于ResNet的唐卡檢索[J]. 寧夏大學學報（自然科學版）， 2021， 42（3）： 257-262， 269.

Yan Longquan， Luo Peiran， Shi Wei， et al. Thangka retrieval based on ResNet [J]. Journal of Ningxia University （Natural Science Edition）， 2021， 42（3）： 257-262， 269.

[ 9 ] 秦嘉奇. 基于Mobilenet的農作物葉片病害識別方法[J]. 信息與電腦（理論版）， 2021， 33（18）： 181-184.

[10] 黃星奕， 張慶磊， 呂強. 軟X射線技術對核桃內部品質的無損檢測研究[J]. 食品工業科技， 2011， 32（2）： 344-346.

[11] Zhao K， Zha Z， Li H， et al. Early detection of moldy apple core based on time?frequency images of vibro?acoustic signals [J]. Postharvest Biology and Technology， 2021， 179： 111589.

[12] GB/T 20398—2006， 核桃堅果質量等級[S].

[13] Alex K， Ilya S， Geoffrey H. ImageNet classification with deep convolutional neural networks [J]. Communications of the ACM， 2017， 60（6）： 84-90.

[14] Karen S. Very deep convolutional networks for large?scale image recognition [J]. arxiv preprint arxiv： 1409. 1556， 2014.

[15] He K， Zhang X， Ren S， et al. Deep residual learning for image recognition [C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016： 770-778.

[16] Howard A G， Zhu M， Chen B， et al. Mobilenets： Efficient convolutional neural networks for mobile vision applications [J]. arxiv preprint arxiv： 1704. 04861， 2017.

[17] 張淑娟， 高庭耀， 任銳， 等. 基于X射線成像與卷積神經網絡的核桃內部品質檢測[J]. 農業機械學報， 2022， 53（1）： 383-388.

Zhang Shujuan， Gao Tingyao， Ren Rui， et al. Detection of walnut internal quality based on X?ray imaging technology and convolution neural network [J]. Transactions of the Chinese Society for Agricultural Machinery， 2022， 53（1）： 383-388.

[18] Kausar A， Sharif M， Park J， et al. Pure-CNN： A framework for fruit images classification [C]. 2018 International Conference on Computational Science and Computational Intelligence （CSCI）. IEEE， 2018： 404-408.

[19] Qin X， Wang X， Li R， et al. Fruit image classification based on Mobilenetv2 with transfer learning technique [C]. Proceedings of the 3rd International Conference on Computer Science and Application Engineering， 2019： 1-7.