基于蒙特卡洛法紅棗光譜水分模型研究

石魯珍，陳 杰，張樹艷，張景川，3

(1.塔里木大學信息工程學院，新疆阿拉爾 843300； 2.南疆農(nóng)業(yè)信息化研究中心，新疆阿拉爾 843300；3.塔里木大學機械電氣化工程學院，新疆阿拉爾 843300)

紅棗是新疆南疆地區(qū)主要的經(jīng)濟作物，含有多種微量元素和營養(yǎng)物質(zhì)，近些年紅棗產(chǎn)業(yè)有了較快的發(fā)展。含水量是紅棗重要的測量指標，在收購的過程中紅棗含水量達不到加工企業(yè)的標準，企業(yè)將不予以收購，或者低于市場價格進行收購，因為紅棗在加工過程中需要含水量相接近。收購到加工企業(yè)的紅棗在加工貯藏時，含水量更是重要的測量指標。清洗、烘干、包裝每個環(huán)節(jié)對水分的控制非常嚴格，包裝是紅棗成品上市的最后一關，紅棗含水量決定其口感，通常認為含水量為20%左右的紅棗口感最佳，因此，只有快速、準確地測量紅棗含水量，才能合理評價紅棗品質(zhì)，提高農(nóng)戶的收入，提升加工企業(yè)的產(chǎn)品質(zhì)量和經(jīng)濟效益[1]。

近紅外光譜(NIR)技術(shù)作為一種有效的分析測試手段，目前已經(jīng)廣泛運用于食品[2]、飼料[3]、煙草[4]、石油[5]等領域化學性質(zhì)的測定。偏最小二乘(PLS)法是近紅外光譜定量分析中運用最多的多元統(tǒng)計方法。PLS模型可以很方便地對化學值預測，模型的質(zhì)量對預測結(jié)果影響很大。所以建立一個高質(zhì)量的模型非常關鍵，不同的預處理方法和波長變量選擇對模型的質(zhì)量影響很大，如預處理方法正交信號校正(OSC)、凈分析信號(NAS)和小波變換(WT)[6]等，波長變量選擇方法無信息變量消除(UVE)[7]、連續(xù)投影(SPA)[8]、遺傳算法和間隔偏最小二乘法[9]等，這些方法已經(jīng)廣泛應用于近紅外定量分析中，并發(fā)揮了重要作用。除了光譜數(shù)據(jù)預處理、波長變量選擇方法，奇異樣本識別更重要，奇異樣本對模型質(zhì)量有很大的影響。常用的奇異樣本識別方法有馬氏距離、濃度殘差、光譜殘差[10]等，這些奇異樣本識別方法對于單個奇異樣本識別方法效果很好，但是對于樣本集中奇異樣本較多時，其識別效果往往不是很理想。本研究利用蒙特卡洛交叉驗證(MCCV)[11-14]中奇異樣本的統(tǒng)計規(guī)律來識別奇異樣本，并比較幾種常見的預處理方法和波數(shù)選擇方法，來建立預測性較好的紅棗水分近紅外定量分析模型。

1 材料與方法

1.1 材料與儀器

試驗所用灰棗樣本：產(chǎn)自新疆阿拉爾市農(nóng)一師10團，采摘時間為2016年10月份，采摘后放置冷庫中保存，冷庫溫度為1～5 ℃。傅里葉變換型近紅外光譜儀Antaris Ⅱ(賽默飛世爾，美國)，波數(shù)范圍：10 000～4 000 cm-1，信噪比：15 000 ∶1，分辨率設置為8 cm-1，光譜點數(shù)為1557點，光譜掃描次數(shù)為32次。ME104E分析天平(梅特勒，瑞士)，最大稱量值：120 g，精度：0.1 mg。

1.2 光譜采集

先將灰棗從冷庫中取出，在實驗室放置4 h，目的是讓灰棗溫度與室內(nèi)溫度相同。近紅外光譜儀Antaris Ⅱ開機預熱 1 h，開始采集灰棗近紅外光譜，采集方式是：采集灰棗赤道部位每間隔120°位置，每個灰棗采集3次光譜，將3條光譜進行平均作為該灰棗的近紅外光譜，圖1為151個灰棗的近紅外光譜。為了保持光譜檢測的無損特性，所有紅棗樣本均是整果(連皮帶肉)采集其近紅外光譜[15-16]。

1.3 紅棗水分測定方法

將紅棗去皮，取果肉約3 g，放入ME104E分析天平稱質(zhì)量，精確到0.000 1 g，記為m1，然后放入電熱鼓風干燥箱內(nèi)烘干，溫度設置溫度為70 ℃。每隔4 h稱質(zhì)量1次，至質(zhì)量變化小于0.001 g時從烘箱中取出，并放入干燥器內(nèi)冷卻至室溫，稱質(zhì)量直至恒質(zhì)量記為m2。紅棗含水率W按下式計算：

式中：m1為稱取紅棗果肉樣品烘干前質(zhì)量，g；m2為稱取紅棗果肉樣品烘干后質(zhì)量，g。

MATLAB R2012a(Mathworks，USA)用于算法的實現(xiàn)，光譜采集軟件為Result(Thermo Fisher Scientific，USA)。

2 結(jié)果與分析

2.1 蒙特卡洛交叉驗證(MCCV)剔除異常樣本

在近紅外定量分析[17-18]中，哪個樣本是奇異樣本是未知的，但是可以根據(jù)正常樣本與異常樣本的差異性，建立大量的定量模型，然后通過統(tǒng)計參數(shù)把奇異樣本選擇出來，這就是基于蒙特卡羅交叉驗證(MCCV)的一類奇異樣本識別方法。利用MCCV隨機劃分校正集與預測集，如果奇異樣本在校正集中，整個模型的質(zhì)量將受到影響；相反，如果奇異樣本在預測集中，僅此樣本的預測結(jié)果受到影響。盡管這種情況對預測結(jié)果都有影響，但效果明顯不同。本研究就利用奇異樣本出現(xiàn)在校正集或預測集時模型預測誤差的差異，通過MCCV及統(tǒng)計分析來進行奇異樣本的識別。根據(jù)預測集中奇異樣本的預測殘差會明顯大于正常樣本的預測殘差也提出了一種基于MCCV的奇異樣本識別方法。基于MCCV的奇異樣本識別方法充分利用統(tǒng)計學的性質(zhì)，能夠在一定程度上降低由掩蔽效應帶來的風險，檢出光譜陣和性質(zhì)陣方向的奇異點，有望在奇異樣本檢測中得到更廣泛的應用[11]。

算法具體步驟：(1)用PLS確定最佳主成分數(shù)；(2)用蒙特卡洛隨機取樣法取80%的樣本做校正集建立PLS回歸模型，剩余部分做預測集；(3)循環(huán)2 000次，得到各樣本的1組預測殘差；(4)求各樣本預測殘差的均值與方差，并作圖；(5)如樣本偏離主體，則從校正集中剔除。圖1是151個紅棗樣本利用MCCV的奇異樣本識別方法計算出的殘差均值和殘差方差，將均值小于-5、大于5的樣本，方差大于1的樣品進行剔除。剔除異常樣本共12個，編號分別是第5、16、63、93、95、98、105、116、136、140、143、147。

2.2 校正樣本選擇

校正樣本集的選擇比較關鍵，通常校正集的樣本光譜性質(zhì)和濃度范圍應包括驗證集的光譜性質(zhì)和濃度范圍，且分布均勻，這里用SPXY(sample set partitioning based on joint x-y distances)[12]法對樣品進行選擇。將剩余的139個紅棗樣本分成2組，一組是校正集用來建立校正模型，另一組是驗證集用來測試模型的準確性和穩(wěn)健性。如表1中所示，校正集y值范圍大于驗證集的范圍。因此，樣品分布在校正集和驗證集是適當?shù)摹?/p>

表1 校正集和驗證集樣品水分含量參考測量值

2.3 光譜數(shù)據(jù)預處理

在近紅外進行建模的過程中，光譜的預處理是必不可少的，在近紅外定量分析與定性分析中是非常關鍵的一步，經(jīng)過適當?shù)慕t外預處理方法可有效提高模型的適用性能力。合理的預處理方法可有效過濾近紅外光譜中的噪聲信息，保留有效信息，從而降低近紅外定量模型的復雜度，提高近紅外模型的可用性。表2是選用不同的光譜預處理方法，波數(shù)用全譜建立的模型結(jié)果。從表2中可以看出一階導數(shù)得到的模型有最小驗證標準偏差(SEP)，所以預處理方法選擇一階導數(shù)。

表2 不同預處理方法得到的模型結(jié)果

導數(shù)(微分)可以消除樣品光譜的基線漂移、增強譜帶的特征信息并克服譜帶重疊，是最為常用的光譜數(shù)據(jù)預處理方法。一階導數(shù)可以去除同波數(shù)無關的基線漂移。圖2-a是紅棗原始光譜圖，圖2-b是經(jīng)過一階導數(shù)處理后的光譜圖。

2.4 波數(shù)變量選擇

2.4.1 相關系數(shù)法 相關系數(shù)法是計算校正集光譜矩陣中每個波數(shù)點對應的吸光度向量與樣品組分濃度向量的相關系數(shù)，然后得出每個波數(shù)點變量對應的相關系數(shù)。將相關系數(shù)排序，選擇合適的閾值，保留相關系數(shù)大于該閾值的波數(shù)點，進而建立多元校正模型[6]。相關系數(shù)r由下式計算：

圖3是校正集紅棗含水量與波數(shù)的相關系數(shù)圖，藍線為相關系數(shù)，紅線是所選擇的閾值，綠色五角星為所選擇的波數(shù)點，從圖3中可以看出紅棗含水量與波數(shù)有較好的相關性，閾值選擇0.6(取絕對值，大于0.6和小于-0.6的波數(shù)被選擇)，共選擇波數(shù)變量311個。

2.4.2 競爭性自適應加權(quán)取樣(CARS)法 競爭性自適應權(quán)重取樣(competitive adaptive reweighted sampling，CARS)選擇波數(shù)的方法是基于回歸系數(shù)的權(quán)重，衡量波數(shù)被選中的重要評價指標是回歸系數(shù)絕對值的大小，采用交互驗證選擇偏最小二乘模型交互驗證均方根誤差最小的子集，選擇出與目標值對應的最優(yōu)波數(shù)組合，逐個將絕對值大的回歸系數(shù)對應的波數(shù)點保留，保留方式采用指數(shù)衰減函數(shù)來計算。

CARS算法實現(xiàn)步驟是：首先，運用蒙特卡洛方法循環(huán)N次，每次從數(shù)據(jù)樣本中隨機抽取一定數(shù)量(通常取總樣本數(shù)的80%)的樣本作為建模集建立偏最小二乘模型；然后，利用指數(shù)衰減函數(shù)去掉回歸系數(shù)絕對值相對較小的波數(shù)點，第i次循環(huán)時，保留波數(shù)點的概率為：

ri=ae-ki。

這里a與k為常數(shù)，a與k的計算公式如下：

可以看出，第1次采樣時，所有的m個變量都被用于建模，故r1=1；運行第N次采樣時，僅2個波數(shù)被使用，故rN=2/m。

圖4是用CARS方法選擇波數(shù)變量圖，其采樣次數(shù)為 1 000 次，PLS主成分數(shù)選擇10，共選擇78個波數(shù)變量。

2.4.3 模型比較 將相關系數(shù)法、CARS法得到的PLS模型與全譜建的PLS模型進行比較，結(jié)果如表3所示。對于全譜PLS模型，共選用1 557個變量來建立校正模型，這 1 557 個變量有很多和紅棗含水量不相關，這些變量稱為“無信息變量”。如果模型中含有“無信息變量”，會增加PLS主因子數(shù)，從表3中可以看出該模型的PLS主因子數(shù)是9個，較另外2個模型主因子數(shù)要多。過多的PLS主因子數(shù)會導致模型過擬合，通過獨立的樣品來測試時，過擬合模型會給出不好的預測結(jié)果，從表3可以看出，雖然全譜得到的校正標準偏差(SEC)和校正相關系數(shù)(RC)要好于其他2個模型，但是預測標準偏差(SEP)大于另外2個模型，預測相關系數(shù)(RP)低于另外2個模型。

對于相關系數(shù)法得到的PLS模型，和全譜PLS模型相比主成分數(shù)降到了8個，預測標準偏差(SEP)和預測相關系數(shù)(RP)也都好于全譜模型，這時因為相關系數(shù)法選擇的波數(shù)變量數(shù)要小于全譜1 557個，大大減少了“無信息變量”。

對于CARS法得到的PLS模型，模型的主因子數(shù)為7個，“無信息變量”得到進一步降低，模型變得更加簡潔和穩(wěn)定。從模型的預測結(jié)果上看預測標準偏差(SEP)和預測相關系數(shù)(RP)在所以模型中是最好的。

表3 選擇不同波數(shù)得到偏最小二乘模型結(jié)果

3 結(jié)論

蒙特卡洛交叉驗證(MCCV)能夠有效地識別奇異樣本。利用一階導數(shù)對紅棗原始近紅外光譜進行處理，可以很好地提取有用的信息，去除同波數(shù)無關的基線漂移。CARS方法選擇的波數(shù)變量建立PLS模型，與全譜模型相比，不僅提高了模型的預測準確性，而且還大大減少了建模波數(shù)變量數(shù)，使模型簡化，減少建模所用時間，所選取的波數(shù)變量能夠有效地反映紅棗含水量的信息，建立的模型穩(wěn)定性強。