基于PCA及霍特林T2分布的在線近紅外建模研究

畢榮道 趙旻

（1.中國(guó)煙草云南進(jìn)出口有限公司 云南省昆明市 650031 2.云南省煙草專賣局（公司） 云南省昆明市 650000）

1 引言

在煙葉質(zhì)量的評(píng)價(jià)體系中，煙葉內(nèi)在質(zhì)量的一致性是重要的評(píng)價(jià)指標(biāo)，一直以來(lái)受到煙草加工企業(yè)的高度重視。煙葉化學(xué)成分是影響煙葉內(nèi)在質(zhì)量的物質(zhì)基礎(chǔ)，煙葉中總糖、還原糖、煙堿、總氮、氯、鉀等化學(xué)成分，因?yàn)閷?duì)煙葉質(zhì)量有重要影響而成為煙草行業(yè)日常的檢測(cè)指標(biāo)，一般稱作“煙葉常規(guī)化學(xué)成分”[1]。由于煙葉中各種化學(xué)成分的含量反映了煙葉的質(zhì)量狀態(tài)[2]，所以煙草加工企業(yè)追求化學(xué)成分含量合理并且協(xié)調(diào)的煙葉原料[3]。

近紅外光譜技術(shù)是近年來(lái)迅速發(fā)展起來(lái)的一種方便、高效、低成本的綠色分析技術(shù)。由于其分析簡(jiǎn)便、快速、低成本、無(wú)污染及樣品的非破壞性和多組分同時(shí)測(cè)定等優(yōu)點(diǎn)，已收到人們的廣泛關(guān)注[4]。目前，已廣泛應(yīng)用在煙草行業(yè)。因?yàn)闊煵萁t外譜圖中包含大量的煙葉常規(guī)化學(xué)成分指標(biāo)信息、物理指標(biāo)信息以及外觀信息，所以近紅外在常規(guī)化學(xué)指標(biāo)檢測(cè)、煙葉穩(wěn)定性評(píng)價(jià)以及煙葉質(zhì)量評(píng)價(jià)領(lǐng)域發(fā)揮著很大的作用[5]。

2 研究背景

要建立一個(gè)比較好的近紅外模型，往往需要足夠多的樣本量，比較好的基礎(chǔ)數(shù)據(jù)質(zhì)量，才能構(gòu)建起近紅外模型檢測(cè)評(píng)價(jià)體系[6]。模型里面的樣本量的大小比較重要，而往往模型里面的樣本量不能確定的話，要么導(dǎo)致模型的樣本量過(guò)少，使得構(gòu)建的煙葉近紅外定性定量模型不夠穩(wěn)定[7]；要么會(huì)導(dǎo)致模型里面的樣本量過(guò)多，使得建立的近紅外模型包含豐富的待挖掘信息，但是也同時(shí)會(huì)導(dǎo)致構(gòu)建的近紅外模型體系非常復(fù)雜，維護(hù)起來(lái)非常繁瑣、復(fù)雜，形成了年度一維護(hù)，季度一維護(hù)，更有甚者一月、一周一維護(hù)，這很大程度上制約了近紅外模型在煙草領(lǐng)域的深度應(yīng)用[8]。

目前，在實(shí)際煙草領(lǐng)域近紅外定性、定量模型構(gòu)建的過(guò)程中，對(duì)于樣本量的確定方法一般有如下幾種方法：一是人為要求近紅外模型里面的樣本包含不同品種、產(chǎn)地、部位、等級(jí)，甚至不同工藝的加工方式，由于場(chǎng)地、品種、等級(jí)較多，這種要求一般在實(shí)際生產(chǎn)中很難全部滿足[9]；二是人為取大量的基礎(chǔ)光譜數(shù)據(jù)，利用PCA投影，剔除比較接近的樣本，逐漸的擴(kuò)大模型的樣本容量[10]。這種方法由于PCA空間隨著樣本容量的變化而變化，而且只能定性指導(dǎo)近紅外檢測(cè)人員，并不能給檢測(cè)人員一種明確的定量指導(dǎo)。利用近紅外分析技術(shù)進(jìn)行統(tǒng)計(jì)分析，沒(méi)有必要片面追求樣本數(shù)量的巨大。由于最低樣本數(shù)量的要求與許多因素有關(guān)：近紅外信息的含量，信號(hào)的穩(wěn)定性，基礎(chǔ)數(shù)據(jù)的準(zhǔn)確性，近紅外指標(biāo)模型復(fù)雜程度，數(shù)據(jù)分布形態(tài)，近紅外應(yīng)用的背景強(qiáng)度以及研究設(shè)計(jì)特點(diǎn)，所以沒(méi)有任何一個(gè)最少樣本量的推薦值同時(shí)考慮了上述諸因素。近紅外樣本容量是一個(gè)很值得研究的問(wèn)題，在構(gòu)建近紅外復(fù)雜定性定量體系的過(guò)程中，如果樣本量過(guò)少，構(gòu)建出來(lái)的近紅外模型往往不能包含復(fù)雜的背景體系，穩(wěn)健性不好，導(dǎo)致模型的外推預(yù)測(cè)能力變差。如果在構(gòu)建近紅外模型體系中樣本量過(guò)多，這無(wú)疑會(huì)對(duì)模型的定性定量構(gòu)建帶來(lái)運(yùn)算上的復(fù)雜度。同時(shí)近紅外的快速分析檢測(cè)的優(yōu)勢(shì)就體現(xiàn)不出來(lái)。在使用自動(dòng)流動(dòng)分析儀進(jìn)行煙葉常規(guī)化學(xué)成分基礎(chǔ)數(shù)據(jù)檢測(cè)時(shí)，往往會(huì)花費(fèi)大量的人力、物力和財(cái)力：每臺(tái)自動(dòng)流動(dòng)分析儀，每天僅能測(cè)定三四十個(gè)樣品，且總氮的檢測(cè)還需要提前一天準(zhǔn)備，而每個(gè)樣品的檢測(cè)就需要八十元左右的費(fèi)用。這些無(wú)疑會(huì)給檢測(cè)人員帶來(lái)較大的工作任務(wù)，給企業(yè)帶來(lái)成本的大幅上升，而且增加了維護(hù)的近紅外模型的難度[7]。

因此，如何快捷、準(zhǔn)確的在近紅外模型構(gòu)建前確定近紅外模型所需要的樣本容量，合理的根據(jù)實(shí)驗(yàn)?zāi)繕?biāo)以及前期所取得的基礎(chǔ)數(shù)據(jù)信息，漸進(jìn)評(píng)估模型的所需樣本量，構(gòu)建一個(gè)具備初步穩(wěn)健性質(zhì)的近紅外復(fù)雜體系模型就為了比較值得研究的問(wèn)題。為降低人力、物力和財(cái)力，此次試驗(yàn)就檢測(cè)一種化學(xué)指標(biāo)，來(lái)確定在線近紅外建模所需樣本數(shù)量。由于煙堿是煙草特有的植物堿，是影響煙葉質(zhì)量的重要化學(xué)成分，下面就選擇其作為檢測(cè)對(duì)象來(lái)研究該問(wèn)題。

3 研究材料和方法

3.1 試驗(yàn)材料

試驗(yàn)材料來(lái)自云南、四川、安徽和廣西等4個(gè)省份不同產(chǎn)地2014年至2017年的原煙，其部位涵蓋上部、中部和下部三種部位。

3.2 儀器與設(shè)備

德國(guó)卡爾蔡司股份有限公司在線近紅外光譜儀Armor711，多通道陣列檢測(cè)器型，波長(zhǎng)范圍：900-2100nm，波長(zhǎng)準(zhǔn)確性小于0.5nm，波長(zhǎng)重復(fù)性小于0.05nm，RMS小于104（<30μabs），采集的點(diǎn)數(shù)為259點(diǎn)；德國(guó)布朗盧比公司連續(xù)流動(dòng)分析儀AutoAnalyzer3；瑞士梅特勒托利多公司電子天平ME104E。

3.3 軟件

德國(guó)CarlZeiss光譜采集軟件procXplorer；美國(guó)Mathworks數(shù)據(jù)處理軟件為MTALABR2012a。

3.4 方法

先提前在傳送皮帶上取經(jīng)過(guò)在線近紅外光譜儀采集過(guò)光譜的煙葉樣本光譜800個(gè)，并將該800個(gè)樣本采用連續(xù)流動(dòng)分析儀檢測(cè)煙堿值，將700個(gè)樣本用于建立模型，另外取100個(gè)樣本作為獨(dú)立測(cè)試集。

3.4.1 PCA分析

主成分分析（Principal Component Analysis, PCA），是一種統(tǒng)計(jì)方法。通過(guò)正交變換將一組可能存在相關(guān)性的變量轉(zhuǎn)換為一組線性不相關(guān)的變量，轉(zhuǎn)換后的這組變量叫主成分。操作是通過(guò)對(duì)協(xié)方差矩陣進(jìn)行特征分解，保留低階主成分，忽略高階主成分，以得出數(shù)據(jù)的主成分（即特征矢量）與它們的權(quán)值，減少數(shù)據(jù)集的維數(shù)，同時(shí)保持?jǐn)?shù)據(jù)集的對(duì)方差貢獻(xiàn)最大的特征。在不丟失重要信息的情況下，把多指標(biāo)轉(zhuǎn)化為少數(shù)幾個(gè)綜合指標(biāo)，實(shí)現(xiàn)降維，找出表達(dá)性最強(qiáng)的相關(guān)指標(biāo)。

圖1：700個(gè)在線近紅外樣本的T2值

圖2：不同抽樣比例的穩(wěn)定性及空間變異程度

表1：兩個(gè)對(duì)獨(dú)立測(cè)試集的預(yù)測(cè)結(jié)果對(duì)比

將采集到的700個(gè)建模樣本光譜先進(jìn)行主成分分析（PCA），如下公式：

公式（1）中，X是n×m的光譜矩陣，n是樣本數(shù)，m是波長(zhǎng)變量數(shù)；t是主成分得分矩陣；p是載荷矩陣；E是殘差陣。

3.4.2 T2統(tǒng)計(jì)量計(jì)算

構(gòu)造樣本近紅外光譜的霍特林T2統(tǒng)計(jì)量：

由此，還可以計(jì)算樣本點(diǎn)i對(duì)成分t1, t2, …, tm的累計(jì)貢獻(xiàn)率：

可以證明：

式中，F(xiàn)表示的是F分布[8]。

4 結(jié)果與分析

4.1 樣本統(tǒng)計(jì)量

選取10個(gè)PCA主成分，計(jì)算700個(gè)樣本近紅外光譜T2統(tǒng)計(jì)量如圖1所示，其均值為0.994、標(biāo)準(zhǔn)偏差為0.908。

對(duì)全體樣本空間的T2值以5%為起點(diǎn)，間隔2%，最大值100%進(jìn)行抽樣，每個(gè)比例的抽樣次數(shù)為10000次，統(tǒng)計(jì)不同抽樣比例的T2空間變異程度，即T2值的均值、每個(gè)抽樣比例的穩(wěn)定性，即T2值的標(biāo)準(zhǔn)偏差。如圖2所示。

利用式（4）中的F統(tǒng)計(jì)值對(duì)比，可以得出當(dāng)抽取樣本量為259個(gè)時(shí)與總體700個(gè)樣本的T2值變異程度基本一致。因此建立近紅外模型的樣本統(tǒng)計(jì)量為259個(gè)左右。

4.2 偏最小二乘法建模比較

4.2.1 總體樣本建立偏最小二乘模型

將700個(gè)樣本選取80%作為校正集建立偏最小二乘模型，20%作為驗(yàn)證集對(duì)模型進(jìn)行驗(yàn)證，另外再將700個(gè)樣本之外的100個(gè)樣本作為測(cè)試集對(duì)所建模型進(jìn)行測(cè)試。預(yù)測(cè)均方根誤差（RMSEP）為0.37，決定系數(shù)R2為0.75。圖3是該模型對(duì)100個(gè)獨(dú)立測(cè)試集預(yù)測(cè)結(jié)果與真實(shí)值比對(duì)圖。

4.2.2 按最優(yōu)比例抽樣建立偏最小二乘模型

在700個(gè)總體樣本中隨機(jī)抽取259個(gè)樣本選取80%作為校正集建立偏最小二乘模型，20%作為驗(yàn)證集對(duì)模型進(jìn)行驗(yàn)證，另外再將700個(gè)樣本之外的100個(gè)樣本作為測(cè)試集對(duì)所建模型進(jìn)行測(cè)試。預(yù)測(cè)均方根誤差（RMSEP）為0.38，決定系數(shù)R2為0.77。圖4是該模型對(duì)100個(gè)獨(dú)立測(cè)試集預(yù)測(cè)結(jié)果與真實(shí)值比對(duì)圖。

4.2.3 兩模型對(duì)比

兩個(gè)模型分別對(duì)100個(gè)獨(dú)立測(cè)試集進(jìn)行預(yù)測(cè)，表1是兩個(gè)模型的預(yù)測(cè)結(jié)果對(duì)比，從表中可以看出，兩模型的RMSEP分別是0.37和0.38幾乎沒(méi)有差異。圖5是兩個(gè)模型預(yù)測(cè)結(jié)果與真實(shí)值比對(duì)圖，且總體模型和抽樣的對(duì)100個(gè)獨(dú)立測(cè)試集的預(yù)測(cè)結(jié)果相關(guān)系數(shù)高達(dá)0.958。這是因?yàn)門2統(tǒng)計(jì)量是基于光譜主成分得分計(jì)算的。當(dāng)抽樣樣本空間的T2統(tǒng)計(jì)量的均值和標(biāo)偏都接近于總體的均值與標(biāo)偏，說(shuō)明該抽樣樣本空間的光譜性質(zhì)接近總體樣本光譜性質(zhì)，所以兩者樣本建立的近紅外模型預(yù)測(cè)結(jié)果相當(dāng)，不存在顯著差異。

圖3：100個(gè)獨(dú)立測(cè)試集真實(shí)值與預(yù)測(cè)值對(duì)比圖

圖4：100個(gè)獨(dú)立測(cè)試集真實(shí)值與預(yù)測(cè)值對(duì)比圖

圖5：兩個(gè)模型預(yù)測(cè)結(jié)果與真實(shí)值對(duì)比

5 結(jié)論

本文構(gòu)建了一種以更小樣本數(shù)、更少化學(xué)特征進(jìn)行在線近紅外建模的方法，給出了確定建模樣本數(shù)的計(jì)算方式。試驗(yàn)表明，通過(guò)T2統(tǒng)計(jì)量抽樣選擇的近紅外煙堿樣本數(shù)量建立的模型與總體樣本建立的模型預(yù)測(cè)能力結(jié)果相當(dāng)，不存在顯著差異，所建模精度良好，該近紅外光譜模型可以快速預(yù)測(cè)煙葉的煙堿含量。

本試驗(yàn)還說(shuō)明，只要測(cè)試采集樣本的煙堿值，比較抽樣T2統(tǒng)計(jì)量與總體樣本的T2統(tǒng)計(jì)量標(biāo)偏差異小就可以得到最佳的抽樣比例，進(jìn)而確定建立近紅外定量模型所需的樣本數(shù)量，而無(wú)需對(duì)每個(gè)樣本的煙堿值進(jìn)行分析，不需要花費(fèi)大量的時(shí)間、精力、試劑及經(jīng)費(fèi)，可以大大節(jié)省成本，并提高工作效率。

通過(guò)該方法，下一步還可以研究確定煙葉中總糖、還原糖、總氮、氯、鉀等成分在線近紅外建模樣本數(shù)量，從而確定煙葉這幾種常規(guī)化學(xué)成分指標(biāo)在線近紅外建模所需最優(yōu)樣本數(shù)量，這樣就無(wú)需對(duì)煙葉的所有常規(guī)化學(xué)成分含量進(jìn)行檢測(cè)，還可以進(jìn)一步節(jié)約成本，大大提高工作效率。