數(shù)據(jù)預(yù)處理方法對(duì)油頁(yè)巖含油率近紅外光譜分析的影響

王智宏，劉 杰，王婧茹，孫玉洋，于 永，林 君

（吉林大學(xué) 儀器科學(xué)與電氣工程學(xué)院，長(zhǎng)春 130026）

0 引 言

油頁(yè)巖含油率測(cè)定的常規(guī)方法是低溫干餾法（SH／T 0508－92）［1］，該方法需要在實(shí)驗(yàn)室進(jìn)行，過(guò)程繁瑣，效率低，無(wú)法滿足油頁(yè)巖資源的勘查和開(kāi)采中樣品檢測(cè)的要求。因此Passey［2］、宋寧等［3］、賀君玲等［4］利用現(xiàn)有的測(cè)井?dāng)?shù)據(jù)，研究了評(píng)價(jià)含油率的間接方法，但此方法對(duì)于沒(méi)有進(jìn)行地質(zhì)鉆井勘探的地區(qū)無(wú)法使用。Snyder等［5］、Alstadt等［6］、Shoval等［7］、謝芳芳等［8］提出采用漫反射傅立葉中紅外光譜分析技術(shù)進(jìn)行油頁(yè)巖含油率及礦物成分分析，Romeo等［9］也提出采用漫反射近紅外光譜分析法預(yù)測(cè)油頁(yè)巖含油率，這些方法相對(duì)低溫干餾法速度快、精度高，但所用為實(shí)驗(yàn)室儀器、非便攜式，而且樣品需要粉碎等制樣處理，無(wú)法實(shí)現(xiàn)原位測(cè)量。

近紅外光譜（760～2526nm）主要是有機(jī)分子中含氫基團(tuán)（包括C－H、N－H、O－H 等）的倍頻與合頻的吸收光譜，可獲得物質(zhì)的分子結(jié)構(gòu)、組成、狀態(tài)等信息。便攜式近紅外光譜技術(shù)將實(shí)驗(yàn)室儀器帶到野外進(jìn)行現(xiàn)場(chǎng)檢測(cè)，它具有如下特點(diǎn):不破壞樣品，不用試劑，不污染環(huán)境；可直接對(duì)目標(biāo)進(jìn)行測(cè)定；測(cè)量精度高，分析速度快；投資及操作費(fèi)用低［10］。

頁(yè)巖油主要由液體烴類組成［11］。烴類的分子鍵C－H在近紅外區(qū)具有明顯的吸收特征，尤其是其1600～1800nm的一級(jí)倍頻吸收帶與油頁(yè)巖中其他成分——水分和礦物質(zhì)的吸收帶（約1400、1900、2200nm）不同［12］。因此便攜式近紅外光譜分析技術(shù)可作為一種高效的檢測(cè)方法用于油頁(yè)巖含油率的現(xiàn)場(chǎng)檢測(cè)。

近紅外光譜分析需要先在涵蓋被測(cè)樣品成分的樣品數(shù)據(jù)庫(kù)基礎(chǔ)上采用化學(xué)計(jì)量學(xué)方法建立分析模型，才能對(duì)未知樣品成分及含量進(jìn)行檢測(cè)。模型的精度直接影響分析的準(zhǔn)確性。數(shù)據(jù)庫(kù)數(shù)據(jù)（包括已知樣品的近紅外光譜數(shù)據(jù)和成分?jǐn)?shù)據(jù)）的準(zhǔn)確性和有效性是影響模型精度的關(guān)鍵因素。而油頁(yè)巖樣品成分復(fù)雜、光譜數(shù)據(jù)變化范圍大、干擾多，需采用適當(dāng)?shù)臄?shù)據(jù)處理方法以提高數(shù)據(jù)庫(kù)數(shù)據(jù)的準(zhǔn)確性和有效性。

本文針對(duì)油頁(yè)巖樣品和礦物與油的合成樣品數(shù)據(jù)庫(kù)，結(jié)合光譜和矩陣2類數(shù)據(jù)預(yù)處理方法，展開(kāi)光譜數(shù)據(jù)處理方法實(shí)驗(yàn)和偏最小二乘法（PLS）建模實(shí)驗(yàn)，研究不同處理方法及其組合對(duì)光譜數(shù)據(jù)的一致性和PLS模型精度的影響，以確定其最佳處理方法。

1 實(shí)驗(yàn)材料與方法

1.1 材料與儀器

油頁(yè)巖固體樣品:實(shí)驗(yàn)室收集，產(chǎn)地不詳，含油率為23%。高嶺土的產(chǎn)地為吉林省舒蘭縣；成分（X衍射分析）為高嶺石72.4%、石英26.5%、明礬石1.05%；旋風(fēng)磨粉碎，過(guò)140目孔篩。機(jī)油為美國(guó)殼牌公司喜力HX510W－40。

按比重配制30個(gè)粉末樣品:分別按機(jī)油所占質(zhì)量比為1%～20%（見(jiàn)表1），用天平稱取高嶺土粉末和機(jī)油，二者倒入瑪瑙研磨器中充分研磨混合。所得樣品的顏色隨機(jī)油所占質(zhì)量比的增加而加深。

表1 合成樣品機(jī)油配比Table 1 Weight ratio of engine oil to proportioning samples

自制便攜式近紅外光譜儀（PISA－2），光譜范圍為1200～2500nm，采樣間隔為4nm，取樣方式為積分球漫反射，光譜數(shù)據(jù)單位為反射率。

1.2 實(shí)驗(yàn)方法

1.2.1 樣品測(cè)量

對(duì)油頁(yè)巖固體樣品:直接置于儀器樣品窗口測(cè)量其相對(duì)參比（漫反射鍍金板）的反射率光譜數(shù)據(jù)。

對(duì)合成的粉末樣品:取15mL燒杯裝樣，置于儀器樣品窗口測(cè)量其相對(duì)參比（實(shí)驗(yàn)材料中的高嶺土粉末）反射率光譜數(shù)據(jù)。

測(cè)量地點(diǎn)為實(shí)驗(yàn)室，時(shí)間無(wú)限制，不連續(xù)。

1.2.2 構(gòu)建建模數(shù)據(jù)庫(kù)

建模數(shù)據(jù)庫(kù)baseoil1.mat包括30個(gè)合成樣品的反射率光譜數(shù)據(jù)和對(duì)應(yīng)的機(jī)油配比值（1%～20%）組成的2個(gè)矩陣:光譜矩陣（30行、325列）和成分矩陣（30行、1列）。

1.2.3 建模預(yù)處理方法

（1）光譜預(yù)處理:針對(duì)光譜數(shù)據(jù)，用以消除光譜數(shù)據(jù)之間的差異。采用如下8種光譜預(yù)處理方法，對(duì)光譜矩陣中的每個(gè)樣品的光譜數(shù)據(jù)進(jìn)行處理，即行處理:

式中:y′為y處理后的數(shù)據(jù)；y－為y的平均值；std（）、max（）、min（）分別為標(biāo)準(zhǔn)偏差、最大值、最小值函數(shù)。

式（1）（2）（3）中的數(shù)據(jù)為某一樣品的光譜數(shù)據(jù)。

④平滑:采用Savitzky－Golay三階7點(diǎn)卷積平滑。

⑤消噪:采用symlets8小波進(jìn)行三層分解并用heursurc軟閾值進(jìn)行小波系數(shù)閾值量化后低頻重構(gòu)。

⑥消基線:采用外包絡(luò)線消除基線。

⑦一階導(dǎo)數(shù):采用Savitzky－Golay三階7點(diǎn)卷積平滑曲線的一階微分。

⑧二階導(dǎo)數(shù):采用Savitzky－Golay三階7點(diǎn)卷積平滑曲線的二階微分。

（2）矩陣預(yù)處理:針對(duì)建模數(shù)據(jù)（包括光譜矩陣和成分矩陣），用以改變數(shù)據(jù)變化域，提高建模數(shù)據(jù)的相關(guān)性。采用3種矩陣預(yù)處理方法，對(duì)光譜矩陣的每個(gè)波長(zhǎng)點(diǎn)或成分矩陣的成分?jǐn)?shù)據(jù)進(jìn)行處理，即列處理:

①中心化:公式同式（1）。

②正則化:公式同式（2）。

③歸一化:公式同式（3）。

此時(shí)式（1）（2）（3）中數(shù)據(jù)為建模數(shù)據(jù)中的光譜矩陣中所有樣品光譜在某一波長(zhǎng)點(diǎn)對(duì)應(yīng)的值，或成分矩陣中所用樣品某一成分對(duì)應(yīng)的含量值。

1.2.4 實(shí)驗(yàn)過(guò)程

對(duì)經(jīng)多次測(cè)量的油頁(yè)巖固體樣品的反射率光譜數(shù)據(jù)，分別采用8種光譜預(yù)處理方法進(jìn)行處理，得8組新的光譜數(shù)據(jù)。為保證各組數(shù)據(jù)的可比性，對(duì)各組數(shù)據(jù)進(jìn)行整體歸一化后再求各組數(shù)據(jù)的方差與均值之比RNS，RNS值越小，該組光譜數(shù)據(jù)間的差異越小、一致性越好。上述過(guò)程采用Matlab編程實(shí)現(xiàn)。

分別采用2類數(shù)據(jù)預(yù)處理方法的不同組合，對(duì)建模數(shù)據(jù)進(jìn)行1～12主成分?jǐn)?shù)的留一校驗(yàn)PLS建模，共12個(gè)模型，計(jì)算每個(gè)建模留一校驗(yàn)預(yù)測(cè)結(jié)果的平方相關(guān)系數(shù)R2。求12個(gè)模型的R2最大值R2max，其對(duì)應(yīng)的模型為最佳模型，其主成分?jǐn)?shù)為最佳主成分?jǐn)?shù)Hopt。上述過(guò)程采用Matlab編程實(shí)現(xiàn)。

2 結(jié)果與討論

2.1 光譜預(yù)處理方法

圖1為油頁(yè)巖固體樣品在不同時(shí)間進(jìn)行的18次測(cè)量所得的反射率光譜數(shù)據(jù)，對(duì)其進(jìn)行光譜預(yù)處理結(jié)果見(jiàn)表2。

圖1 油頁(yè)巖樣品18次測(cè)量光譜數(shù)據(jù)Fig.1 18times measured spectra of an oilshale sample

表2 光譜預(yù)處理方法處理結(jié)果Table 2 Results of spectrum data processing

2.1.1 數(shù)據(jù)分析

表2中RNS均值由小到大排序?yàn)?一階導(dǎo)數(shù)（0.0267）＜正則化（0.0320）＜中心化（0.0390）＜?xì)w一化（0.0459）＜平滑（0.0590）＜消噪（0.0595）＜不處理（0.0598）＜二階導(dǎo)數(shù)（0.0606）＜消基線（0.0827）。由此可以得出以下結(jié)論。

（1）與不采用光譜數(shù)據(jù)預(yù)處理方法對(duì)比，一階導(dǎo)數(shù)、正則化、中心化這三種方法能較好地消除相同樣品的光譜數(shù)據(jù)的差異；歸一化也能消除相同樣品的光譜數(shù)據(jù)的差異。

（2）平滑和消噪方法的結(jié)果與不采用預(yù)處理方法的結(jié)果相當(dāng)，表明這兩種方法對(duì)相同樣品的光譜數(shù)據(jù)的差異沒(méi)有明顯改善。

（3）消基線方法的結(jié)果明顯大于不采用預(yù)處理方法的結(jié)果，表明該方法不能改善相同樣品的光譜數(shù)據(jù)的差異，反而加大了相同樣品的光譜數(shù)據(jù)的差異。

（4）二階導(dǎo)數(shù)處理方法的均值雖然大于未處理的，但其最大值是表2中數(shù)據(jù)最小的、其最小值是表2中數(shù)據(jù)第二小的，說(shuō)明該方法能改善相同樣品的光譜數(shù)據(jù)的差異。

2.1.2 方法分析

由于其在不同時(shí)刻測(cè)量時(shí)存在溫度、噪聲、儀器穩(wěn)定性的影響，導(dǎo)致多次測(cè)量的油頁(yè)巖樣品光譜數(shù)據(jù)中會(huì)存在差異。設(shè)yt為標(biāo)準(zhǔn)光譜，考慮測(cè)量時(shí)各種因素的影響，測(cè)試樣品某次測(cè)量的反射率光譜y可表示為

式中:a為光譜常數(shù)項(xiàng)差異系數(shù)；b為光譜一次項(xiàng)差異系數(shù)；nR為光譜噪聲。

對(duì)8種光譜預(yù)處理方法作如下分析。

（1）中心化，將式（4）代入式（1）得:

（2）正則化，將式（4）代入式（2）得:

（3）歸一化，將式（4）代入式（3）得:

由式（5）（6）（7）可知，處理后光譜數(shù)據(jù)均消除了常數(shù)項(xiàng)的差異，正則化和歸一化還同時(shí)消除了一次項(xiàng)的差異。

（4）平滑和消噪:均可減小式（4）中的nR，但對(duì)常數(shù)項(xiàng)和一次項(xiàng)的差異沒(méi)有作用。

（5）消基線:采用外包絡(luò)線消除基線的處理方法，可減小常數(shù)項(xiàng)和一次項(xiàng)的差異中與波長(zhǎng)相關(guān)的部分，而對(duì)于常量型的常數(shù)項(xiàng)和一次項(xiàng)差異無(wú)法消除。

（6）一階導(dǎo)數(shù)，由式（4）可知:

該方法可消除光譜數(shù)據(jù)中的常數(shù)項(xiàng)差異。

（7）二階導(dǎo)數(shù)，由式（4）可知:

該方法可消除光譜數(shù)據(jù)中常數(shù)項(xiàng)和一次項(xiàng)的差異。

由圖1可知，對(duì)于該油頁(yè)巖樣品的光譜數(shù)據(jù)，其存在較為明顯的隨機(jī)縱向漂移，可視為常數(shù)項(xiàng)差異引起。因此采用上述8種方法中能消除常數(shù)項(xiàng)差異的方法進(jìn)行處理可獲得較好的效果，如一階導(dǎo)數(shù)、中心化、正則化、歸一化、二階導(dǎo)數(shù)，而平滑、消噪和消基線這三種方法不能消除常數(shù)項(xiàng)差異。

2.1.3 方法改進(jìn)

考慮到平滑、消噪和消基線的處理情況，對(duì)這三種方法進(jìn)行改進(jìn)，分別加入中心化光譜處理方法，重新進(jìn)行光譜預(yù)處理方法實(shí)驗(yàn)，所得結(jié)果見(jiàn)表3。可見(jiàn)，表3中數(shù)據(jù)均小于表2中的，因此采用上述改進(jìn)后的組合光譜處理方法的處理效果好于單一方法。

表3 光譜預(yù)處理改進(jìn)方法處理結(jié)果Table 3 Results of improved spectrum data processing

2.2 建模

表4為Baseoil 1合成樣品PLS建模實(shí)驗(yàn)結(jié)果，其中baseoil 1.mat為建模數(shù)據(jù)庫(kù)中光譜矩陣的數(shù)據(jù)（見(jiàn)圖2）。

表4 baseoil1合成樣品PLS建模實(shí)驗(yàn)結(jié)果Table 4 PLS modeling results with data of proportioning samples

圖2 配比樣品光譜數(shù)據(jù)Fig.2 Spectra data of proportioning samples

2.2.1 數(shù)據(jù)分析

由表4中數(shù)據(jù)可知:

（1）各處理方法PLS建模的預(yù)測(cè)精度為16%～98%，均值為91.39%，最大為98.47%。

（2）結(jié)合最佳主成分?jǐn)?shù)，采用各種處理方法所建模型的精度與不采用處理方法的模型精度進(jìn)行對(duì)比。考慮到建模樣品為高嶺土粉末和機(jī)油2種原料的合成樣品，所以其主成分?jǐn)?shù)的合理值應(yīng)為Hopt＝2。表4中滿足 Hopt＝2且R2max＞97.68%的有5個(gè):4種光譜預(yù)處理（中心化、一階導(dǎo)數(shù)、平滑＋中心化、消噪＋中心化）分別與中心化矩陣預(yù)處理組合，一階導(dǎo)數(shù)光譜預(yù)處理與正則化矩陣預(yù)處理組合。這5種組合方法可以提高合成樣品油頁(yè)巖含油率PLS模型的精度。

2.2.2 數(shù)據(jù)預(yù)處理方法對(duì)比

由表4中的R2max數(shù)據(jù)對(duì)比可得:

（1）對(duì)比的R2max值各行，第2、8、9、10、11、12行（即光譜預(yù)處理采用中心化、一階導(dǎo)數(shù)、二階導(dǎo)數(shù)、平滑＋中心化、消噪＋中心化、消基線＋中心化這六種光譜預(yù)處理方法）對(duì)應(yīng)的PLS模型精度的 均 值 分 別 為 97.43%、97.55%、94.01%、97.42%、97.43%、96.94%，大于表4中其他方法的均值（91.39%）。

在上述6種光譜預(yù)處理方法中，第1和8行（即中心化和一階導(dǎo)數(shù)）R2max的各數(shù)據(jù)相當(dāng)，且較大，考慮Hopt，一階導(dǎo)數(shù)的效果更好；平滑＋中心化（第10行）、消噪＋中心化（第11行）與單一中心化（第2行）這3行各列對(duì)應(yīng)數(shù)據(jù)相當(dāng)，說(shuō)明這兩種改進(jìn)的組合光譜預(yù)處理方法相對(duì)單一中心化光譜預(yù)處理方法，對(duì)PLS模型精度沒(méi)有改善；而第12行的數(shù)據(jù)中出現(xiàn)表中的最大值（大于98.2%），但其值 Hopt≥6，不合理。

（2）對(duì)比R2max值的各列，第2、3列（即矩陣預(yù)處理采用中心化和正則化）的值相當(dāng)，均值分別為95.90%、95.85%，且大于其余兩列的值。

由上述分析對(duì)比可得，提高合成樣品油頁(yè)巖含油率PLS模型精度較為有效的數(shù)據(jù)預(yù)處理方法可以考慮三種:中心化光譜預(yù)處理與中心化矩陣預(yù)處理組合、一階導(dǎo)數(shù)光譜預(yù)處理與中心化矩陣預(yù)處理組合，一階導(dǎo)數(shù)光譜預(yù)處理與正則化矩陣預(yù)處理組合。

2.2.3 光譜數(shù)據(jù)預(yù)處理方法評(píng)價(jià)分析

由表2和表3中的均值數(shù)據(jù)可得，在光譜預(yù)處理實(shí)驗(yàn)中光譜數(shù)據(jù)預(yù)處理方法處理效果好的依次為:一階導(dǎo)數(shù)、消基線＋中心化、正則化、消噪＋中心化、平滑＋中心化、中心化。

由表4中的均值數(shù)據(jù)可得，在建模實(shí)驗(yàn)中光譜數(shù)據(jù)預(yù)處理方法處理效果好的依次為:一階導(dǎo)數(shù)、中心化、消噪＋中心化、平滑＋中心化、消基線＋中心化和二階導(dǎo)數(shù)。

表2～表4表明:實(shí)驗(yàn)與建模結(jié)果并不完全一致，分析其可能原因如下:在光譜預(yù)處理實(shí)驗(yàn)中，評(píng)價(jià)光譜數(shù)據(jù)預(yù)處理方法處理效果的標(biāo)準(zhǔn)是減小相同樣品光譜數(shù)據(jù)的差異，而在建模時(shí)處理效果好的光譜數(shù)據(jù)預(yù)處理方法也會(huì)消除不同樣品光譜數(shù)據(jù)的差異，這對(duì)于建模精度是不利的。因此能夠較好地減小相同樣品光譜數(shù)據(jù)差異的光譜預(yù)處理方法（如正則化、消基線＋中心化）不一定能有效地提高PLS建模的精度。

3 結(jié) 論

（1）11種光譜預(yù)處理方法中，可明顯提高相同樣品光譜數(shù)據(jù)間一致性的光譜預(yù)處理方法有3種，按一致性誤差由小到大依次是:一階導(dǎo)數(shù)、正則化和中心化；采用適當(dāng)?shù)慕M合方法:如平滑、消噪和消基線后加中心化等，也可明顯提高相同樣品光譜數(shù)據(jù)間的一致性。

（2）建模時(shí)，單獨(dú)采用一階導(dǎo)數(shù)、中心化這2種方法比其他6種單獨(dú)方法和不采用處理方法的PLS模型精度高。而3種組合方法對(duì)提高模型精度的效果不明顯。能夠較好地減小相同油頁(yè)巖樣品光譜數(shù)據(jù)差異的光譜預(yù)處理方法不一定能夠提高合成樣品油頁(yè)巖含油率PLS建模的精度。

（3）對(duì)于3種矩陣預(yù)處理方法，采用中心化、正則化這兩種方法比歸一化方法和不采用處理方法的PLS模型的精度高。

（4）根據(jù)最佳主成分?jǐn)?shù)合理值為2，有3種數(shù)據(jù)預(yù)處理組合方法（中心化光譜預(yù)處理與中心化矩陣預(yù)處理組合、一階導(dǎo)數(shù)光譜預(yù)處理與中心化矩陣預(yù)處理組合，一階導(dǎo)數(shù)光譜預(yù)處理與正則化矩陣預(yù)處理組合），可提高合成樣品含油率的PLS模型精度。

［1］中華人民共和國(guó)石油化工行業(yè)標(biāo)準(zhǔn).油頁(yè)巖含油率測(cè)定法——低溫干餾法［S］.SH／T 0508－92，1992.

［2］Passey Q R.A practial model for organic richness from porosity and resisitivty logs［J］.AAPG Bulletin，1990，74（12）:1777－1794.

［3］宋寧，侯建國(guó)，王文軍.利用測(cè)井評(píng)價(jià)蘇北盆地生油巖［J］.海洋石油，2001，21（1）:8－13.Song Ning，Hou Jian－guo，Wang Wen－jun.Well logging application on source rock evaluation in Subei basin［J］.Offshore Oil，2001，21（1）:8－13.

［4］賀君玲，鄧守偉，陳文龍，等.利用測(cè)井技術(shù)評(píng)價(jià)松遼盆地南部油頁(yè)巖［J］.吉林大學(xué)學(xué)報(bào):地球科學(xué)版，2006，36（6）:909－914.He Jun－ling，Deng Shou－wei，Chen Wen－long，et al.Evaluation of oil shale in the southern Songliao basin using logging technique［J］.Journal of Jilin U－niversity（Earth Science Edition），2006，36（6）:909－914.

［5］Snyder R W，Painter P C，Conauer D C.Development of FT－IR procedures for the characterization of oil shale［J］.Fuel，1983，62:1205－1214.

［6］Alstadt Kristin N，Katti Dinesh R，Katti Kalpana S.An in situ FTIR step－scan photoacoustic investigation of kerogen and minerals in oil shale［J］.Spectrochimica Acta，2012，89:105－113.

［7］Shoval Shlomo，Nathan Yaacov.Analyzing the calcination of sulfur－rich calcareous oil shales using FTIR spectroscopy and applying curve－fitting technique［J］.Journal of Thermal Analysis and Calorimetry，2011，105（3）:883－896.

［8］謝芳芳，王澤，宋文立，等.吉林樺甸油頁(yè)巖及熱解產(chǎn)物的紅外光譜分析［J］.光譜學(xué)與光譜分析，2011，31（1）:91－94.Xie Fang－fang，Wang Ze，Song Wen－li，et al.FTIR analysis of oil shales from huadian jilin and their pyrolysates［J］.Spectroscopy and Spectral Analysis，2011，31（1）:91－94.

［9］Romeo M J，Adams M J，Hind A R，et al.Near infrared prediction of oil yield from oil shale［J］.Journal of Nearinfrared Spectroscopy，2002，10（3）:223－231.

［10］陸婉珍.現(xiàn)代近紅外光譜分析技術(shù)［M］.2版.北京:中國(guó)石化出版社，2006:1－11，30－31，306－334.

［11］錢家麟，尹亮.油頁(yè)巖——石油的補(bǔ)充能源［M］.北京:中國(guó)石化出版社，2008:1－3，69－76.

［12］嚴(yán)衍祿.近紅外光譜分析基礎(chǔ)與應(yīng)用［M］.北京:輕工業(yè)出版社，2005:395－440.