基于廣義S變換的煙草近紅外光譜去噪

蔡劍華，肖永良, 黎小琴

1 湖南文理學院物理與電子科學學院 湖南常德洞庭大道3159號 415000；

2 湖南財政經濟學院信息技術與管理學院，湖南長沙 410205

基于廣義S變換的煙草近紅外光譜去噪

蔡劍華1，肖永良2, 黎小琴1

1 湖南文理學院物理與電子科學學院 湖南常德洞庭大道3159號 415000；

2 湖南財政經濟學院信息技術與管理學院，湖南長沙 410205

近紅外光譜已成為煙草化學成分快速檢測的重要手段，但通常一階求導的光譜預處理方法在消除光譜基線漂移的同時也會放大噪聲。為進一步提高煙草成分近紅外光譜檢測的分析精度和模型的穩健性，把波數域光譜數據視作時間序列信號，將新發展起來的時頻域去噪方法—廣義S變換引入到煙草近紅外光譜去噪中來，給出了原理和去噪步驟，且用去噪后的光譜分析了煙草中總氮的含量，并與傳統的9點平滑和小波變換去噪后的處理結果進行了對比。結果表明：①廣義S變換方法的煙草近紅外光譜預處理方法是有效的，在去除噪聲的同時很好地保留了光譜的波峰細節，提高了光譜數據的質量；②處理結果與9點平滑方法相比，模型的決定系數R2由原來的 0.8745 提高到 0.9244，其均方根誤差RMSEP由原來的0.1466降為0.1097，提高了煙草化學成分的近紅外光譜檢測精度，也為近紅外光譜去噪提供了新思路。

煙草； 近紅外光譜；廣義S變換；去噪；總氮

煙草化學成分的近紅外光譜檢測開始于上世紀70年代，隨著技術的進一步發展和成熟，現在近紅外光譜技術在煙草成分的檢測中已得到了普遍的應用[1-6]。然而，這項技術中存在一個較為普遍的光譜噪聲問題：為消除近紅外光譜本身較弱而易受測量環境、條件影響的困擾，往往在建模前需對原始光譜進行求一階導數的預處理；一階導數光譜可有效消除背景等因素造成的基線漂移，讓光譜呈現更好的波峰信息，但同時噪聲也被放大，致使光譜的SNR被減小[7-12]。針對這一問題，許多學者提出了有效的近紅外光譜去噪方法如：一階導數+9點平滑方法[6]，一階導數+25點平滑方法[8]，一階導數+小波變換系列去噪方法等等[5,9,11,12]其中小波變換是被廣泛使用、且被證明效果好于平滑濾波的方法，后來結合小波變換的組合濾波方法也在光譜預處理中得到了研究[8-9,12]。廣義S變換是近期發展起來的一種新的時頻分析技術，具有很高的時頻分析精度，并可無損重構[13-14]，在語音信號處理、機械故障診斷和地震勘探等領域應用廣泛[13-18]。筆者擬將把波數域光譜視作時間序列信號，將廣義S變換引入到煙草近紅外光譜去噪中來，旨在為近紅外光譜去噪尋求新途徑，也將進一步完善近紅外光譜技術在煙草成分分析中的應用效果。

1 材料與方法

1.1 廣義S變換去噪基本原理

假設存在非平穩信號x（t），則其時頻分析可表示為

用兩個函數的褶積運算來實現其簡便運算

實現過程中先對GSTx（τ，f）的時間變量進行積分，得到傅里葉頻譜Y(f)

廣義S變換的高時頻分析特性和可重構性，為開展時頻域去噪提供了條件。

1.2 去噪步驟

廣義S變換時頻分析方法可清晰地表征信號的時頻特征，這個特性可被應用于時頻域去噪[10,13]。根據噪聲在時頻平面上的分布特征，確定時頻濾波因子，對時頻譜做消噪處理，再利用時頻反變換方法，從含噪聲的信號中消除噪聲，提高信號的信噪比。

離散域時頻濾波器的濾波過程表示為

為簡便起見，式中：GST和IGST分別為S變換和反變換；H(n，k)為時頻濾波算子[13-14]

（1）將波數域的一階導數光譜視作時間序列信號，采用廣義S變換對光譜數據進行時頻分析，得到在全頻帶下的時頻分布。

（2）利用公式（9）對該廣義S域的時頻譜進行時頻域閾值濾波。

（3）對濾波后的時頻譜進行逆變換重構分離出消噪后的光譜。

圖1 光譜去噪流程圖Fig.1 Flow chart of NIR spectrum de-noising based on the generalized S transform

1.3 儀器與設備

譜儀：如圖2所示，為美國Brimrose公司生產的Luminar5030型近紅外光譜儀，儀器波長范圍為1100～2300 nm，2 nm 的波長增量，掃描次數為 600，采用 InGaAs 檢測器。軟件:挪威CAMO公司The Unscrambler分析軟件。粉碎機：上海隆拓公司生產的 XF-98B 型旋風精密粉碎機，粉碎粒度80目。干燥箱：重慶四達實驗儀器有限公司生產的CS101-2E電熱恒溫鼓風干燥箱AA3 ，流動分析儀：BranLuebbe 公司生產的連續流動分析儀。

圖2 Luminar5030型近紅外光譜儀Fig.2 Near infrared spectrometer: Luminar5030

1.4 實驗

湘南地區田間采集的上部新鮮煙葉，清理干凈，切絲， 按YC /T31—1996《煙草及煙制品 試樣的制備和水分測定 烘箱法》 對煙葉樣品進行處理及水分測定，再用XF-98B 型粉碎機充分粉碎、均勻研磨到 80 目的粉末樣品。青煙粉末樣品共計96個，采用基于全體樣品最優單波數模型的預測效果劃分校正集和驗證集[21]，校正集60個(總氮含量范圍：1.39%-3.32%)，驗證集36個(總氮含量范圍：1.43%-3.21%)。將樣品整理固定好，使用Luminar5030型近紅外光譜儀，采用漫反射的測樣方式采集光譜，光譜為300次掃描的平均結果，得到煙草的原始吸收光譜圖，波長范圍從1100nm到2300nm，波長增量為2nm。對獲得的原始吸收光譜進行一階導數+基于廣義S變換去噪的預處理（為作對比，同時又進行了一階導數+9點平滑和一階導數+小波軟閾值去噪的預處理），將數據導入The Unscramble化學計量學分析軟件，采用偏最小二乘法(Partial least squares，PLS)，交叉 驗 證法 (Cross validation)，用Unscrambler 定量分析軟件建立模型，分別采用光譜影響值 Leverage 和化學值誤差 Residual 這 2 個參數剔除刪除模型中的奇異點，提高模型的預測準度，進行近紅外測試和煙草總氮含量的測定。總氮的化學檢測方法采用連續流動法（YC/T 161 煙草及煙草制品總氮的測量）。以預測均方根校正誤差（Root mean square error of predication, RMSEP)和決定系數(R2)為衡量標準評價合適的光譜預處理方法。

2 結果與討論

2.1 光譜去噪

圖3（a）、（b）分別為96個煙草樣品的原始光譜和對應的一階導數光譜圖。顯然，原始光譜被展成較寬的帶狀，存在明顯的基線漂移。求導后，圖3（a）中的背景影響和基線漂移得到了很好的抑制，但同時也帶來了噪聲，圖3（b）中導數光譜顯得有很多毛刺，在建立數學模型前，需要進一步做消噪處理。

圖3 96個煙草樣品原始光譜圖（a）和一階導數光譜圖（b）Fig.3 NIR spectrum of 96 Tobacco samples (a) Raw spectrum (b)First derivative spectrum

為節約篇幅，文中以一個樣品（16號樣品）的光譜為例，闡述基于廣義S變換的去噪分析過程。圖4（a）為 16號煙草樣品的一階導數光譜，噪聲明顯，掩蓋了眾多波峰信息。將導數光譜視作時間域信號，用公式（3）-（4），對導數光譜進行廣義S變換，求取時頻譜圖。圖4（b）即為其進行廣義S變換后得到的時頻譜圖。從圖4（b）中可以看出，低頻部分存在較強能量，噪聲存在于時頻譜圖的各頻帶，這與長周期的波數域波形特征相吻合。

圖4 16號煙草樣品一階導數光譜（a）及其S域時頻譜圖（b）Fig.4 NIR spectrum of NO.16 Tobacco sample (a) First derivative spectrum (b) time-frequency spectrum in S domain

用本文提出的時頻域消噪方法，根據公式（5）到（9），對時頻圖進行去噪，然后進行S反變換.得到去噪后的時頻譜圖和重構的導數光譜，如圖5（a）為重構后的光譜，圖5（b）為消噪后的時頻譜。圖5（b）中的時頻譜保留了圖4（b）中低頻部分的能量，而其他區域的噪聲得到了有效的抑制，由此時頻譜反變換重構的光譜（圖5（a）所示）相比去噪前的光譜（圖4（a）所示），噪聲被剝離了，一些細小的波峰特征得到了顯現。

圖5 去噪后16號煙草樣品一階導數光譜（a）及其S域時頻譜圖（b）Fig.5 De-noised NIR spectrum of NO.16 Tobacco sample(a) First derivative spectrum(b) time-frequency spectrum in S domain

按照本文方法對其他95個煙草樣品的數據都進行去噪處理，圖6給出了去噪后96個煙草樣品一階導數光譜圖。為做對比，圖7給出了用傳統9點平滑和小波軟閾值去噪后的96個煙草樣品的一階導數光譜。在小波軟閾值去噪方法中，分解水平為6層，母小波采用為“db8”小波，閾值由“Rigsure”方式確定。對比圖5和圖6中的三幅圖可見：傳統9點平滑方法也能消除原始光譜求導帶來的噪聲，但還不夠徹底；小波軟閾值方法和本文提出的方法消噪效果較9點平滑方法好，得到的譜線更為平滑些。從波形圖上看，本文提出的方法去噪效果更好。

圖6 本文方法去噪后96個煙草樣品的一階導數光譜圖Fig.6 De-noised spectrum of 96 Tobacco samples by the proposed method

圖7 兩種方法去噪后的光譜比較：(a) 9點平滑去噪后的光譜(b)小波方法去噪后的光譜Fig.7 De-noised spectrum of 96 Tobacco samples (a) by 9 point smoothing method(b) by Wavelet transform de-noising method

為了定量地進一步評估方法的有效性，用計算耗時來評估算法的效率，并用信噪比(SNR)和平滑度指數(SR)來對光譜去噪效果進行評估, 其計算方法如下：

上式中，f（t）和表示去噪前后的光譜，f（ti+1）和表示前后相鄰點的光譜數據。SNR反映算法的去噪能力，其值與去噪效果成正比；SR的值越接近1，去噪光譜平滑度越接近標準光譜的平滑度。表1給出了三種去噪方法處理光譜時信噪比、平滑度指數和計算用時的對比。表中數據反映出來的三種方法的去噪能力：9點平滑法較弱，小波軟閾值法和本文方法效果較好，且去噪后光譜的平滑度指數也較高；相比之下，本文方法要好于小波軟閾值方法。這與前面分析得出的結論也吻合的較好。但就算法的計算效率來說，文本提出的方法，由于要進行褶積運算和時頻域的反變換，其計算用時要明顯高于其他2種方法。

表1 3種去噪方法信噪比、平滑度指數和計算效率的對比Tab.1 Comparison of 3 de-noising methods ( SNR ，SR and computational cost)

2.2 總氮含量檢測

將去噪后的光譜數據導入The Unscramble軟件，由建立的模型計算出所有標樣總氮的預測值。表2列出了 3 種預處理方法處理后，煙草近紅外光譜分析總氮含量結果與參考值的比較。3種方法去噪后，呈現出來的煙草總氮含量近紅外光譜的分析精度與前面分析的各方法去噪能力是對應的；小波軟閾值去噪和本文提出的去噪方法所得結果的分析精度都很高，且后者比前者有更大的決定系數和更小的均方根誤差，說明后者有更強的光譜預處理能力；相比傳統的9點平滑方法，R2由原來的0.8745 提高到 0.9244,RMSEP由原來的0.1466降為0.1097，大大提高了光譜的分析精度和模型的穩健性。

表2 3種去噪方法煙草近紅外分析總氮結果與參考值的比較Tab.2 Comparison of the prediction results of Tkn and chemical value by 3 methods

續表2

3 討論

本文提出的是一種基于廣義S變換的煙草近紅外光譜去噪方法，方法對其他物質光譜的去噪也有適應性（比如茶葉、土壤等，經過過篩處理后的均勻粉末），為物質檢測中近紅外光譜的去噪處理提供了一種新的選擇。廣義S變換，作為一種較為常用的信號去噪方法，在本實驗的光譜預處理中是有效的，相比廣泛采用的小波變換去噪方法，在分析精度上相當，計算效率上本文方法較低，但避免了小波方法中人工選擇小波基函數和人為確定分解層數的麻煩。本文實驗中是將樣品研磨到80目對光譜進行測量，但對于在線檢測種煙絲的光譜檢測和處理，方法的有效性有待進一步研究。

4 結論

廣義S變換能在時頻域高精度的呈現數據的能量分布，且能實現反變換，由時頻譜重構信號，沒有能量損失，這為實現時頻域的數據去噪提供了條件。將波數域的近紅外光譜數據視作時間序列信號，采用廣義S變換方法進行去噪處理，這種光譜預處理方法是有效的，在去除噪聲的同時很好地保留了光譜的波峰細節，提高了光譜數據的質量。由去噪后光譜計算的煙草總氮含量，相比傳統的9點平滑方法，預測集的R2由原來的0.8745 提高到 0.9244,RMSEP由原來的0.1466降為0.1097，提高了分析結果的可靠性。

[1]張建平, 謝雯燕, 束茹欣, 等.煙草化學成分的近紅外快速定量分析研究[J].煙草科技, 1999 (3):37-38.ZHANG Jianping, XIE Wenyan, SHU Ruxin, et al.The research of near infrared rapid quantitative analysis of tobacco chemical composition[J].Tobacco Science &Technology, 1999 (3):37-38.

[2]蔡劍華 ,王先春,胡惟文,基于形態小波的煙草尼古丁含量近紅外光譜檢測[J], 農業工程學報, 2012,28(15):281-286 CAI Jianhua, WANG Xianchun, HU Weiwen.Near-infrared spectrum detection of tobacco nicotine content based on morphological wavelet[J].Transactions of the Chinese Society of Agricultural Engineering, 2012, 28(15): 281-286

[3]朱勇, 劉澤, 邱昌桂, 等.箱式貯葉過程中煙葉品質變化的近紅外表征[J].煙草科技, 2013（10）：8-11.ZHU Yong, LIU Ze, QIU Changgui, et al.Near-infrared spectroscopy characterization of quality variation trend of tobacco leaf stored in cases[J].Tobacco Science &Technology, 2013（10）：8-11.

[4]李瑞麗，張保林，毛多斌, 等.近紅外光譜法測定烤煙的填充值[J].煙草科技，2015，48(1)：82-85.LI Ruili, ZHANG Baolin, MAO Duobin, et al.Determination of fi lling power of fl ue-cured tobacco with near infrared spectroscopy[J].Tobacco Science & Technology, 2015, 48(1): 82-85.

[5]Zhou S, Wang Ch, Xu Y, et al.The pyrolysis of cigarette paper under theconditions that simulate cigarette smouldering and puf fi ng[J].J Therm.Anal.Calorim., 2011, 104(3): 1097-1106.

[6]張翼鵬， 李超， 趙敏， 等.基于近紅外光譜法的卷煙包裝材料色差分析[J].煙草科技，2016，49（2）:75-81.ZHANG Yipeng, LI Chao, ZHAO Min, et al.Analysis of color difference of cigarette packaging material based on near-infrared spectroscopy[J].Tobacco Science & Technology，2016，49（2）：75-81.

[7]張峰, 劉江生, 劉澤春, 等.近紅外透射光譜技術用于煙用香精的品質控制[J].中國煙草學報, 2009, 15（3）：12-16.ZHANG Feng, LIU Jiangsheng, LIU Zechun, et al.Quality control in tobacco flavor by near-infrared transmittance spectroscopy[J].Acta Tabacaria Sinica, 2009, 15(3):12-16.

[8]史宏志，劉國順，于建軍，等．我國煙草和卷煙生物堿含量和組成比例分析[J]．中國煙 草學報， 2001， 6(2): 8-12.Shi Hongzhi, Liu Guoshun, Yu Jianjun, et al.Alkaloid content and proportion in Chinese tobacco and cigarettes [M].Acta Tabacaria Sinica, 2001, 6(2): 8-12

[9]Cai JianHua.Near-infrared Spectrum Detection of Fish Oil DHA Content Based on Empirical Mode Decomposition and Independent Component Analysis[J],Journal of Food and Nutrition Research2014,2(2): 62-68

[10]郝勇, 陳斌, 朱銳.近紅外光譜預處理中幾種小波消噪方法的分析[J].光譜學與光譜分析, 2006 , 26 (10) : 1838-1842 HAO Yong , CHEN Bin , ZHU Rui.Analysis of several methods for wavelet de-noising used in near infrared spectrum pretreatment [J].Spectroscopy and Spectral Analysis , 2006 , 26 (10) :1838-1842

[11]施豐成, 鄧發達, 朱立軍, 等.烤煙中草酸、蘋果酸和檸檬酸含量的分析研究[J].中國煙草學報, 2010, 16(1): 6-10.Shi Fengcheng, Deng Fada, Zhu Lijun, et al.Study on oxalic,malic, and citric acid in flue-cured tobacco[J].Acta Tabacaria Sinica, 2010, 16(1): 6-10.

[12]蔡劍華，王先春.基于經驗模態分解的近紅外光譜預處理方法[J], 光學學報, 2010,30(1): 267-271 CAI Jianhua, WANG Xianchun.Near-Infrared Spectrum Pretreatment Based on Empirical Mode Decomposition[J], Acta Optica Sinica,2010,30(1) :267-271

[13]Stockwcll R G, Mansinha L P，Lowc R.Localization of the complex spectrum : the S transform [J].IEEE Transactions on signal processing,1996,44(4):998-1001.

[14]Simon C，Ventosa S, Schimmel M, et al.The S-transform and its inverses: side effects of discretizing and filtering[J].IEEE Transaction on Signal Processing，2007，55(10): 4928-4937.

[15]Jing J E, Wei W B, Chen H Y，et al. Magnetotclluric sounding data processing based on generalized S transformation[J].Chinese J.Geophys，2012，55(12):4015-4022.

[16]王長江,楊培杰,羅紅梅,等.基于廣義S變換的時變分頻技術[J].石油物探,2013,52(5): 489-494.Wang Changjiang,Yang Peijie,Luo Hongmei,et al.Timevariable frequency division based on generalized S transform[J].Geophysical Prospecting for Petroleum,2013,52(5): 489-494.

[17]王小杰,印興耀,吳國忱.基于S變換的吸收衰減技術在含氣儲層預測中的應用研究[J].石油物探,2012,51(1):37-42.Wang Xiaojie,Yin Xingyao,Wu Guochen.The application of an S transform based absorption and attenuation technique for prediction of gas-bearing reservoir[J].Geophysical Prospecting for Petroleum,2012,51(1):37-42.

[18]Pinnegar C R，Mansinha L.The S-transform with windows of arbitrary and varying shape[J].Geophysics, 2003, 68(1):381-385.

[19]Donoho D L.De-noising by soft-thresholding[J].IEEE Transaction on Information Theory, 1995, 4103:613- 627.

[20]陳叢, 盧啟鵬, 彭忠琦.基于 NLMS自適應濾波的近紅外光譜去噪處理方法研究[J].光學學報, 2012, 32(5): 0530001.CHEN Cong, LU Qipeng, PENG Zhongqi.Preprocessing methods of near-infrared spectrum based on NLMS adaptive filtering [J].Acta Optica Sinica, 2012, 32(5): 0530001.

[21]謝軍, 潘濤, 陳潔梅,等.血糖近紅外光譜分析的 Savitzky-Golay 平滑模式與偏最小二乘法因子數的聯合優選[J]，分析化學，2010,38（3）:342-346.XIE Jun, PAN Tao, CHEN Jie-Mei, CHEN Hua-Zhou, Ren Xiao-Huan.Joint Optimization of Savitzky-Golay Smoothing Models and Partial Least Squares Factors for Near-infrared Spectroscopic Analysis of Serum Glucose[J], Chinese Journal of Analytical Chemistry, 2010,38（3）:342-346.

De-noising of tobacco near infrared spectroscopy based on generalized S transform

CAI Jianhua1*, XIAO Yonglianag2, LI Xiaoqin1
1 Department of Physics and Electronics, Hunan University of Art and Science, Changde, 415000, Hunan, China
2 School of Information Technology and Management, Hunan University of Finance and Economics, Changsha, 410205, China

Near infrared spectroscopy has become an important method for rapid detection of chemical components in tobacco.However,as a spectral preprocessing method, derivative brings noise while eliminating baseline drift spectral.In order to improve precision and stability of the NIR spectroscopy analysis, spectral data of wave-number domain was rendered as time series signal, and generalized S transform, a newly developed time-frequency domain de-noising method, was introduced to near infrared spectrum de-noising.The principle and steps of de-noising were given.Total nitrogen content in tobacco was analyzed through de-noised near infrared spectrum.Results were compared with those of traditional nine-point smoothing and wavelet transform de-noising method.It was showed that：①The generalized S transform method was effective for preprocessing tobacco near infrared spectroscopy, which could preserve spectral peak details and improve quality of spectral data.②Compared with nine-point smoothing method, the R2was improved from 0.9572 to 0.9880, and RMSEP was reduced from 0.0696 to 0.0375.The proposed method improved precision of near infrared spectroscopy detection of tobacco chemical composition, and also provided a new way for near infrared spectrum de-noising.

tobacco; near infrared spectroscopy; generalized S transform; de-noising; total nitrogen

蔡劍華，肖永良, 黎小琴.基于廣義S變換的煙草近紅外光譜去噪[J].中國煙草學報，2017,23（4）

國家自然科學基金項目(41304098)；湖南省自然科學基金項目（2017JJ2192，2017JJ2015）；湖南省教育廳重點項目(16A146)

蔡劍華（1979—）,博士, 副教授, 主要從事光電信息處理的研究, Tel：0736-7186121， Email:cjh1021cjh@163.com

2017-03-29；< class="emphasis_bold">網絡出版日期：

日期：2017-08-15

：CAI Jianhua, XIAO Yonglianag, LI Xiaoqin.De-noising of tobacco near infrared spectroscopy based on generalized S transform[J].Acta Tabacaria Sinica, 2017, 23(4)

*Corresponding author.Email：cjh1021cjh@163.com