空間頻域成像在農(nóng)產(chǎn)品品質檢測中的應用現(xiàn)狀與展望

王 忠，胡 棟，孫志忠，應義斌

空間頻域成像在農(nóng)產(chǎn)品品質檢測中的應用現(xiàn)狀與展望

王 忠1，胡 棟1※，孫志忠2，應義斌3,4

（1. 浙江農(nóng)林大學光機電工程學院，杭州 311300；2. 浙江農(nóng)林大學數(shù)學與計算機科學學院，杭州 311300；3. 浙江大學生物系統(tǒng)工程與食品科學學院，杭州 310058；4. 農(nóng)業(yè)農(nóng)村部農(nóng)產(chǎn)品產(chǎn)地處理裝備重點實驗室，杭州 310058）

空間頻域成像，作為一種新興的光學成像技術，具備寬場非接觸、成像深度辨析和有效信號增強等特點，能夠提供與組織物理結構、化學成分相關的信息，被廣泛應用于農(nóng)產(chǎn)品組織光學特性表征和品質無損檢測等領域。該文首先概述了空間頻域成像技術的起源和發(fā)展，繼而闡明了該技術的工作原理，包括光在生物組織中的傳輸理論與正向問題、測量與數(shù)據(jù)處理、逆向反演，然后描述了該技術的多種實施方式，如常規(guī)空間頻域成像、多光譜空間頻域成像、高光譜空間頻域成像以及高頻空間頻域成像，并總結其在蘋果、梨、桃等農(nóng)產(chǎn)品組織光學特性表征和品質檢測方面的應用現(xiàn)狀，最后討論了該技術面臨的挑戰(zhàn)，如測量雙層/多層農(nóng)產(chǎn)品組織光學特性時誤差較大、測量深度局限于毫米級、缺乏標準化的光學參考樣本、檢測耗時較長等，以期為該技術在未來的研究提供參考。

農(nóng)產(chǎn)品；光學特性；品質檢測；空間頻域成像；光傳輸

0 引 言

農(nóng)產(chǎn)品的品質問題一直是公眾關注的熱點。近年來，根據(jù)農(nóng)產(chǎn)品的不同品質特性，學者們開發(fā)了一系列基于光、聲、電、磁的智能傳感檢測技術，如近紅外光譜技術[1-3]、機器視覺技術[4-6]、高光譜成像技術[7-8]等。可見/近紅外光譜技術因其快速、無損的特點，被廣泛應用于農(nóng)產(chǎn)品內(nèi)部品質檢測[9-11]。傳統(tǒng)的可見/近紅外光譜技術依靠化學計量學方法對信號（如反射光譜、透射光譜）與農(nóng)產(chǎn)品品質指標（如硬度、可溶性固形物含量、成熟度）進行建模分析，但這種建模方法的具體過程不可見（俗稱“黑箱”），無法對光在生物組織中的傳輸情況進行定量描述，不能將組織對光的吸收作用和散射作用進行有效區(qū)分，容易導致關鍵信息丟失，給預測模型的準確性、穩(wěn)定性和通用性帶來困難和挑戰(zhàn)[12]。光學特性的準確測量與表征有助于理解光與農(nóng)產(chǎn)品組織的互作機制，提供與物理結構和化學成分相關的信息，從而為農(nóng)產(chǎn)品的品質檢測提供理論依據(jù)。

光與組織的相互作用通常表現(xiàn)為吸收和多次散射，可分別用吸收系數(shù)（Absorption coefficient,μ）和約化散射系數(shù)（Reduced scattering coefficient,μ′）進行表征[12]。研究表明，吸收系數(shù)與組織化學成分（如水分、可溶性固形物含量等）相關，而約化散射系數(shù)與物理結構（如粒子大小、形狀、分布密度等）關聯(lián)緊密[13]。在眾多的光學檢測技術中，空間頻域成像（Spatial-Frequency Domain Imaging, SFDI）得益于其寬場非接觸、成像深度辨析和有效信號增強等優(yōu)點[14]，獲得學術界和業(yè)界的青睞。該技術通過獲取組織表面的反射信號得到檢測對象在結構光照射下的圖像，通過解調(diào)得到隨頻率變化的漫反射圖像，結合相應光傳輸模型（如漫射近似理論、蒙特卡洛（Monte Carlo, MC）等），可獲取吸收系數(shù)和約化散射系數(shù)的二維與三維分布圖（平面+深度），豐富了組織空間信息，為表征組織的異質性和三維形貌重建提供了可能。近年來，空間頻域成像技術被廣泛應用于農(nóng)產(chǎn)品組織光學特性表征[15]、品質無損檢測[16-17]等領域。

因此，本文首先介紹了SFDI技術的起源及其在農(nóng)業(yè)工程領域的發(fā)展情況，其次闡明了SFDI技術的工作原理，包括光在生物組織中的傳輸理論與正向問題、測量與數(shù)據(jù)處理、逆向反演，然后描述了SFDI的不同實施方式，總結了SFDI技術在農(nóng)產(chǎn)品組織光學特性表征和品質檢測方面的應用現(xiàn)狀，最后討論了SFDI技術未來發(fā)展趨勢，以期為該技術的進一步理論研究和實際應用提供參考。

1 SFDI原理

渾濁介質的光學特性測量通常依賴于光子傳播的時間或空間行為解析。當光源照射在組織表面時，組織對入射光做出響應（吸收、散射等），響應的大小、程度與組織的固有特性相關；通過獲取隨時間變化或隨空間距離變化的響應信號，可得到其時間分辨光譜或空間分辨光譜，結合光傳輸模型和逆向算法，可反演得到組織光學特性。這便是常用光學特性測量技術（時間分辨與空間分辨[12,14,18]）的工作原理。通過傅里葉變換，將此種實數(shù)域范疇的點擴散函數(shù)轉換為頻域范疇的調(diào)制傳遞函數(shù)，可分別實現(xiàn)頻域與空間頻域的光學特性測量。上述4種光學測量技術的關系如圖1所示。空間頻域成像，作為一種新興的頻域范疇光學測量技術，得益于其寬場非接觸、深度辨析和信號增強等特點，近年來在組織光學和農(nóng)產(chǎn)品無損檢測領域受到越來越多的關注[14]。

早在1998年，Dognitz和Wagnieres首次提出空間頻域的概念，通過在照明燈泡前加上一塊有規(guī)則圖案的玻璃來獲得空間結構光，并使用CCD 相機對漫反射圖案進行采集，將其應用于光傳輸信號分析，證明了該方法可實現(xiàn)渾濁介質光學特性寬場非接觸測量[19]。21世紀以來，美國加利福尼亞大學的Cuccia課題組對空間頻域進行深入研究，使用不均勻仿體驗證了該技術的層析檢測的可行性，并將其應用于生物組織的光學特性測量[20-21]。至此，空間頻域成像技術得到了迅速發(fā)展并被廣泛應用于生物醫(yī)學領域，如皮膚[22]、手臂[23]、乳房[24]等組織的光學特性表征、相關生理指標的定量檢測和疾病診斷。

雖然空間頻域成像技術的理論方法和實用價值在生物醫(yī)學領域得到了發(fā)展和驗證，但是在農(nóng)業(yè)工程領域的起步與研究相對滯后。2007年，Anderson等[16]首次嘗試將空間頻域成像技術應用于農(nóng)業(yè)工程領域，通過分析比較正常蘋果和損傷蘋果組織的吸收系數(shù)和約化散射系數(shù)差異，實現(xiàn)蘋果損傷無損檢測。此后多年，鮮有空間頻域成像技術在農(nóng)業(yè)工程領域的研究報道。直到2015年，浙江大學的應義斌和美國農(nóng)業(yè)部的Lu等重新開啟了SFDI技術的研究[25-28]；越來越多的科研工作者開始注意到空間頻域成像技術的獨特優(yōu)勢，并展開了一系列探索，包括農(nóng)產(chǎn)品組織的光學特性表征及其品質檢測[29]。近年來，隨著SFDI技術的不斷發(fā)展，國內(nèi)農(nóng)業(yè)工程領域也涌現(xiàn)出越來越多的科研團隊，立足于SFDI開展相關研究工作，如浙江農(nóng)林大學、浙江理工大學、江蘇大學、南京農(nóng)業(yè)大學、國家農(nóng)業(yè)信息化工程技術研究中心等。同時，有關空間頻域成像核心部件（結構光投影儀）的生產(chǎn)也趨向于商業(yè)化，除了美國Texas Instruments （TI）公司旗下的Digital Light Innovations（DLi）生產(chǎn)商以外，國內(nèi)也已涌現(xiàn)出多家具備競爭實力的結構光投影儀開發(fā)商，如博眾精工科技（BOZHON）、北京聞亭泰科等。

1.1 光傳輸理論與正向問題

1.1.1 擴散理論

光在生物組織中的傳輸情況，通常可以用基于能量守恒定律的輻射傳輸理論進行描述[27]。但是，該理論由6個未知變量的積分或微分方程構成，求解過程過于復雜，只能在特定的情況下才能求得解析解。農(nóng)產(chǎn)品組織大多為高散射介質（μ′>>μ）[14]，在這種情況下，輻射傳輸理論可以被簡化為漫射近似方程。當平面結構化光源垂直入射到組織表面時，穩(wěn)態(tài)情況下的漫射近似方程[29]可以表示為

針對均勻的、散射特性呈線性變化的半無限厚介質，通常可假設光源強度0隨深度呈指數(shù)衰減，對邊界施加部分流邊界條件，可得到公式（1）的解析解，即組織表面漫反射率(f)：

通過SFDI技術獲取農(nóng)產(chǎn)品組織的空間頻域圖像，采用數(shù)據(jù)處理算法（圖像解調(diào)、系統(tǒng)響應校正、曲面校正等）得到組織的漫反射圖像，該圖像信息可直接用于農(nóng)產(chǎn)品品質指標檢測，如損傷、缺陷等；亦可結合逆向反演算法，如基于公式（2）的非線性擬合法、查表法等，得到組織吸收系數(shù)μ和約化散射系數(shù)′的分布圖。需要指出的是，SFDI技術中的高頻光源擁有相對較小的透射深度，低頻光源則正好相反，這是因為生物組織通常為渾濁介質，其作用近似于低通濾波器，導致高頻光源的能量在組織中快速衰減。如圖2所示，在相同的光透射深度，低頻光源強度要大于高頻光源。因此，在采用SFDI技術進行光學特性表征或農(nóng)產(chǎn)品檢測過程中，要合理選擇空間頻率，充分利用其深度辨析和信號增強的特點，從而達到檢測目標。

1.1.2 其他光傳輸模型

漫射近似理論是當前最為常用的光傳輸模型，但是該模型的準確實施基于兩個重要的假設條件，即高散射介質（′>>μ）和空間頻率的倒數(shù)需大于一倍平均光自由程（1/f>mfp′）（mean free path, mfp′為平均自由程），這限制了漫射近似模型的廣泛應用。果蔬組織在近紅外波段由于受到水分的強吸收影響，吸收特性往往接近甚至大于散射特性，此時漫射近似理論并不適用。此外，蘋果組織在可見光波段的吸收系數(shù)和約化散射系數(shù)范圍分別為0.01～0.05和0.5～2.0 mm-1[31]，這就要求空間頻率小于0.5 mm-1。

為了克服上述問題，學者們采用其他光傳輸模型與SFDI技術進行結合使用，如蒙特卡洛（Monte Carlo, MC）、離散坐標法等[32]。其中，MC方法得益于其操作簡單、易于實現(xiàn)、模擬精度高、適用于復雜形態(tài)的樣本和多層組織等特點，成為SFDI技術中的另一個研究熱點。目前最為常用的MC模擬程序由Wang等開發(fā)和優(yōu)化，通過兩個子程序MCML和CONV的組合使用，可得到組織表面隨距離變化的空間分辨漫反射率；對其進行一維零階漢克爾變化，得到隨頻率變化的空間頻域漫反射率[33]。為了解決MC模擬耗時長的問題，相關學者采用混合MC（MC與漫射近似理論相結合）、并行計算MC（多臺電腦、多個處理器、基于圖形處理單元的MC）等方法以提高模擬速度，并取得了不錯的效果[34]。MC方法理論上不受樣本形狀、尺寸和固有特性的影響，且能得到漫反射率、輻射能流率、光透射深度等多個物理量，應用范圍廣泛。

1.2 測量與數(shù)據(jù)處理

1.2.1系統(tǒng)組成

空間頻域成像系統(tǒng)主要由3個單元組成，分別是光照單元、光學成像單元和樣本輸送單元（圖3a）。其中光照單元，生成并投射寬波段多頻率結構光照明；光學成像單元，采集并保存樣本圖像和光譜信息；樣本輸送單元，調(diào)節(jié)樣本位置，保證成像質量。在眾多的組成零部件中，光源、投影設備和信號采集器是三大核心元器件，它們直接決定了結構光的投影質量、采集到的圖譜信息質量以及試驗效率。目前，最為常用的光源是寬波段鹵鎢燈和單波長LED或激光兩大類，其中寬波段鹵鎢燈需借助波長選擇器（如液晶可調(diào)諧濾波器、濾波片等）實現(xiàn)多波長圖像獲取（圖3b）。投影設備可選用商業(yè)投影儀、數(shù)字微鏡元件（Digital Micro-mirror Device, DMD）或由美國DLi公司生產(chǎn)的集成化數(shù)字投影儀（如型號為CEL5500-Fiber的數(shù)字投影儀，圖3b和3d），通過與光源連接投射出多頻率結構光。信號采集器通常為圖像和光譜采集器，其中工業(yè)CCD相機性價比高，最為常用（圖3e）；EMCCD相機具有更高的光子效率、信噪比等性能，也被用于構建SFDI系統(tǒng)（圖3b）；高光譜可同時獲取圖譜信息，目前已研制高光譜SFDI系統(tǒng)。此外，美國加利福尼亞大學爾灣分校的Cuccia等在長期研究SFDI技術的基礎上，創(chuàng)立了Modulim公司，推出兩款基于SFDI技術的商業(yè)化產(chǎn)品，Reflect RS和Clarifi（圖3f和圖3g），目前也已應用于科學研究和生產(chǎn)實際，如組織生色團的空間分布、組織血氧濃度監(jiān)測等。

結合圖3a所示的SFDI系統(tǒng)結構示意圖，簡要說明系統(tǒng)的具體組成、布局及功能。SFDI系統(tǒng)主要包括光源、投影儀、相機、鏡頭、偏振片、波長選擇器、計算機等幾個部分。投影儀安裝軸線與相機呈一定角度（一般小于15°）以保證圖像的有效采集，通過計算機控制生成不同頻率和不同相位的照明圖案；在投影儀和相機鏡頭前端垂直安裝線性偏振片以消除鏡面反射；相機鏡頭前端的波長選擇器用于切換波長。將不同頻率和不同相位的穩(wěn)態(tài)正弦圖案傳輸?shù)酵队皟x，并依次投射到樣本表面，然后通過相機采集相應的漫反射圖案，結合數(shù)據(jù)處理得到漫反射圖像，根據(jù)試驗目的選擇不同的處理算法，進行農(nóng)產(chǎn)品組織光學特性表征、品質無損檢測等研究。

1.2.2 圖像解調(diào)

圖像解調(diào)是空間頻域成像技術的關鍵步驟，目的在于獲取樣本在不同頻率結構光照明下的漫反射率強度振幅包絡線。在SFDI技術的使用過程中，可根據(jù)實際需要選擇頻率和相位數(shù)量，由此產(chǎn)生了3種常用的圖像解調(diào)方法：三相位解調(diào)、單快照解調(diào)和螺旋相位解調(diào)。圖4為3種解調(diào)方法的實施流程圖。

Cuccia等[21]提出了完善的三相位解調(diào)方法，并將其應用于人體前臂組織的光學特性表征。在該方法中，通過公式（3）對3個等間距相位（如0、2π/3、3π/4）下的圖像強度進行計算，可得到該頻率下的漫反射率強度振幅包絡線（圖4a）。三相位解調(diào)方法的提出為漫反射圖案的獲取提供了一個良好的解決方案，但是由于該方法在實施過程中需要采集至少3個相位的反射圖案，導致圖案采集時間較長，降低了檢測實時性。

式中AC(,f)為反射光子密度的振幅包絡線，1(,f)、2(,f)和3(,f)為不同空間頻率下測得的反射圖像的光照強度，為空間位置。

為了減少反射圖案的采集數(shù)量，提高采集效率，改進采集模式，Vervandier等[40]提出了單快照解調(diào)方法，并將其成功用于人體手掌光學特性表征。該技術的原理為：對采集到的反射圖案進行逐行傅里葉變化，然后將全頻譜在一個截止頻率處分割成直流和交流頻譜，最后通過傅里葉逆變換分別處理直流和交流頻譜，得到漫反射率強度振幅包絡線圖像（圖4b）。

單快照解調(diào)方法只使用一張反射圖案進行解調(diào)，導致解調(diào)后的漫反射圖案各行間的信息丟失，圖案質量降低。為了解決這一問題，Nadeau等[41]改進了單快照解調(diào)方法，在傅里葉空間中引入一個螺旋相位函數(shù)，將一維希爾伯特變換擴展到二維空間，然后以二維正交變換解調(diào)條紋圖像得到漫反射圖像，稱為螺旋相位解調(diào)（圖4c），解調(diào)交流漫反射率見公式（4）。該方法的數(shù)據(jù)采集速度是傳統(tǒng)三相位解調(diào)技術的2～3倍，但是解調(diào)精度相比于傳統(tǒng)三相位有所下降。

式中(,)為漫反射系數(shù)，(,)為原始交流分量（Alternating component, AC）圖像的漫反射強度，為虛數(shù)單位，F(xiàn)FT為快速傅里葉變換，(,)為傅里葉空間中的AC圖像的漫反射強度，(,)為螺旋函數(shù)。其后，在螺旋相位解調(diào)的基礎上，Lu等[42]提出了施密特正交（Gram-Schmidt Orthonormalization, GSO）解調(diào)方法。該方法首先利用傅里葉空間中的螺旋相位函數(shù)從兩個相移圖像中恢復直流分量，然后使用基于直流分量的施密特正交方法來獲得漫反射圖像。并將該方法應用于蘋果損傷檢測，并證明GSO解調(diào)可以達到與傳統(tǒng)三相位解調(diào)方法相媲美的良好性能。

1.2.3 校正

校正是空間頻域成像技術的另一個關鍵步驟，主要包括圖像均勻性校正、系統(tǒng)響應校正和表面輪廓校正三部分，其中均勻性校正在圖像解調(diào)之前，但考慮到內(nèi)容的連貫性，此處將其與另兩種校正方法結合闡述。

如圖3a所示，為了保證結構光能覆蓋整個樣本，且信號采集設備能最大限度地采集到樣本的反射信號，投影儀與相機通常呈一定角度布置，從而導致樣本表面照明不均勻，通常表現(xiàn)為中心亮度高而四周亮度低。圖像均勻性校正能解決該問題，通過以下公式[25]實現(xiàn)：

式中corrected為校正后的相對圖像強度，為校正前的圖像強度，dark為暗場圖像強度，white為參比白板的圖像強度。

受光學系統(tǒng)固有性能影響，解調(diào)后的樣本圖像需要進行系統(tǒng)響應校正，以減小系統(tǒng)誤差。用一個已知光學特性的參考樣本進行SFDI測量，解調(diào)后得到參考樣本的漫反射率強度振幅包絡線AC,ref(f)，通過公式（2）正向求解得到參考樣本的漫反射率ref(f)，結合待測樣本的漫反射率強度振幅包絡線AC(f)，求解組織表面漫反射率(f)，采用以下公式實現(xiàn)系統(tǒng)響應校正：

在SFDI測量過程中，樣本表面各個像素點到投影儀、相機之間的距離隨著樣本輪廓（高度、角度）的變化而變化，一般表現(xiàn)為中間小、四周大，對測得的空間頻域漫反射率造成很大影響。因此，基于樣本表面高度與表面角度對空間頻域漫反射率進行表面輪廓校正，對于SFDI準確測量至關重要。相位測量輪廓術（Phase Measuring Profilometry, PMP）是一種常用的表面輪廓校正方法。該方法通過采集樣本的漫反射圖案，從中提取相位信息，根據(jù)系統(tǒng)的相位-高度關系獲取被檢測樣本的三維輪廓信息。哈佛大學的Nguyen等[43]制作了一個三維校準仿體，通過測量該仿體的信息實現(xiàn)表面高度和角度的校正。浙江大學He等[44]用相位測量輪廓法校正光學特性反演誤差，并使用一系列已知光學特性參數(shù)的參考樣本對校正效果進行了評估。Gioux等[45]提出了一種用于SFDI校正的Lambertian校正方法，該方法在圖像解調(diào)后的SFDI數(shù)據(jù)中引入了余弦除數(shù)項，以增大傾斜角度下的表面漫反射率值，通過該方法可以減輕表面角度達40°角的邊緣成像偽影，改善了對組織模擬模型和人體手部的光學特性數(shù)據(jù)提取。波士頓大學的Zhao等[46]在此基礎上引入了Minnaert校正方法，通過經(jīng)驗性地考慮物體間的漫反射和其他可能導致漫反射率值不準確的因素，在Lambertian校正的基礎上增加了一個額外的修正因子，從而提出了一種經(jīng)驗方法，可用于校正高達75°角的表面輪廓。最近，斯特拉斯堡大學的Aguénounon等[47]提出了一種基于深度學習的方法，在對復雜非平面樣品進行光學特性單快照成像時實現(xiàn)實時輪廓校正。

1.3 逆向反演

經(jīng)過解調(diào)和校正后的漫反射圖像，可直接用于分析正向問題，比如通過比較農(nóng)產(chǎn)品的漫反射交流圖像，可實現(xiàn)皮下隱性損傷的可視化識別。但是，針對逆向問題，即組織光學特性表征，需進一步對漫反射圖像進行處理。目前常用的SFDI逆向問題求解算法主要包括擬合法、查表法、機器學習與深度學習三大類（圖5）。

擬合法的實施基于漫射近似理論（公式2），通常使用偏最小二乘對其進行非線性擬合，得到吸收系數(shù)和約化散射系數(shù)（圖5a）。Cuccia等[21]首次采用擬合法反演人體前臂組織的光學特性參數(shù)；此后，該方法在光學特性反演的研究中得到了廣泛應用。但是，擬合法過度依賴空間頻率，如何選擇合適的頻率區(qū)間（大小和數(shù)量）是提高光學特性反演精度的關鍵。據(jù)此，Hu等[49-50]對擬合過程中的頻率區(qū)間進行優(yōu)化選擇，并針對單層組織和雙層組織，分別提出了“兩步法”和“逐步法”，有效提高了單/雙層組織光學特性的反演精度。但是，由于“兩步法”和“逐步法”需要進行二次擬合或分步多次擬合，增加了時間成本。

如上文所述，漫射近似理論需要滿足特定條件才能成立，如約化散射系數(shù)要遠大于吸收系數(shù)，因此擬合法在反演高吸收介質的光學特性時會失效。為了解決這一問題，學者們提出了基于蒙特卡洛的查表法。蒙特卡洛是一種統(tǒng)計隨機抽樣的數(shù)值方法，適用范圍更加廣泛。如圖5b所示，首先通過模擬計算大量的漫反射率值和光學特性參數(shù)的對應關系，建立查找表；然后根據(jù)試驗中得到的漫反射率值進行查表，對光學特性進行初始賦值，根據(jù)所建立的查找表進行三次樣條插值得到漫反射率值；最后使用相應的非線性尋優(yōu)算法得到最接近的光學特性參數(shù)值[21]。該方法在計算速度上有了很大的提升，關鍵是克服了約化散射系數(shù)必須要遠大于吸收系數(shù)的困難。但是，在建立查找表的過程中也存在一些問題，例如查找表建立效率低下、查找表精度不夠高以及查表計算量大。

近年來，得益于其強大的非線性學習能力，機器學習與深度學習為組織光學特性表征提供了一種新的解決方案。機器學習與深度學習算法能夠用于處理光學特性與檢測信號之間的非線性函數(shù)關系，逆向反演計算高效，訓練階段速度更快，且反演精度不亞于擬合法和查表法。He等[51]結合最小二乘支持向量機與蒙特卡洛仿真建立前向模型用于反演梨的光學特性。Panigrahi等[52]則通過蒙特卡洛仿真得到的數(shù)據(jù)訓練隨機森林回歸模型，并使用該模型反演人手掌的光學特性。Naglic等[53]使用蒙特卡洛仿真數(shù)據(jù)，成功訓練了人工神經(jīng)網(wǎng)絡前向模型。

2 SFDI實施方式

2.1 常規(guī)SFDI

常規(guī)SFDI系統(tǒng)組成較為簡單，光源通常為白光（如鹵鎢燈），相機直接采集樣本的空間頻域圖像，通過圖像解調(diào)、校正等步驟得到樣本漫反射圖像。選擇不同的空間頻率，可獲得不同深度的組織信息。常規(guī)SFDI技術的典型應用為蘋果[54]、桃子[55]等水果的表面缺陷識別。但是，該系統(tǒng)缺乏波長選擇元件，無法獲取光譜信息，不能確定特征波長，因此檢測效果會受到影響。

2.2 多光譜SFDI

在常規(guī)SFDI系統(tǒng)的基礎上，增加多個波長信息，即為多光譜SFDI系統(tǒng)。常用的多光譜SFDI系統(tǒng)主要分為兩大類，一種是在相機前端增加波長選擇元件（如圖3a所示），如濾波片和液晶可調(diào)諧濾波器，使得反射信號在被相機接收之前，具備波長信息，從而實現(xiàn)多波長采集[54]；另一種是采用單波長光源，如多通道LED或多通道激光器，促使投影儀投射出不同波長的照明[56]。多光譜SFDI能同時采集圖像和光譜信息，但是需要在前期的預試驗中進行特征波長選擇。

此外，如果采用分光光度計取代常規(guī)SFDI系統(tǒng)中的信號采集元件，只采集樣本一個像素點的光強信號，那么該系統(tǒng)稱之為點光譜SFDI[57]。通過后續(xù)的圖像解調(diào)和校正等步驟，點光譜SFDI技術可用于反演該像素點在全波段下的吸收系數(shù)和約化散射系數(shù)。

2.3 高光譜SFDI

高光譜SFDI是一種典型的光譜成像技術，它同時涵蓋了圖像和光譜信息[58]。與多光譜SFDI相比，高光譜SFDI所覆蓋的波長信息更多，分辨率更高，波長幾乎是連續(xù)的，因此無需通過預試驗確定特征波長，可直接在后期數(shù)據(jù)處理時過程中進行分析與選擇。高光譜SFDI系統(tǒng)采用專業(yè)高光譜相機進行信號采集，波長范圍依賴于光譜儀，通常為可見光和短波近紅外波段。與傳統(tǒng)的高光譜成像系統(tǒng)類似，高光譜SFDI獲得的是超立方體圖像，具有三維信息，分別為二維的空間信息和一維的光譜信息。點掃描、線掃描和面掃描是常用的三種超立方體圖像獲取方式。因為高光譜SFDI所獲取的數(shù)據(jù)量大，通常帶有冗余信息，所以在后期的圖像處理和數(shù)據(jù)分析方面會帶來更大的挑戰(zhàn)。

值得一提的是，高光譜SFDI和多光譜SFDI均含有豐富的圖像和光譜信息。已有的研究表明[59]，光譜信息通常與生物組織的內(nèi)部特性相關，如可溶性固形物含量、酸度、內(nèi)部缺陷等。因此，在上述兩種SFDI實施方式下，研究者能利用SFDI技術的深度辨析和信號增強特點，實現(xiàn)農(nóng)產(chǎn)品光學特性測量和皮下隱性損傷檢測，在利用光譜信息實現(xiàn)農(nóng)產(chǎn)品內(nèi)部品質的無損檢測方面潛力巨大。

2.4 其他方式

除了上述常用的3種SFDI實施方式之外，SFDI還有望與一些其他先進技術相結合，比如熒光成像[60]、散斑成像[61]、計算機層析成像光譜[62]等。熒光成像廣泛應用于捕獲物體在高能光激發(fā)下的低能量發(fā)射圖像；高散射介質會減弱熒光信號的分辨率，而SFDI技術中的高頻結構光具備更高的成像分辨率，兩者結合可以更好地發(fā)揮各自技術優(yōu)勢。散斑成像需要的空間頻率比SFDI高，因此兩種技術可以互相彌補。散斑SFDI系統(tǒng)通常需要一個空間相干光源，根據(jù)散斑信號的空間或時間變化對其進行獨立分析。

高頻空間頻域成像（High Spatial-Frequency Domain Imaging, HSFDI）是SFDI技術的另一種應用形式[63]。與傳統(tǒng)的SFDI技術不同，HSFDI采用高頻率的空間調(diào)制光源（>1 mm-1），利用SFDI技術頻率越高成像分辨率越高的特點，在解析超微組織結構特征方面具有無可替代的優(yōu)勢[63]。HSFDI屬于次（亞）擴散光成像范疇，其光傳輸模型不受空間頻率與平均光自由程關系的約束，通過定量測量光散射相函數(shù)（如后向散射概率、光擴散長度等），實現(xiàn)微觀組織結構的高分辨率表征。此外，實時成像是SFDI技術未來發(fā)展的必經(jīng)階段。從本文內(nèi)容可知，SFDI的硬件組成、軟件控制、處理算法等方面均有較大的提升空間。雖然學者們在多個方面對SFDI進行了優(yōu)化和提高，但是未來面向SFDI實時成像的待開展工作仍有很多，如軟硬件之間的同步與集成、光學特性反演效率的提高、皮下信號的特征增強等。

3 SFDI應用現(xiàn)狀

3.1 組織光學特性表征

組織光學特性的準確測量與表征，有助于深入研究并分析光在農(nóng)產(chǎn)品組織中的傳輸規(guī)律，了解組織中光的分布、穿透深度等狀態(tài)，解析傳感技術的檢測原理，從而根據(jù)不同檢測對象設計更有效的檢測裝置（如光源強度、檢測器的大小及位置等），提高檢測精度與檢測穩(wěn)定性。得益于其寬場非接觸、成像深度辨析等優(yōu)點，SFDI在組織光學特性表征方面具有獨特優(yōu)勢，可重建組織光學特性的二維和三維分布圖，因此被廣泛用于蘋果[15]、梨[44]、芒果[64]等農(nóng)產(chǎn)品組織的光學特性表征。

Anderson等[16]用SFDI技術測量了正常蘋果和損傷蘋果組織的光學特性，結果表明損傷蘋果組織的約化散射系數(shù)大于正常蘋果。浙江大學的Hu等[15]采用商業(yè)投影儀、工業(yè)相機、濾波片等構建了農(nóng)業(yè)工程領域的首套SFDI系統(tǒng)，并采用該系統(tǒng)結合三相位解調(diào)和非線性擬合等數(shù)據(jù)處理方法，測得蘋果樣本在460、527和630 nm波長下的吸收系數(shù)和約化散射系數(shù)二維分布圖。但是，該研究需要對蘋果樣本進行切片處理，屬于有損檢測，無法滿足無損檢測要求；而且沒有考慮蘋果表面曲率造成的高度差、角度差等對組織光學特性表征的影響。為了解決這一問題，團隊的He等[44]提出用相位測量輪廓法對曲面進行校正。通過使用一系列光學特性已知的自制半球形均質固體仿生樣本，評估了相位測量輪廓法的校正效果，并通過測量梨組織的吸收系數(shù)和約化散射系數(shù)，證明了該校正方法能提高光學特性參數(shù)反演精度。

空間頻率是SFDI技術的關鍵參數(shù)，其大小和個數(shù)直接決定了SFDI表征組織光學特性的性能。針對頻率區(qū)間對光學特性表征的影響問題，Hu等[49-50]提出了“兩步法”和“逐步法”，并通過蒙特卡洛模擬對優(yōu)化結果進行驗證；采用“逐步法”結合優(yōu)化后的空間頻率對多種水果（蘋果、芒果、獼猴桃）的果皮和果肉組織光學特性進行表征（如圖6所示）。結果表明頻率優(yōu)化能提高光學特性參數(shù)反演精度，特別是對于果肉組織（次層）吸收系數(shù)，反演精度的提高效果顯著。但是，該方法需要多次反演并進行反饋調(diào)整，因此增加了數(shù)據(jù)處理時間；同時三相位解調(diào)算法雖然精度較高，但也限制了SFDI技術表征光學特性的實時性。據(jù)此，He等[65]提出采用單拍技術（只采集1幅圖像），結合人工神經(jīng)網(wǎng)絡，對組織光學特性進行反演計算。結果表明：單拍技術與傳統(tǒng)三相位解調(diào)算法計算得到的反射值之間的決定系數(shù)和均方根誤差分別為0.984和0.025，從而驗證了單拍解調(diào)算法的可行性。為了克服漫射近似理論的局限性，He等[51]采用蒙特卡洛模擬作為光傳輸模型，結合最小二乘支持向量機算法，建立光學特性與反射圖像的關聯(lián)模型，從而實現(xiàn)組織光學特性的準確預測。

在SFDI技術表征組織光學特性的理論分析方面，Hu等[66]比較了有限元、漫射近似理論和蒙特卡洛三種方法在模擬單層渾濁介質中的結構光傳輸情況，同時明確了基于漫射近似理論的SFDI技術表征光學特性的約束條件，即約化散射系數(shù)與吸收系數(shù)之比（′/μ）需大于或等于10，全衰減系數(shù)與空間頻率之比（μ/f）需大于或等于3。最近，該團隊通過蒙特卡洛模擬分析了光傳輸模型和逆向算法對表征雙層組織光學特性的影響，比較了不同擬合方法的光學特性反演能力（精度、效率），從理論上驗證了“逐步法”在表征雙層組織光學特性方面的優(yōu)越性[67]。

表1總結了采用空間頻域成像技術進行農(nóng)產(chǎn)品組織光學特性測量與表征的研究進展。從表1可以看出，目前所涉及的農(nóng)產(chǎn)品主要包括蘋果、梨、獼猴桃、芒果和牛奶，檢測波長均在1 000 nm以內(nèi)，且可見光波段居多。傳統(tǒng)的三相位解調(diào)和基于非線性擬合的逆向求解算法雖然存在效率偏低的問題，但因其易于實現(xiàn)，且具備較高精度，依然是目前最為常用的數(shù)據(jù)處理方法。受農(nóng)產(chǎn)品品種、檢測波長范圍、檢測位置（果皮、果肉）、數(shù)據(jù)處理方法（三相位、單快照、非線性擬合、機器學習）等因素的影響，同一種農(nóng)產(chǎn)品組織的光學特性測量結果差異較大。未來研究有望擴大檢測對象和檢測波長范圍（如近紅外），融合機器學習和深度學習的快速學習適應特點，將空間頻域成像技術應用于更多農(nóng)產(chǎn)品的組織光學特性表征。

表1 基于空間頻域成像的農(nóng)產(chǎn)品組織光學特性表征研究進展

注：表1中有關梨的研究，重構了光學特性二維分布圖，未指出光學特性具體數(shù)值；GD: Golden Delicious, RS: Red Star, RR: Red Rome, RD: Red Delicious, JG: Jonagold. 下同。

Note: For the research on pears in Table 1, reconstructed the two-dimensional mappings of optical properties without specifying the values; GD: Golden Delicious, RS: Red Star, RR: Red Rome, RD: Red Delicious, JG: Jonagold. Some as belaw.

3.2 果蔬品質檢測

SFDI技術在果蔬品質檢測領域的典型應用為蘋果早期損傷識別。蘋果損傷大多由收獲、運輸和貯藏過程中的機械碰撞引起，在碰撞初期多發(fā)生于下表皮，外觀與正常蘋果基本無異，屬于“隱性缺陷”，人工揀剔易造成誤判和漏判現(xiàn)象。隨著時間的推移，損傷組織惡化擴散，最終導致蘋果個體的腐爛變質，造成巨大的經(jīng)濟損失和潛在的食用安全威脅。傳統(tǒng)的光學檢測技術采用均勻照明模式，只能獲取表皮以上的肉眼可見信息，對于表皮以下的早期損傷缺乏檢測能力。SFDI技術采用結構光照明模式，具有深度辨析和信號增強特點。通過優(yōu)選空間頻率可實現(xiàn)光透射深度的動態(tài)調(diào)節(jié)，從而獲取不同深度的組織信息（圖2），為更好地檢測蘋果皮下早期損傷提供了可能。

基于SFDI技術的上述特色優(yōu)勢，學者們開展了一系列蘋果等農(nóng)產(chǎn)品早期損傷的檢測研究。美國農(nóng)業(yè)部的Lu等[27-28,69]構建了SFDI系統(tǒng)，利用SFDI技術的深度辨析特點，選擇合適的空間頻率實現(xiàn)了蘋果皮下?lián)p傷的無損檢測。如圖7所示，解調(diào)后Gala蘋果和Golden Delicious蘋果的直流分量（Direct component, DC）圖像無法識別蘋果損傷，而AC圖像可以對損傷特征進行增強，在頻率0.08、0.10和0.15 mm-1下可以清晰顯示損傷特征。然而，該研究中所采用的傳統(tǒng)三相位解調(diào)算法耗時長、效率低，降低了SFDI的實時性。為了解決該問題，該團隊提出了基于螺旋相位的解調(diào)方法，將三相位圖像縮減為兩相位，有效提高了圖像采集和數(shù)據(jù)處理效率[69]。同時，研究發(fā)現(xiàn)交流分量與直流分量的比率圖像（AC/DC）能對蘋果皮下?lián)p傷特征進一步增強；相較于單純的AC圖像，比率圖像能有效增強損傷特征與非損傷特征的對比度，從而提高損傷檢測精度。在螺旋相位解調(diào)的基礎上，Lu等[42]提出了施密特正交解調(diào)方法，并將其用于蘋果損傷檢測，發(fā)現(xiàn)其效果不遜于螺旋相位解調(diào)。

出于簡化問題的考慮，傳統(tǒng)的SFDI技術通常采用強度呈一維正弦變化的結構光照明。為了探索復合模式圖案對蘋果損傷檢測的影響，Lu等[54]開展了基于二維正弦變化結構光照明的試驗研究，發(fā)現(xiàn)柵格復合圖案的性能優(yōu)于邊緣復合圖案。同時，該團隊在原SFDI系統(tǒng)的基礎上引入液晶可調(diào)諧濾波器[54]，用于快速、準確、自動地切換波長，開發(fā)了多光譜SFDI系統(tǒng)；通過主成分分析等方法探索蘋果皮下?lián)p傷檢測的特征波長，結果表明710～830 nm之間的7個波長（710、730、750、770、790、810、830 nm）更適合用于蘋果皮下?lián)p傷檢測。此外，Lu等[70]探索了一種用于圖像快速分割的自動閾值方法，分別測試了九種閾值方法的分割效果，并將其用于蘋果表面的三維重建，結果表明利用相位分析技術重建蘋果的三維形狀可區(qū)分蘋果表面凹陷（莖或花萼區(qū)域）特征與損傷特征。

除了皮下?lián)p傷檢測，SFDI技術還被應用于蘋果曬斑、苦痘病、褐變等缺陷檢測。Lu等[71]提出了一種基于二維經(jīng)驗模態(tài)分解的圖像增強方法，通過圖像重建隔離并消除漸暈和噪聲等圖像偽影，極大地增強了蘋果的缺陷特征。同時，將機器學習與SFDI技術相結合，以增強蘋果表面和內(nèi)部缺陷檢測性能[72]。結果表明DC圖像、AC圖像和比率圖像（AC/DC）的結合能夠獲得比單一圖像更好的檢測精度，基于卷積神經(jīng)網(wǎng)絡的蘋果缺陷檢測準確率達到了98%。最近，該團隊進一步探索了SFDI技術檢測水果缺陷的性能與圖像對比度、圖像分辨率和光穿透深度之間的關系[73]。結果表明AC圖像具有更好的圖像對比度、圖像分辨率和深度辨析能力，且深度辨析能力隨著空間頻率的增加而減小，而DC圖像雖然具有更深的穿透深度，但是深度唯一，不具備深度辨析能力；利用AC圖像進行蘋果缺陷檢測的性能與缺陷類型、蘋果表面形態(tài)和空間頻率等因素密切相關，為蘋果缺陷檢測奠定了理論基礎。

表2 基于空間頻域成像的果蔬品質檢測研究進展

注：若頻率超過5個，只列出頻率范圍。

Note: If the frequency exceeds 5, only the frequency range is listed.

此外，SFDI技術也可用于桃子腐爛、黃瓜凍害等農(nóng)產(chǎn)品品質檢測。Sun等[55]通過分水嶺算法、偏最小二乘判別分析和卷積神經(jīng)網(wǎng)絡三種方法對SFDI數(shù)據(jù)進行分析處理，發(fā)現(xiàn)SFDI技術在檢測非可見疾病感染癥狀的早期腐爛桃子方面具有顯著效果，且基于AC圖像的卷積神經(jīng)網(wǎng)絡的檢測性能最優(yōu)。Lu等[17]提出一種將SFDI和熒光圖像暈斑自動校正相結合的葉綠素熒光成像方法，以增強黃瓜凍害特征檢測。結果表明，結構光照明下的熒光圖像清晰度和對比度均優(yōu)于均勻光照明，黃瓜凍害檢測的效果更好。

表2總結了采用空間頻域成像技術進行果蔬品質檢測的研究進展。與組織光學特性表征的應用類似，主要包括蘋果、梨、黃瓜和桃子，檢測波長集中在500～1 000 nm；除了傳統(tǒng)的三相位解調(diào)，螺旋相位解調(diào)也得到了較為廣泛的應用，這是因為雖然該方法損失了部分圖像信息，但是大大縮減了試驗時間，提高了數(shù)據(jù)處理效率。針對不同的品質指標（損傷、缺陷、褐變、腐爛等），選用的空間頻率略有差異；但總體而言，空間頻率應小于0.3 mm-1，否則光的透射深度過小，不利于皮下特征的獲取，從而影響檢測效果。研究表明[29]，空間頻率與光透射深度息息相關，進而影響組織光學特性參數(shù)的反演，特別是雙層或多層組織，這種影響尤為明顯。在果蔬品質檢測中，空間頻域成像技術多用于表皮和皮下特征（如損傷）檢測，要求所選頻率不宜過大，否則將影響特征獲取。然而，通過試驗確定適用于大多數(shù)果蔬檢測的頻率，挑戰(zhàn)巨大。因為果蔬組織過于復雜，且性狀各異，無法用統(tǒng)一標準去衡量，比如果皮厚度的差異、品質指標的影響等，均會給頻率選擇帶來困難。目前而言，較好的辦法是通過預試驗確定適用于本次試驗（檢測對象、檢測目的）的最佳頻率，進而開展接下來的工作。

4 挑戰(zhàn)與未來發(fā)展趨勢

在過去的10多年中，SFDI作為一種新興的光學成像技術，被廣泛應用于組織光學特性表征、農(nóng)產(chǎn)品品質檢測等領域，并發(fā)表了大量的研究成果。然而，這些應用主要集中在實驗室研究階段，離實際應用仍有一定距離，這主要是因為該技術在理論、算法、系統(tǒng)等方面仍然存在問題和挑戰(zhàn)。

第一，基于漫射近似理論的SFDI技術在表征強吸收組織的光學特性時，誤差較大。漫射近似理論是一個近似模型，雖然易于使用，但是精度不高；且僅適用于高散射介質（′>>μ），對頻率的大小有所限制。因此，當農(nóng)產(chǎn)品組織在某些波長由于水分或發(fā)色團（如葉綠素、類胡蘿卜素、花青素等）而具有較強的吸收時，使用基于漫射近似理論的SFDI技術進行光學特性表征往往會造成較大的誤差，甚至會導致模型不適用。為了提高模型的精度和適用性，未來需要在綜合考慮的基礎上，開發(fā)更為先進的光傳輸模型。如采用高階近似（P3近似、P5近似等）時，需要考慮階數(shù)和計算復雜度與檢測精度之間的權衡；采用蒙特卡洛模型時，要求樣本為半無限介質且光子數(shù)量足夠多（一般大于3 cm，光子數(shù)量超過100萬個）；采用深度學習作為光傳輸模型時，要求訓練集的光學特性范圍能夠涵蓋待測樣本的光學特性范圍，此外，需要注意模型的過擬合等問題。

第二，SFDI技術在雙層/多層農(nóng)產(chǎn)品組織光學特性表征方面面臨巨大挑戰(zhàn)，尤其是果皮較厚的農(nóng)產(chǎn)品。農(nóng)產(chǎn)品多為不均勻的生物組織，表現(xiàn)為結構多層、形狀不規(guī)則等，這些因素給基于SFDI技術的光學特性表征造成了更大的困難。雖然Hu等[49-50]提出使用“分步法”分別測量蘋果、獼猴桃等薄皮水果果皮和果肉組織的光學特性，但是雙層甚至多層農(nóng)產(chǎn)品組織的光學特性表征仍然是一個巨大挑戰(zhàn)，因為它的模型更復雜，未知變量也更多。此外，SFDI技術的深度辨析能力局限于毫米級（5 mm左右），增加成像深度往往會減小成像分辨率和信噪比。對于果皮較厚的農(nóng)產(chǎn)品（如柚子、橙子等），這個問題就更加突出。因此，開發(fā)更為全面的多層光傳輸模型和提高SFDI技術的深度辨析能力，是未來基于SFDI技術的光學特性表征研究要解決的另一個難題。

第三，SFDI技術在表征組織光學特性的過程中，需要使用光學特性已知的參考樣本進行系統(tǒng)響應校正（公式（6），因此參考樣本的選擇就尤為重要。參考樣本的光學特性測量不準確，或與待測樣本的光學特性范圍相差較大，均會造成較大的測量誤差或使校正失去意義。此外，目前沒有標準化的光學系統(tǒng)可用于參考樣本的光學特性測量，這意味著即使是光學特性的參考值也存在大小不等的誤差，給準確測量帶來了更大的挑戰(zhàn)。未來研究亟待開發(fā)一套光學特性測量的標準系統(tǒng)，并制定標準化操作流程，使光學特性的測量有據(jù)可依。

第四，現(xiàn)有SFDI技術在進行光學特性表征或農(nóng)產(chǎn)品品質檢測時耗時較長，無法滿足實時檢測要求。雖然相關學者做了很多研究以提高試驗效率，特別是針對解調(diào)算法，先后提出了螺旋相位解調(diào)、單快照解調(diào)等，但是面對大量的波長和圖像信息，實時的信息采集和數(shù)據(jù)處理仍是一個難題。因此，未來研究需更多關注軟硬件之間的集成，使光源、投影、相機、波長切換元件等器件之間實現(xiàn)同步，同時優(yōu)化數(shù)據(jù)處理算法（如融合深度學習和大數(shù)據(jù)），逐步實現(xiàn)SFDI的實時應用。

此外，隨著SFDI技術在農(nóng)產(chǎn)品品質無損檢測領域的深入研究，更加小型、便捷的手持SFDI設備[77]也越來越多，這就需要在保證系統(tǒng)檢測精度的前提下，減小系統(tǒng)整體體積。

5 結 論

空間頻域成像（Spatial-Frequency Domain Imaging, SFDI）技術作為一種新興的光學成像技術，具有寬場非接觸、成像深度辨析和有效信號增強等優(yōu)點，能夠重建組織光學特性的二維及三維分布圖，在描述組織異質性方面優(yōu)勢顯著；結合圖像分析、化學計量學、深度學習等方法，SFDI技術可用于農(nóng)產(chǎn)品品質無損檢測。本文詳細介紹了SFDI技術的工作原理、系統(tǒng)組成及數(shù)據(jù)處理方法，總結了SFDI技術在組織光學特性表征和農(nóng)產(chǎn)品品質檢測領域的應用現(xiàn)狀，并對未來的發(fā)展趨勢進行了展望。目前，SFDI技術相關研究已經(jīng)在檢測速度、準確性等多個方面展開，涉及蘋果、梨、桃子、黃瓜等多種農(nóng)產(chǎn)品的損傷、缺陷、腐爛檢測，未來將會拓展到更多種類的農(nóng)產(chǎn)品以及更多類型的品質指標；同時，需進一步開發(fā)理論模型、完善系統(tǒng)集成、優(yōu)化數(shù)據(jù)處理算法，提高SFDI技術的實時檢測性能。

[1] Zhang L, Xu H, Gu M. Use of signal to noise ratio and area change rate of spectra to evaluate the visible/NIR spectral system for fruit internal quality detection[J]. Journal of Food Engineering, 2014, 139: 19-23.

[2] Huang Y, Lu R, Chen K. Detection of internal defect of apples by a multichannel Vis/NIR spectroscopic system[J]. Postharvest Biology and Technology, 2020, 161: 111065.

[3] 李鴻強，孫紅，李民贊. 基于可見/短波近紅外光譜檢測結球甘藍維生素C含量[J]. 農(nóng)業(yè)工程學報，2018，34(8)：269-275.

Li Hongqiang, Sun Hong, Li Minzan. Determination of vitamin C content in cabbage by visible/short-wave near-infrared spectroscopy[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(8): 269-275. (in Chinese with English abstract)

[4] 李龍，彭彥昆，李永玉. 蘋果內(nèi)外品質在線無損檢測分級系統(tǒng)設計與試驗[J]. 農(nóng)業(yè)工程學報，2018，34(9)：267-275.

Li Long, Peng Yankun, Li Yongyu. Design and experiment of online nondestructive testing and classification system for apple internal and external quality[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(9): 267-275. (in Chinese with English abstract)

[5] 張思雨，張秋菊，李可. 采用機器視覺與自適應卷積神經(jīng)網(wǎng)絡檢測花生仁品質[J]. 農(nóng)業(yè)工程學報，2020，36(4)：269-277.

Zhang Siyu, Zhang Qiuju, Li Ke. Machine vision and adaptive convolutional neural network for detecting peanut kernel quality[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(4): 269-277. (in Chinese with English abstract)

[6] 黨滿意，孟慶魁，谷芳，等. 基于機器視覺的馬鈴薯晚疫病快速識別[J]. 農(nóng)業(yè)工程學報，2020，36(2)：193-200.

Dang Manyi, Meng Qingkui, Gu Fang, et al. Rapid identification of potato late blight disease based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(2): 193-200. (in Chinese with English abstract)

[7] Yang B, Gao Y, Yan Q, et al. Estimation method of soluble solid content in peach based on deep features of hyperspectral imagery[J]. Sensors (Basel), 2020, 20(18): 1-12.

[8] Mo C, Kim G, Kim M S, et al. On-line fresh-cut lettuce quality measurement system using hyperspectral imaging[J]. Biosystems Engineering, 2017, 156: 38-50.

[9] 介鄧飛，陳猛，謝麗娟，等. 適宜西瓜檢測部位提高近紅外光譜糖度預測模型精度[J]. 農(nóng)業(yè)工程學報，2014，30(9)：229-234.

Jie Dengfei, Chen Meng, Xie Lijuan, et al. Suitable watermelon detection parts to improve the accuracy of near-infrared spectroscopy sugar content prediction model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(9): 229-234. (in Chinese with English abstract)

[10] Li J, Zhang H, Zhan B, et al. Determination of SSC in pears by establishing the multi-cultivar models based on visible-NIR spectroscopy[J]. Infrared Physics & Technology, 2019, 102: 103066.

[11] 張海輝，陳克濤，蘇東，等. 基于特征光譜的蘋果霉心病無損檢測設備設計[J]. 農(nóng)業(yè)工程學報，2016，32(18)：255-262.

Zhang Haihui, Chen Ketao, Su Dong, et al. A novel nondestructive detection method for maleophores[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(18): 255-262. (in Chinese with English abstract)

[12] Hu D, Fu X, Wang A, et al. Measurement methods for optical absorption and scattering properties of fruits and vegetables[J]. Transactions of the American Society of Agricultural and Biological Engineers, 2015, 58(5): 1387-1401.

[13] Lu R. Light Scattering Technology for Food Property, Quality and Safety Assessment[M]. 1st Edition ed. Boca Raton, Florida: CRC Press, 2016.

[14] Lu R, Beers R V, Saeys W, et al. Measurement of optical properties of fruits and vegetables: A review[J]. Postharvest Biology and Technology, 2020, 159: 111003.

[15] Hu D, Fu X, He X, et al. Noncontact and wide-field characterization of the absorption and scattering properties of apple fruit using spatial-frequency domain imaging[J]. Scientific Reports, 2016, 6: 37920.

[16] Anderson E R, Cuccia D J, Durkin A J. Detection of bruises on golden delicious apples using spatial-frequency-domain imaging[J]. Advanced Biomedical and Clinical Diagnostic Systems V, 2007, 6430: 64301O-1-11.

[17] Lu Y, Lu R. Enhancing chlorophyll fluorescence imaging under structured illumination with automatic vignetting correction for detection of chilling injury in cucumbers[J]. Computers and Electronics in Agriculture, 2020, 168: 105145.

[18] Vanoli M, Van Beers R, Sadar N, et al. Time-and spatially-resolved spectroscopy to determine the bulk optical properties of ‘Braeburn’ apples after ripening in shelf life[J]. Postharvest Biology and Technology, 2020, 168: 111233.

[19] Dognitz N, Wagnieres G. Determination of tissue optical properties by steady-state spatial frequency-domain reflectometry[J]. Lasers in Medical Science, 1998, 13: 55-65.

[20] Cuccia D J, Bevilacqua F, Durkin A J, et al. Modulated imaging: Quantitative analysis and tomography of turbid media in the spatial-frequency domain[J]. Optics Letters, 2005, 30(11): 1354-1356.

[21] Cuccia D J, Bevilacqua F, Durkin A J, et al. Quantitation and mapping of tissue optical properties using modulated imaging[J]. Journal of Biomedical Optics, 2009, 14(2): 024012.

[22] Travers B J, Poon C, Rohrbach J D, et al. Noninvasive mesoscopic imaging of actinic skin damage using spatial frequency domain imaging[J]. Biomedical Optics Express, 2017, 8(6): 3045-3052.

[23] Baruch D, Abookasis D. Multimodal optical setup based on spectrometer and cameras combination for biological tissue characterization with spatially modulated illumination[J]. Journal of Biomedical Optics, 2017, 22(4): 46007.

[24] Laughney A M, Krishnaswamy V, Rizzo E J, et al. Spectral discrimination of breast pathologies in situ using spatial frequency domain imaging [J]. Breast Cancer Research, 2013, 15: R61.

[25] 胡棟. 空間頻域成像技術測量單雙層農(nóng)產(chǎn)品組織光學特性的研究[D]. 杭州：浙江大學，2018.

Hu Dong. Research on Measuring Optical Properties of Single and Double Layers of Agricultural Products with Spatial Frequency Domain Imaging Technology[D]. Hangzhou: Zhejiang University, 2018. (in Chinese with English abstract)

[26] 何學明. 空間頻域成像技術與梨光學特性參數(shù)檢測研究[D]. 杭州：浙江大學，2019.

He Xueming. Research on Spatial Frequency Domain Imaging Technology and Pear Optical Characteristic Parameters Detection[D]. Hangzhou: Zhejiang University, 2019. (in Chinese with English abstract)

[27] Lu Y, Li R, Lu R. Detection of fresh bruises in apples by structured-illumination reflectance imaging[C]//SPIE commercial+ scientific sensing and Imaging: Baltimore, 2016.

[28] Lu Y, Li R, Lu R. Structured-illumination reflectance imaging (SIRI) for enhanced detection of fresh bruises in apples[J]. Postharvest Biology and Technology, 2016, 117: 89-93.

[29] Hu D, Lu R, Ying Y. Spatial-frequency domain imaging coupled with frequency optimization for estimating optical properties of two-layered food and agricultural products[J]. Journal of Food Engineering, 2020, 277: 109909.

[30] Li R. Development of a Structured Illumination Reflectance Imaging System for Enhanced Detection of Subsurface and Surface Defects in Apple Fruit[D]. East Lansing: Michigan State University, 2016.

[31] Zhang S, Wu X, Zhang S, et al. An effective method to inspect and classify the bruising degree of apples based on the optical properties[J]. Postharvest Biology and Technology, 2017, 127: 44-52.

[32] Kim A D. Transport theory for light propagation in biological tissue[J]. Journal of the Optical Society of America A, 2004, 21(5): 820-827.

[33] Wang L, Jacques L S, Zheng L. MCML-Monte Carlo modeling of light transport in multi-layered tissues[J]. Computer Methods and Programs in Biomedicine, 1995, 47(2): 131-146.

[34] Hu D, Sun T, Yao L, et al. Monte Carlo: A flexible and accurate technique for modeling light transport in food and agricultural products[J]. Trends in Food Science & Technology, 2020, 102: 280-290.

[35] Lu Y, Lu R. Structured-illumination reflectance imaging coupled with phase analysis techniques for surface profiling of apples[J]. Journal of Food Engineering, 2018, 232: 11-20.

[36] Erfanzadeh M, Nandy S, Kumavor P D, et al. Low-cost compact multispectral spatial frequency domain imaging prototype for tissue characterization[J]. Biomedical Optics Express, 2018, 9(11): 5503-5510.

[37] Angulo-Rodriguez L, Badawy Y, Leblond F. Development and validation of phase-shifting profilometry using a hyperspectral spatial frequency domain imaging system integrated with a neurosurgical microscope[J]. Journal Bioengineering & Biomedical Science, 2019, 9(1): 1000257.

[38] Wirth D J, Sibai M, Wilson B C, et al. First experience with spatial frequency domain imaging and red-light excitation of protoporphyrin IX fluorescence during tumor resection[J]. Biomed Optics Express, 2020, 11(8): 4306-4315.

[39] Modulim. Spatial frequency domain imaging [EB/OL]. [2021-08-13]. https://modulim.com/technology/sfdi/.

[40] Vervandier J, Gioux S. Single snapshot imaging of optical properties[J]. Biomed Optics Express, 2013, 4(12): 2938-2944.

[41] Nadeau K P, Durkin A J, Tromberg B J. Advanced demodulation technique for the extraction of tissue optical properties and structural orientation contrast in the spatial frequency domain[J]. Journal of Biomedical Optics, 2014, 19(5): 056013.

[42] Lu Y, Li R, Lu R. Gram-Schmidt orthonormalization for retrieval of amplitude images under sinusoidal patterns of illumination[J]. Applied Optics, 2016, 55(25): 6866-6873.

[43] Nguyen T T A, Le H N D, Vo M, et al. Three-dimensional phantoms for curvature correction in spatial frequency domain imaging[J]. Biomed Optics Express, 2012, 3(6): 1200-1214.

[44] He X, Fu X, Rao X, et al. Nondestructive determination of optical properties of a pear using spatial frequency domain imaging combined with phase-measuring profilometry[J]. Applied Optics, 2017, 56(29): 8207-8215.

[45] Gioux S, Mazhar A, Cuccia D J, et al. Three-dimensional surface profile intensity correction for spatially modulated imaging[J]. Journal of Biomedical Optics, 2009, 14(3): 034045.

[46] Zhao Y, Tabassum S, Piracha S, et al. Angle correction for small animal tumor imaging with spatial frequency domain imaging (SFDI)[J]. Biomed Opt Express, 2016, 7(6): 2373-2384.

[47] Aguénounon E, Smith J T, Al-Taher M, et al. Real-time, wide-field and high-quality single snapshot imaging of optical properties with profile correction using deep learning[J]. Biomed Opt Express, 2020, 11(10): 5701-5716.

[48] Zhao Y, Deng Y, Bao F, et al. Deep learning model for ultrafast multifrequency optical property extractions for spatial frequency domain imaging[J]. Optics Letters, 2018, 43(22): 5669-5672.

[49] Hu D, Lu R, Ying Y. A two-step parameter optimization algorithm for improving estimation of optical properties using spatial frequency domain imaging[J]. Journal of Quantitative Spectroscopy and Radiative Transfer, 2018, 207: 32-40.

[50] Hu D, Lu R, Ying Y, et al. A stepwise method for estimating optical properties of two-layer turbid media from spatial-frequency domain reflectance[J]. Optics Express, 2019, 27(2): 1124-1141.

[51] He X, Jiang X, Fu X, et al. Least squares support vector machine regression combined with Monte Carlo simulation based on the spatial frequency domain imaging for the detection of optical properties of pear[J]. Postharvest Biology and Technology, 2018, 145: 1-9.

[52] Panigrahi S, Gioux S. Machine learning approach for rapid and accurate estimation of optical properties using spatial frequency domain imaging [J]. Journal of Biomedical Optics, 2018, 24(7): 1-6.

[53] Naglic P, Zelinskyi Y, Likar B, et al. From Monte Carlo simulations to efficient estimation of optical properties for spatial frequency domain imaging[J]. Molecular Guided Surgery: Molecules, Devices, and Applications V, 2019, 10862: 1086209.

[54] Lu Y, Lu R. Development of a multispectral structured illumination reflectance imaging (SIRI) system and its application to bruise detection of apples[J]. Transactions of the American Society of Agricultural and Biological Engineers, 2017, 60(4): 1379-1389.

[55] Sun Y, Lu R, Lu Y, et al. Detection of early decay in peaches by structured-illumination reflectance imaging[J]. Postharvest Biology and Technology, 2019, 151: 68-78.

[56] Lin A J, Ponticorvo A, Konecky S D, et al. Visible spatial frequency domain imaging with a digital light micro projector[J]. Journal of Biomedical Optics, 2013, 18(9): 096007.

[57] Saager R B, Cuccia D J, Durkin A J. Determination of optical properties of turbid media spanning visible and near-infrared regimes via spatially modulated quantitative spectroscopy[J]. Journal of Biomedical Optics, 2010, 15(1): 017012.

[58] 傅霞萍，何學明，付峰，等. 基于高光譜的空間頻域成像裝置及方法：CN106908445A[P]. 2017-6-30.

[59] Hu D. Representative techniques and methods for nondestructive evaluation of agro-products[M]// Li Jiangbo. Nondestructive Evaluation of Agro-products by Intelligent Sensing Techniques. Bentham Books imprint, 2021: 1-26.

[60] Sibai M, Veilleux I, Elliott J T, et al. Quantitative spatial frequency fluorescence imaging in the sub-diffusive domain for image-guided glioma resection[J]. Biomed Optics Express, 2015, 6(12): 4923-4933.

[61] Ponticorvo A, Rowland R, Baldado M, et al. Evaluating clinical observation versus Spatial Frequency Domain Imaging (SFDI), Laser Speckle Imaging (LSI) and thermal imaging for the assessment of burn depth[J]. Journal of the Internations Socity for Burn Injuries, 2019, 45(2): 450-460.

[62] Weber J R, Cuccia D J, Johnson W R, et al. Multispectral imaging of tissue absorption and scattering using spatial frequency domain imaging and a computed-tomography imaging spectrometer[J]. Journal of Biomedical Optics, 2011, 16(1): 011015.

[63] Lin W, Zeng B, Cao Z, et al. Quantitative diagnosis of tissue microstructure with wide-field high spatial frequency domain imaging [J]. Biomed Optics Express, 2018, 9(7): 2905-2916.

[64] 胡棟，孫通，應義斌. 基于結構光反射成像的水果果皮和果肉光學特性參數(shù)測量[J]. 農(nóng)業(yè)工程學報，2020，36(7)：284-291.

Hu Dong, Sun Tong, Ying Yibin. Optical characteristic parameter measurement of fruit peel and pulp based on structured light reflection imaging[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of

the CSAE), 2020, 36(7): 284-291. (in Chinese with English abstract)

[65] He X, Li T, Fu X, et al. Fast estimation of optical properties of pear using a single snapshot technique combined with a least-squares support vector regression model based on spatial frequency domain imaging [J]. Applied Optics, 2019, 58(15): 4075-4084.

[66] Hu D, Lu R, Ying Y. Finite element simulation of light transfer in turbid media under structured illumination[J]. Applied Optics, 2017, 56: 6035-6042.

[67] Hu D, Huang Y, Zhang Q, et al. Numerical simulation on spatial-frequency domain imaging for estimating optical absorption and scattering properties of two-layered horticultural products[J]. Applied Sciences, 2021, 11(2): 617-633.

[68] He X, Fu X, Li T, et al. Spatial frequency domain imaging for detecting bruises of pears[J]. Journal of Food Measurement and Characterization, 2018, 12(2): 1266-1273.

[69] Lu Y, Li R, Lu R. Fast demodulation of pattern images by spiral phase transform in structured-illumination reflectance imaging for detection of bruises in apples[J]. Computers and Electronics in Agriculture, 2016, 127: 652-658.

[70] Lu Y, Lu R. Histogram-based automatic thresholding for bruise detection of apples by structured-illumination reflectance imaging[J]. Biosystems Engineering, 2017, 160: 30-41.

[71] Lu Y, Lu R. Fast Bi-dimensional empirical mode decomposition as an image enhancement technique for fruit defect detection[J]. Computers and Electronics in Agriculture, 2018, 152: 314-323.

[72] Lu Y, Lu R. Detection of surface and subsurface defects of apples using structured- illumination reflectance imaging with machine learning algorithms[J]. Transactions of the American Society of Agricultural and Biological Engineers, 2018, 61(6): 1831-1842.

[73] Lu Y, Lu R. Structured-illumination reflectance imaging for the detection of defects in fruit: Analysis of resolution, contrast and depth-resolving features[J]. Biosystems Engineering, 2019, 180: 1-15.

[74] Lu Y, Lu R. Using composite sinusoidal patterns in structured-illumination reflectance imaging (SIRI) for enhanced detection of apple bruise[J]. Journal of Food Engineering, 2017, 199: 54-64.

[75] Li R, Lu Y, Lu R. Structured illumination reflectance imaging for enhanced detection of subsurface tissue bruising in apples[J]. Transactions of the American Society of Agricultural and Biological Engineers, 2018, 61(3): 809-819.

[76] Lu Y, Lu R. Siritool: A Matlab graphical user interface for image analysis in structured-illumination reflectance imaging for fruit defect detection[J]. Transactions of the American Society of Agricultural and Biological Engineers, 2020, 63(4): 1037-1047.

[77] Saager R B, Dang A N, Huang S S, et al. Portable (handheld) clinical device for quantitative spectroscopy of skin, utilizing spatial frequency domain reflectance techniques[J]. Review of Scientific Instruments, 2017, 88(9): 094302.

Application status and perspective of spatial-frequency domain imaging in quality evaluation of agricultural products

Wang Zhong1, Hu Dong1※, Sun Zhizhong2, Ying Yibin3,4

(1.,,&,311300,; 2.,,311300,; 3.,,310058,; 4.,310058,)

Light interaction with plant tissue varies significantly in different components with the structural, chemical, and optical characteristics in most agro products at the microscale. In light-tissue interaction, the tissues can generally be treated as being primarily composed of absorption and scattering particles, and thus the light propagation through tissues can be simplified as mainly involving the process of photon interactions with the absorption and scattering particles. When entering the tissue, the light can be absorbed and/or scattered, represented by the absorption coefficient (μ) and reduced scattering coefficient (′), respectively. Quantification of optical properties (i.e.,μand′) can greatly contribute to clarifying the measured data, optimizing optical devices, and finally improving the quality and safety assessment of agro-products. Alternatively, Spatial-Frequency Domain Imaging (SFDI) has widely been used to measure the optical properties, and then to evaluate the quality/safety of agro products last decades, showing the wide-field and noncontact imaging, depth- and resolution-varying, as well as signal enhancement. SFDI can also be used to reconstruct the three-dimensional distribution of optical features related to tissue physicochemical properties in the field of nondestructive detection. This study first overviewed the origins and development of SFDI in the field of agricultural engineering, and then introduced the main working principles of SFDI, including system components, light propagation model, data measurement and processing, and inverse algorithms for optical property estimation. Specifically, the SFDI was first applied to the nondestructive detection of bruising on Golden Delicious apples in 2007, indicating a better performance to distinguish the bruised apple from the sound one. The SFDI system is mainly composed of a light source, a digital projector, a CCD camera, a wavelength selective device, and a sample stage, the former three of which are the core components to directly determine the quality of structured illumination and collected images, as well as the testing efficiency. Calibration is also required for the SFDI system with the standard samples before evaluation. The specific procedure is followed. The images of target samples are first captured by the SFDI system. The light uniformity correction, image demodulation, system response calibration, and surface profile correction are then conducted to obtain the diffuse reflectance images for the quality and safety evaluation directly, or for the optical property estimation coupled with inverse algorithms. After that, the application status of SFDI was summarized in the field of agricultural engineering, including the measurement of optical property and quality/safety assessment of several thin-skinned fruits, such as apple, pear, kiwifruit, cucumber, and peach. The challenges and future perspectives of the SFDI technique were also presented eventually. Nevertheless, the current SFDI technique is derived mostly from the diffusion approximation, thereby hindering the application easy to introduce large measurement errors. There are great challenges when measuring the optical property of two- and multi-layered agro products. It is also lacking a standardized optical system for accurate estimation of the optical property. The SFDI presents better performance in the depth-varying detection, but the penetration depth is a bit shallow limited to the millimeter level. Moreover, the demand for portable handheld devices of the SFDI technique is ever increasing in recent years. This review can provide a critical overview of the development of the SFDI technique for better understanding in the field of agricultural engineering.

agricultural products; optical property; quality evaluation; spatial-frequency domain imaging; light transfer

王忠，胡棟，孫志忠，等. 空間頻域成像在農(nóng)產(chǎn)品品質檢測中的應用現(xiàn)狀與展望[J]. 農(nóng)業(yè)工程學報，2021，37(15)：275-288.doi：10.11975/j.issn.1002-6819.2021.15.033 http://www.tcsae.org

Wang Zhong, Hu Dong, Sun Zhizhong, et al. Application status and perspective of spatial-frequency domain imaging in quality evaluation of agricultural products[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(15): 275-288. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.15.033 http://www.tcsae.org

2021-04-13

2021-07-26

國家自然科學基金項目（32001414）

王忠，研究方向為農(nóng)業(yè)機器人。Email：wangz1010@qq.com

胡棟，講師，研究方向為農(nóng)業(yè)信息智能感知與農(nóng)產(chǎn)品品質無損檢測。Email：20180047@zafu.edu.cn

10.11975/j.issn.1002-6819.2021.15.033

S237

A

1002-6819(2021)-15-0275-14