中圖分類號(hào):O436 文獻(xiàn)標(biāo)志碼:A 文章編號(hào): 1000-5013(2025)04-0442-06
Recognition of Simulated Aquatic Animal in Turbid Water Environments
WANG Xiaoyan 1,2 ,CHAI Yuman 1,2 ,PU Jixiong 1,2
(1.College of Information Science and Engineering,Huaqiao University,Xiamen 361o21,China; Fujian Key Laboratory of Light Propagation and Transformation,Huaqiao University,Xiamen 361o21,China)
Abstract:Using turbid water as a model,this study investigates object recognition in dynamic scatering environments.. Taking simulated aquatic animal as an example,a neural network is constructed and trained to identify the species and quantity of aquatic animals through deep learning techniques. When untrained speckle images are input into a trained neural network,it outputs the categories and number of aquatic animals. The experiment results demonstrate that deep learning techniques can successully identify both the categories and quantity of aquatic animals in turbid water. The accuracy of quantity recognition reaches 100% ,while the accuracy for species recognition exceeds 99% across all tested categories.
Keywords:aquatic animals;image recognition;dynamic scatering;turbid water;deep learning;neural network
在許多生活場(chǎng)景和科學(xué)研究中都存在光經(jīng)過散射介質(zhì)傳輸?shù)默F(xiàn)象,例如,霧霾環(huán)境的光學(xué)成像、煙霧場(chǎng)景的目標(biāo)探測(cè)、多模光纖的信息傳輸?shù)取S捎诠庠谏⑸浣橘|(zhì)的隨機(jī)散射效應(yīng)導(dǎo)致出射端的光場(chǎng)呈現(xiàn)散斑狀無序分布,這意味著原有光場(chǎng)信息的重新分布。從散斑場(chǎng)中恢復(fù)原始光場(chǎng)信息,對(duì)于生物組織成像、自動(dòng)駕駛、復(fù)雜環(huán)境目標(biāo)識(shí)別等領(lǐng)域具有重要的研究意義和應(yīng)用價(jià)值[-3]。研究人員提出了一系列方法,有效實(shí)現(xiàn)了透過散射介質(zhì)的成像[4-6」。根據(jù)光子在散射介質(zhì)中的傳輸特點(diǎn),可以將光子分為彈道光子、蛇形光子和散射光子,其中,彈道光子基本不與散射介質(zhì)發(fā)生相互作用,較好地保留了原有的光信息,因此,通過各種技術(shù)方法抑制散射光子,獲取彈道光子,可以有效改善散射介質(zhì)帶來的負(fù)面影響,實(shí)現(xiàn)較高質(zhì)量的成像結(jié)果[7-8]。隨著散射程度的增加,探測(cè)器采集到的彈道光子數(shù)急劇減少,因此,利用彈道光子直接成像的方法應(yīng)用于強(qiáng)散射場(chǎng)景具有較大的局限性。
近年來,研究人員提出了一些利用散射光子的新型散射成像技術(shù)。散斑相關(guān)是基于記憶效應(yīng)發(fā)展的一種散射成像技術(shù),光學(xué)的記憶效應(yīng)指當(dāng)入射光在一定角度范圍內(nèi)發(fā)生傾斜時(shí),被介質(zhì)散射而形成的散射場(chǎng)是一系列高度相關(guān)且具有位移不變性的散斑圖樣。在記憶效應(yīng)范圍內(nèi),Bertolotti等9通過計(jì)算散斑場(chǎng)的自相關(guān),獲得了熒光標(biāo)記物體的非侵人式成像。Katz 等[10]進(jìn)一步發(fā)展了該技術(shù),提出單幀散斑相關(guān)成像技術(shù),在單幀散斑場(chǎng)的基礎(chǔ)上,通過空間系綜平均實(shí)現(xiàn)統(tǒng)計(jì)計(jì)算,但該技術(shù)受限于記憶效應(yīng),成像視場(chǎng)較小。光通過散射介質(zhì)的傳輸過程可以利用傳輸矩陣進(jìn)行描述。通過測(cè)量散射介質(zhì)的傳輸矩陣,并進(jìn)行矩陣的反演,Popoff等[]實(shí)現(xiàn)了透過散射介質(zhì)的成像,但這種方法要求散射介質(zhì)穩(wěn)定,不適用于動(dòng)態(tài)散射介質(zhì)。基于波前技術(shù)也可以實(shí)現(xiàn)散射成像,但該技術(shù)方案需要優(yōu)化迭代匹配的相位分布,因而相對(duì)比較耗時(shí),同樣不適用于動(dòng)態(tài)散射場(chǎng)景[12-14]。
很多實(shí)際散射場(chǎng)景是動(dòng)態(tài)變化的,基于傳輸矩陣和波前整形的散射成像方法需要散斑場(chǎng)在數(shù)據(jù)采集過程中保持穩(wěn)定不變,顯然不適用于動(dòng)態(tài)散射介質(zhì)。光束在散射環(huán)境中傳輸,光場(chǎng)將呈現(xiàn)快速變化的特性。因此,要實(shí)現(xiàn)動(dòng)態(tài)散射環(huán)境中的成像,通常需要在單次采集散斑場(chǎng)的情況下,實(shí)現(xiàn)對(duì)被散射物體的還原,這對(duì)技術(shù)提出了更高的挑戰(zhàn)。深度學(xué)習(xí)技術(shù)通過搭建神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)并采集數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,利用訓(xùn)練好的網(wǎng)絡(luò),可以在輸人散斑場(chǎng)的基礎(chǔ)上,還原散射介質(zhì)前的物體信息[15]。研究人員提出卷積神經(jīng)網(wǎng)絡(luò)、生成對(duì)抗網(wǎng)絡(luò)等深度學(xué)習(xí)方法實(shí)現(xiàn)散射成像,但這些研究大多局限于靜態(tài)散射場(chǎng)景[16-18]。基于此,本文以渾濁水體為動(dòng)態(tài)散射場(chǎng)景,對(duì)動(dòng)態(tài)散射場(chǎng)景中的物體識(shí)別進(jìn)行研究。
1實(shí)驗(yàn)設(shè)計(jì)
實(shí)驗(yàn)裝置示意圖,如圖1所示。圖1中: L1~L3 為透鏡。實(shí)驗(yàn)以HNL21OLB型He-Ne激光器(美國(guó)Thorlabs公司)為光源,激光經(jīng)過擴(kuò)束后,人射到PlutoVIS-O06 型空間光調(diào)制器(德國(guó)Holoeye 公司)。在空間光調(diào)制器上,加載水生動(dòng)物信息,經(jīng)過空間光調(diào)制器反射后的光束將攜帶水生動(dòng)物的信息。反射光束經(jīng)過水缸傳輸后,由PikeF421B型工業(yè)相機(jī)(德國(guó)AVT公司)采集光強(qiáng)。
水缸尺寸(長(zhǎng) x 寬 x 高)為 24.0cm×15.5cm×15.0 cm。為了模擬渾濁水體,將腸內(nèi)營(yíng)養(yǎng)劑(TP-HE)溶解于水中。腸內(nèi)營(yíng)養(yǎng)劑成分包含礦物質(zhì)、蛋白質(zhì)、脂肪和微量元素等,存在形式較為多樣化,蛋白質(zhì)、脂肪分別以膠體和乳濁液形式存在,礦物質(zhì)和微量元素主要以溶液形式存在,因此,可較好地模擬渾濁水體這一較為復(fù)雜的動(dòng)態(tài)散射場(chǎng)景。
實(shí)驗(yàn)中,TP-HE 添加量 η(τV) 分別為 10,20,30mL ,水的體積為 3L 。隨著TP-HE體積濃度的增加,水體變得更加渾濁,散射程度也隨之增加。實(shí)驗(yàn)測(cè)量了光束經(jīng)過不同體積濃度的渾濁水體的光強(qiáng)衰減,并將其與描述散射程度的光學(xué)厚度相聯(lián)系。由實(shí)驗(yàn)數(shù)據(jù)測(cè)得:當(dāng)TP-HE添加量分別為 10,20,30mL 時(shí),對(duì)應(yīng)的光學(xué)厚度分別為7.14、9.03、9.83。
渾濁水體的原始圖像和采集圖像,如圖2所示。由圖2可知:當(dāng)TP-HE 添加量為 10mL 時(shí),隱約觀測(cè)到生物結(jié)構(gòu);當(dāng)TP-HE 添加量為 30mL 時(shí),水體呈現(xiàn)很強(qiáng)的散射效應(yīng),難以觀測(cè)到原始光場(chǎng)信息。
以水生動(dòng)物為例,對(duì)渾濁水體的目標(biāo)識(shí)別進(jìn)行研究。水生動(dòng)物包括魚類、貝殼類及軟體動(dòng)物等10種不同類型。將這些水生動(dòng)物圖像加載到空間光調(diào)制器上,當(dāng)光束入射到空間光調(diào)制器,反射光束就攜帶了水生動(dòng)物的信息,該光束最后穿過渾濁水體。利用這個(gè)設(shè)計(jì),模擬渾濁水體中的光學(xué)成像場(chǎng)景,由于渾濁水體的散射效應(yīng),攜帶生物信息的原始光場(chǎng)將被擾亂,探測(cè)器采集到的光強(qiáng)為隨機(jī)無序分布的散斑場(chǎng),無法直接獲取原始光場(chǎng)信息。
2 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
為了從失真的散斑圖像中識(shí)別原始目標(biāo)信息,設(shè)計(jì)一種輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)(圖3)。該網(wǎng)絡(luò)主要由卷積層、全局最大池化層和全連接層構(gòu)成,在保證識(shí)別精度的基礎(chǔ)上,兼顧計(jì)算效率與泛化能力。
為了將輸入圖像 (256px×256px) 轉(zhuǎn)化為高維特征向量,首先,構(gòu)建圖像降維與特征提取模塊。在初始階段,使用16個(gè)大小為 4×4 、步長(zhǎng)為1的卷積核對(duì)圖像進(jìn)行卷積操作,提取圖像中的邊緣、紋理等低層次局部特征。然后,網(wǎng)絡(luò)通過7次連續(xù)的卷積操作(每次卷積核大小為 4×4 ,步長(zhǎng)為2),在逐步壓縮特征圖空間尺寸的同時(shí),提取更高層次的語義特征,如圖像內(nèi)部形狀結(jié)構(gòu)和空間分布模式。該過程使特征表達(dá)更加緊湊,同時(shí)提升了計(jì)算效率。
為了增強(qiáng)模型的訓(xùn)練穩(wěn)定性與收斂速度,在每個(gè)卷積層后均引入批量歸一化層,動(dòng)量設(shè)置為0.95。同時(shí),在部分卷積層后引入Dropout 機(jī)制,防止過擬合,提升模型的穩(wěn)健性。激活函數(shù)采用Leaky-Re-LU,相較于傳統(tǒng)的ReLU函數(shù),其在負(fù)值區(qū)域保留微小梯度,有助于緩解神經(jīng)元死亡問題,提升模型的非線性建模能力。經(jīng)過上述卷積模塊處理后,網(wǎng)絡(luò)輸出一個(gè)維度為 2×2×128 的高維特征張量,表示從散斑圖像中提取出的深層抽象特征。神經(jīng)網(wǎng)絡(luò)通過淺層卷積提取低級(jí)圖像特征(如邊緣、紋理),中間層逐步捕捉圖像的局部結(jié)構(gòu)與空間關(guān)系,高層卷積核則能夠通過感受野的擴(kuò)大學(xué)習(xí)到全局語義信息,從而實(shí)現(xiàn)對(duì)水生動(dòng)物種類與數(shù)量的準(zhǔn)確判別。
在訓(xùn)練階段,圖像的類別信息首先通過獨(dú)熱編碼轉(zhuǎn)換為與類別數(shù)等長(zhǎng)的二進(jìn)制向量,作為監(jiān)督學(xué)習(xí)的目標(biāo)標(biāo)簽。通過尋找二進(jìn)制編碼中最大值所在位置,即可獲得其對(duì)應(yīng)類別。高維特征張量提取完成后,網(wǎng)絡(luò)將該張量輸入全局最大池化層,該操作在每一個(gè)通道內(nèi)選取最大的響應(yīng)值,從而在顯著壓縮空間維度的同時(shí),保留通道中最具代表性的特征信息。池化后的特征向量進(jìn)一步輸人至全連接層,并通過Softmax激活函數(shù)輸出一個(gè)長(zhǎng)度為類別數(shù)的概率向量。
Softmax函數(shù)將輸出映射為概率空間,其中,每個(gè)元素表示圖像屬于對(duì)應(yīng)類別的概率值,所有類別的概率總和為1。在推理階段,網(wǎng)絡(luò)將選取概率向量中最大元素對(duì)應(yīng)的索引位置轉(zhuǎn)換為實(shí)際類別,實(shí)現(xiàn)圖像識(shí)別任務(wù)的輸出。
訓(xùn)練的優(yōu)化器為Adam,初始學(xué)習(xí)率為 1×10-3 ,并根據(jù)訓(xùn)練過程中的驗(yàn)證集性能動(dòng)態(tài)調(diào)整學(xué)習(xí)率,降低損失,實(shí)現(xiàn)更高質(zhì)量的輸出。為了定量評(píng)價(jià)網(wǎng)絡(luò)從散斑中還原初始光場(chǎng)信息的能力,定義識(shí)別準(zhǔn)確率 (η) 為
式(1)中: Ntot 為預(yù)測(cè)的總數(shù)量; Ncor 為準(zhǔn)確預(yù)測(cè)的數(shù)量。
3 實(shí)驗(yàn)結(jié)果與討論
將不同添加量的TP-HE溶解于水中,模擬不同散射程度的渾濁水體。通過設(shè)計(jì)的實(shí)驗(yàn)裝置,利用相機(jī)采集模擬水生動(dòng)物經(jīng)過渾濁水體的散斑圖像。輸入采集的圖像,訓(xùn)練神經(jīng)網(wǎng)絡(luò)。將未訓(xùn)練過的散斑圖像輸入訓(xùn)練網(wǎng)絡(luò)中,利用網(wǎng)絡(luò)識(shí)別水生動(dòng)物的種類和數(shù)量。
首先,在空間光調(diào)制器上隨機(jī)加載10種不同類型的水生動(dòng)物,每次只加載1種水生動(dòng)物,這些水生動(dòng)物隨機(jī)出現(xiàn)在空間光調(diào)制器的任意位置,以此模擬渾濁水體中存在一種水生動(dòng)物的場(chǎng)景。每種水生動(dòng)物可以出現(xiàn)在400個(gè)不同位置,相機(jī)共采集了4000張散斑圖像,將3200張散斑圖像作為訓(xùn)練集,將400張散斑圖像作為測(cè)試集,將400張散斑圖像作為驗(yàn)證集。
水生動(dòng)物的種類識(shí)別結(jié)果,如圖4所示。圖4中: L 為損失。由圖4可知:訓(xùn)練集和驗(yàn)證集的準(zhǔn)確率不斷上升,大約經(jīng)過20代的訓(xùn)練后,網(wǎng)絡(luò)即可準(zhǔn)確識(shí)別出單個(gè)水生動(dòng)物的類型;當(dāng)TP-HE 添加量變大時(shí),水體的散射程度更高,這意味著原始光場(chǎng)信息被破壞得更嚴(yán)重,探測(cè)器采集的有效信息量更少,驗(yàn)證集的識(shí)別準(zhǔn)確率一開始出現(xiàn)一定的震蕩,最終的識(shí)別準(zhǔn)確率略微下降。
使用測(cè)試集的4OO 張圖像進(jìn)行測(cè)試,當(dāng)TP-HE 添加量分別為 10,20mL 時(shí),種類識(shí)別準(zhǔn)確率均為100% ;當(dāng)TP-HE 添加量為 30mL 時(shí),種類識(shí)別準(zhǔn)確率達(dá) 99.8% 。
為了測(cè)試網(wǎng)絡(luò)對(duì)更為復(fù)雜成像場(chǎng)景的識(shí)別能力,空間光調(diào)制器上加載了不同數(shù)量的水生動(dòng)物。光束經(jīng)過渾濁水體后,相機(jī)共采集8395張散斑圖像,將6761張散斑圖像作為訓(xùn)練集,將839張散斑圖像作為測(cè)試集,將840張散斑圖像作為驗(yàn)證集輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。其中,水生動(dòng)物的類型有10種,包含有2、3、4、5只水生動(dòng)物4種不同的情況。該實(shí)驗(yàn)中TP-HE添加量為 30mL ,更大的添加量帶來更強(qiáng)的散射效應(yīng),進(jìn)一步加大圖像識(shí)別的難度。
當(dāng)圖像中包含更多復(fù)雜信息時(shí),對(duì)神經(jīng)網(wǎng)絡(luò)的識(shí)別能力要求更高,為了使網(wǎng)絡(luò)能夠更有效地識(shí)別圖像信息,采用大小為 4×4 、步長(zhǎng)為2的卷積核代替最大池化層。同時(shí),在卷積層后添加了批量歸一化層用于解決過擬合,并采用Dropout機(jī)制優(yōu)化網(wǎng)絡(luò)的泛化能力。此外,采用多輸出方式,提升訓(xùn)練速度并減少網(wǎng)絡(luò)的參數(shù)。
多種水生動(dòng)物的識(shí)別結(jié)果,如圖5所示。由圖5可知:隨著訓(xùn)練次數(shù)的不斷增加,訓(xùn)練集和驗(yàn)證集的識(shí)別準(zhǔn)確率均不斷上升;大約經(jīng)過20代的訓(xùn)練后,網(wǎng)絡(luò)即可準(zhǔn)確識(shí)別出多種水生動(dòng)物的數(shù)量與種類。
使用測(cè)試集的839張圖像進(jìn)行測(cè)試,神經(jīng)網(wǎng)絡(luò)對(duì)水生動(dòng)物的數(shù)量識(shí)別準(zhǔn)確率為 100% ;當(dāng)散斑圖像中包含2只水生動(dòng)物時(shí),神經(jīng)網(wǎng)絡(luò)的種類識(shí)別準(zhǔn)確率為 99.6% ;當(dāng)散斑圖像中包含3只水生動(dòng)物時(shí),神經(jīng)網(wǎng)絡(luò)的種類識(shí)別準(zhǔn)確率為 99.8% ;當(dāng)散斑圖像中包含4只水生動(dòng)物時(shí),神經(jīng)網(wǎng)絡(luò)的種類識(shí)別準(zhǔn)確率為 99.8% ;當(dāng)散斑圖像中包含5只水生動(dòng)物時(shí),神經(jīng)網(wǎng)絡(luò)的種類識(shí)別準(zhǔn)確率為 99.7% 。
4結(jié)束語
以渾濁水體為例,對(duì)動(dòng)態(tài)散射場(chǎng)景中的目標(biāo)識(shí)別進(jìn)行研究。將TP-HE溶解于水中,形成渾濁水體,并通過控制TP-HE添加量,改變水體的渾濁程度。將1O種不同類型的水生動(dòng)物加載在空間光調(diào)制器上,光束經(jīng)空間光調(diào)制器反射后人射到渾濁水體中,由于渾濁水體的散射,導(dǎo)致出射光場(chǎng)變?yōu)楣鈴?qiáng)無序的散斑狀分布,利用相機(jī)采集對(duì)應(yīng)的光強(qiáng)分布。為了從散斑場(chǎng)中恢復(fù)出原始入射光場(chǎng)信息,設(shè)計(jì)了一個(gè)輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò),利用采集的部分?jǐn)?shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。將未經(jīng)訓(xùn)練的散斑場(chǎng)輸入訓(xùn)練好的網(wǎng)絡(luò),可以輸出水生動(dòng)物的種類和數(shù)目。
參考文獻(xiàn):
[1]左超,陳錢.計(jì)算光學(xué)成像:何來,何處,何去,何從?[J].紅外與激光工程,2022,51(2):158-341.DOI:10.3788/IRLA20220110.
[2]卞耀明,司徒國(guó)海.透過散射介質(zhì)光學(xué)成像技術(shù)的研究進(jìn)展[J].中國(guó)激光,2024,51(11):256-283.DOI:10.3788/ CJL240678.
[3]劉飛,吳曉琴,段景博,等.淺談?dòng)?jì)算成像在光電探測(cè)中的應(yīng)用(特邀)[J].光子學(xué)報(bào),2021,50(10):1011001.DOI: 10.3788/gzxb20215010.1011001. https : // hdxb. hqu. edu. cn/
[4]陳子陽,陳麗,范偉如,等.基于相關(guān)全息原理的散射成像技術(shù)及其進(jìn)展[J].激光與光電子學(xué)進(jìn)展,2021,58(2):9- 22.DO1:10. 3788/LOP202158.0200001.
[5]程雪岷,羅烈玉,張澤森,等.計(jì)算光學(xué)框架下的抗散射成像技術(shù)研究(特邀)[J].紅外與激光工程,2025,54(1):36- 45.DOI:10. 3788/IRLA20240298.
[6]KANG S,KWON Y,LEE H,et al.Tracing multiple scattering trajectories for dep optical imaging in scatering media[J]. Nature Communication,2023,14(1) :6871.DOI:10.1038/s41467-023-42525-7.
[7]BAEK W J,PARK J,CIAO L.Depth-resolved imaging through scattering media using time-gated light field tomography[J].Optics Letters,2024,49(22) :6581-6584.DOI:10.1364/OL.541549.
[8]WANG Q Z,LIANG X,WANG L,et al.Fourier spatial filter acts as a temporal gate for light propagating through a turbid medium[J]. Optics Letters,1995,20(13):1498-1500. DOI:10.1364/OL.20.001498.
[9]BERTOLOTTI J,VAN PUTTEN E G,BLUM C,et al. Non-invasive imaging through opaque scatering layers[J]. Nature,2012,491(4721) :232-234.DOI:10.1038/nature11578.
[10] KATZ O,HEIDMANN P,F(xiàn)INK M,et al. Non-invasive single-shot imaging through scattering layers and around corners via speckle correlations[J].Nature Photonics,2014,8:784-790.DOI:10.1038/nphoton.2014.189.
[11]POPOFF S M,LEROSEY G,CARMINATIR,et al.Measuring the transmision matrix in optics: An approach to the study and control of light propagation in disordered media[J].Physics Review Letters,20lo,104:100601.DO1: 10.1103/PhysRevLett.104.100601.
[12] VELLEKOOP I M,MOSK A P.Focusing coherent light through opaque strongly scatering media[J].Optics Letters,2007,32(16):2309-2311.DO1:10.1364/OL.32.002309.
[13] WOO C M,ZHAO Qi,ZHONG Tianting,et al.Optimal effciency of focusing diffused light through scattering media with iterative wavefront shaping[J].APL Photonics,2022,7:046109.DOI:10.1063/5.0085943.
[14] ZHAO Wenjing,DU Ziheng,ZHAI Aiping,et al.Wavefront imaging of a biological sample using DMD-based single-pixel phase-shifting interferometric techniques:An experimental comparison[J].Optics amp; Laser Technology, 2024,172:110483.D01:10.1016/j.optlastec.2023.110483.
[15]TANG Pusong,ZHENG Kanpei,YUAN Weiming,et al.Learning to transmit images through optical speckle of a multimode fiber with high fidelity[J].Applied Physics Leters,2022,121(8):081107.DOI:10.1063/5.0099159.
[16]LI S,DENG M,LEE J,et al. Imaging through glassdifusers using densely connected convolutional networks[J]. Optica,2018,5:803-813.DOI:10.1364/OPTICA.5.000803.
[17]YANG Kui,HAN Pingli,GONG Rui,et al. High-quality 3D shape recovery from scattering scenario via dep polarization neural networks[J].Optics and Laser in Engineering,2023,173:107934. DO1:10.1016/j.optlaseng. 2023.107934.
[18]CHEN Musheng,JI Xin,LIN Shunda,etal.Image reconstruction of scatered vortex light field based on dep learning[J].Optics and Laser Technology,2023,163:109347.DOI:10.1016/j. optlastec. 2023.109347.
(責(zé)任編輯:錢筠 英文審校:陳婧)