基于深度學習的雙光譜目標自動識別方法

劉洵，梅宇航，王赫，王嘉城，薛彥涵

1.天津工業大學電子與信息工程學院，天津，300387；2.天津工業大學物理學院，天津，300387；3.天津工業大學軟件學院，天津，300387

0 引言

目前，各國科研學者對自動目標識別系統的算法研究越發深入，不僅會改善原本提出的應用算法，還會根據實踐累積經驗提出全新內容。特別是在引入相關領域的研究成果后，既加快了自動目標識別技術的發展速度，又在改進算法后提升了目標識別提取的精確度和實施性。但從整體發展的角度來看，自動目標識別技術的研究也存在一定的局限性，某類目標研究的識別效果雖然在實驗期間十分優異，但在實際應用中會受到不可預知的環境條件影響，增加圖像識別和提取的難度。其中，圖像分割作為圖像處理領域中的重難點，在分割之后要進行特征提取、目標識別等操作，因此圖像分割質量直接影響整體識別跟蹤效果。雖然從圖像分割技術發展至今，各國科研學者提出了多種方法，但并沒有哪一種可以適用于所有圖像。通常情況下，圖像分割方法都會根據圖像和目標進行調整，因此現階段各國學者更加注重尋找統一的方法分割所有圖像。本文主要探討以深度學習為核心的雙光譜目標自動識別方法，一方面著重介紹了深度學習和識別架構圖，另一方面從實踐應用角度分析了未來雙光譜目標自動識別方法的發展方向。

1 目前雙光譜成像探測技術的研究分析

1.1 國內外研究現狀

由于多光譜成像探測技術可以在掌握多個特征光譜波段后，對目標場景進行成像探測，不僅能完成以往不斷圖像探測無法處理的問題，還可以提升目標提取和識別的精確度[1]。雖然多光譜成像探測技術相比超光譜成像探測技術，有效控制了工作期間的波段數量，無法進行目標種類的精確識別，但可以在特定觀測場景中，對比分析強度差異過大的波段，也可以提升目標背景的性價比，優化實際探索的技術性能。在電子技術革新發展中，各國科研學者研制出了多種多光譜相機，比如說將高速電耦合器件看作是圖像傳感器，將大容量集成電路儲存芯片看作核心，亦或是利用面陣互補的金屬氧化物半導體等，都可以在實現信息數字化的基礎上，獲取更加精確的瞬時信息。我國在研發光譜相機時，主要運用了CCD感光器件，由于實際速度過低，無法同時滿足高端市場需求，因此整體水平有待提升。

1.2 雙光譜相機系統介紹

在構建雙光譜相機系統時，可以利用傳感器（CMOS）、數據處理（DSP）、數據儲存器（SDRAM）來構建整體系統，其中相機系統在獲取入射光信號之后，會將其轉變成后續電路所需的數字信號，而傳感器中集成了A/D功能，所以可以直接輸出數字信號，簡化外圍電路的設計結構。數據處理模塊會將DSP看作系統的核心內容，主要用來有效控制芯片，幫助相機系統和其他部件協調運行。同時，數據儲存器不僅會將相關信息直接上傳到計算機平臺，還會與圖像處理軟件共同處理有關圖像。

根據圖1所示的系統結構圖可知，其具備以下特征：一方面，在經過分割處理之后，會得到包括兩個蒲端的特點光譜圖像，不僅對比明顯，而且成像同步，能解決以往光譜成像儀無法真正成像的技術問題。同時，圖像畸變過小，可以便于后續光譜圖像的融合處理；另一方面，這一系統選用ARM作為自身的數據處理芯片，不僅能解決傳統功能消耗過多、整體體積過大等問題，還可以提升系統運行的效率[2]。同時，在設計期間優先選擇功能消耗過低的元器件，能有效控制系統電壓和工作頻率，在軟件設計期間，依據數據終端方式進行處理，系統在初始化之后會直接進入低功能消耗狀態，一直到外部信號中斷才會轉變成節電狀態，在任務結束之后會再次轉變成休眠狀態。

圖1 雙光譜相機系統的結構圖

1.3 設計實現

（1）優化機身。由于多光譜相機必須要具備較為寬闊的波譜范圍，所以要清除CCD之前的低通濾片和紅外截止濾鏡片，并利用口徑適宜的全透鏡替代，最終按照規范技術要求，科學調整相機的焦距。完成這一優化設計，雙光譜相機系統的波普范圍可以上升到350nm到1050nm之間，能滿足近紅外波段成像、可見光全波段等方面的技術需求。

（2）雙通道鏡頭。本文研究利用雙高斯鏡頭的結構形式來構建單一的通道鏡頭，其中初期結構參數要依據國內外技術研究成果進行設計，并充分研究高級相差求解初始結構參數方法。通常來講，雙高斯鏡頭作為一種具有對稱性的結構器件，在設計應用時要重點思考位置色差、球差、像散等參數。

（3）系統電路。本文研究系統中的圖像傳感器需要提供充足電源驅動才能正常工作，其中外部包含了數據處理模塊、數據儲存和傳輸模塊、位置傳感器模塊等，請每個模塊都具備單一的供電電源[3]。由于沒有全面連接所有模塊的供電線路，所以在設計時要充分考慮圖像傳感器的供電要求，比如說，為外部相機提供12V電源，而GPS系統要從主板中提供5V電源。

2 深度學習算法分析

這系統利用機器學習技術優化多光譜光場成像系統，并依據液晶復合微透鏡陣列的電控變焦特征，來獲取這一場景下的清晰光場圖像，最終依據相機光譜靈敏度的相關知識，以深度神經網絡為核心對光譜圖像實現雙光譜重新建構，這樣不僅能提升光譜的分辨率集體精確度，還可以獲取多維度信息，這對現代生物醫學、遙感成像等領域發展具有積極影響。因此，在實現雙光譜目標自動識別時，要重點研究深度學習算法。

2.1 卷積神經網絡

簡單來講，深度學習是以深度神經網絡為核心的應用算法，其中包含多個隱含層，既可以逼近復雜函數，又可以計算復雜特征。卷積神經網絡作為這一算法的核心內容，主要分為以下內容。

（1）卷基層。卷積作為數學分析的重要工具，其本質是運用卷積核的參數提取輸入數據，并學習魯棒性更高的特征，最終依據矩陣點乘運算和求和運算獲取結果。具體運算公式如下所示：

（2）激活函數。如果神經網絡只是利用線性卷積運算進行堆疊，那么很難構成復雜的表達空間，也無法獲取高語義信息。因此，要在其中添加非線性映射，也就是激活函數。這一內容不僅影響著神經網絡中神經元的信號計算和梯度參數，還可以畢竟多樣化的非線性函數，穩步提升神經網絡的表達能力。

（3）池化層。在卷積網絡中，一般會在卷積層之間增加磁化層，主要用來控制特征圖的參數數量，提升時間計算速度。根據如圖2所示的池化方式分析顯示，最常見的方法分為兩種，一種是指最大池化，需要計算池化窗口類內的最大數值；另一種是指平均池化，需要計算池化窗口內元素的平均數值。兩種方法的最大特征在于保障深度大小維持不變，在正確處理多通道輸入數據時，池化層要對所有通道進行分別池化，以此確保池化層的輸入和輸出通道具有一致性。

圖2 池化方式

（4）批量歸一化層。在深度網絡逐步加深時，淺層參數的微弱變化會經過多層線性變化和激活函數的影響變大，這樣在不斷調整深層網絡時很難收斂模型。而批量歸一化處理是依據小批量均值和方差來改變數據分布，以此在保障中間輸出穩定的基礎上，避免參數陷入飽和區域。

2.2 SSD目標檢測識別模型

SSD算法模型包含兩大特征，一方面體提取了不同尺度的特征圖進行檢測，大尺寸特征圖可以完成小目標檢測，而小尺度特征圖能用于大目標檢測；另一方面為SSD提供了不一樣尺寸和長寬比的先驗框進行檢驗。這類算法運用VGG16作為基礎網絡，在有效改善中將預處理后的大小固定在300×300的三通道數據中，并經過VGG16網通道前13個卷積，將末端的兩處全連接層改變成常規的卷積層，由此提取2個特征圖，之后進一步延伸了4個卷積模塊提取4個特征[4]。這樣經過處理之后，可以構成6個不同尺度不同通道數量的特征圖，最深處可以構成大小是1×1的特征圖，且具有不同的尺度和感受，能用于檢測不同尺度的物體。

結合圖2分析發現，VGG16作為基礎網絡，和圖像特征提取有緊密聯系。利用VGG Net對傳統意義上的卷積網絡進行改善，可以基于更小的卷積核和多層網絡結構強化網絡非線性表達水平，有助于控制網絡參數。而在VGG網絡后增添額外的卷基層，可以在逐步減少特征圖的同時，提升算法的應用效率。

2.3 目標識別評價體系

在目標檢測期間對整個模型進行評估，需要利用多種類型的平均精度進行分析。在檢測工作中，依據統計模型對各類識別情況進行分析，因為圖像中包含背景和目標物體，所以預測框架會出現正確或錯誤結果，相應的評測結果也會出現四種樣本：①正確檢測框T P，②指錯誤檢測框F P，③漏檢框F N，④正確背景T N。對預測框而言，會正確計算其和原始圖像中的所有真實標簽框進行判斷。其中召回率（Recall）的計算公式如下所示，其是指目前檢測出正樣本的數量占所有真實正樣本的比例：

而準確率（Precision）是指模型中所有預測正樣本為真實樣本的概率，具體公式如下所示：

3 基于深度學習的雙光譜光場成像系統分析

本文研究在整合相機光譜靈敏度相關知識的基礎上，利用深度神經網絡對光場圖像進行雙光譜重建，這樣不僅能提升技術精度，還可以準確獲取這一場景下的相關信息。根據圖3所示的系統框架圖分析可知，整體系統的操作步驟分為以下幾點。

圖3 系統框架圖

（1）利用聚合物穩定液晶、主透鏡、CCD相機耦合構建光場相機，并利用這一內容對等待檢測物體進行成像，就可以獲取光場圖像。在實踐操作中，要將等待檢測物體、主透鏡、CCD相機等放在同一光軸上；在給液晶器件加載電壓之后，通過科學調整電壓就能在CCD相機處獲取清晰的圖像；聚合物分散液晶薄膜的初始驅動電壓是12Vrms，外加電壓的改變范圍要控制在10Vrms到14Vrms之間，經過多次調整外加壓力，選擇更為清晰的光場圖像。

（2）利用非周期性算法獲取采集到的光場圖像的子視角圖，將這一圖像利用像素拼接算法合并成一張二維mv格式的光場圖像。

（3）掌握多光譜數據集合。在下載公開數據庫獲取相關數據集合后，其中不僅包含數據圖像，還有對應的二維圖像。在這一數據庫中，其提供的文件數據都是按照10nm為增量，在400nm到700nm之間，縮減采樣到31個光譜通道。所對應的二維圖像會依據通用濾波器響應函數，將雙光譜數據映射成二維圖像[5]。

（4）構建雙光譜重建網絡。這一建構要以卷積神經網絡為核心，設計一個將相機光譜靈敏度函數集中到重建的全過程中，這樣不僅能更好完成建設，還可以精細約束二維圖像和光譜圖像，提升整體操作的精確度。

（5）運用多光譜圖像數據集合訓練重新構建的網絡，就可以得到相應的訓練模型。將實踐操作獲取的數據集合中的光譜圖像文件和對應的二維圖像，輸入的構建的神經網絡模型中，訓練300個周期，就可以獲取訓練之后的重建模型[6]。

（6）運用多光譜重建網絡獲取的訓練模型，對光譜圖像進行重新建構，可以將一張二維格式的光場圖像輸入的已經訓練好的模型中，最終可以得到400nm到700nm，步長時10nm的.mat文件數據，其中包含31個段波的圖像，且每個段波圖像都具備光場和光譜信息[7]。

根據上文研究的成像系統，提出以深度學習為核心的多光譜光場成像方法，具體內容涉及以下幾點：①采集模塊，主要用來獲取清晰明確的光場圖像；②合成模塊，主要用來提取光場圖像的子視角圖，并依據像素拼接算法構成一張圖像；③數據集合模塊，主要用來獲取訓練集合，并明確二維光場圖像和對應的波段光譜圖像；④構建模塊，主要用來利用卷積神經網絡構建多光譜重建網絡，在明確光場圖像和光譜圖像差異的基礎上，將計算機光譜靈敏度函數都集中到損失計算中；⑤訓練模塊，主要在輸入光場圖像后，輸出所對應的光譜圖像，主要用來重構網絡；⑥重建模塊，會將光場圖像輸入到已經訓練好的模型當中，得到具備光場和光譜信息的波段光譜圖像。

4 結語

綜上所述，在現代科技技術革新發展中，各國科研學者在重視雙光譜目標自動識別技術研究工作的同時，開始基于深度學習算法進行實證研究，最終結果顯示其不僅能轉變傳統圖像探測和識別模式，還可以在實踐探究中發掘更多技術經驗。因此，在進入知識經濟時代后，既要加強專業技術人才的培養力度，積極學習借鑒國內外先進的研究成果，合理運用現代技術軟件進行實證分析，又要轉變傳統技術研究方向，系統整理現有技術研究成果，基于技術革新發展方向，提出更多有價值的研究課題。同時，還要結合各領域應用要求，分析現有雙光譜目標自動識別技術的功能和特征，不斷優化實踐系統運行面臨的問題，加強整體監測管理力度，這樣不僅能為技術研究提供有效依據，還可以進一步提升現代自動目標識別技術水平。