基于機器學習的MRTD客觀測試方法研究

摘 要：紅外成像技術的加速發展對紅外成像系統測試和評估的客觀性和準確性提出了更加嚴格的要求。針對當前紅外成像系統最小可辨溫差（minimum resolvable temperature difference， MRTD）存在的測試主觀性、操作復雜性等問題，提出基于支持向量機（support vector machine， SVM）和卷積神經網絡（convolutional neural network， CNN）的兩種MRTD客觀測試方法。通過引入數據增強技術，避免由訓練樣本少及網絡層次復雜導致的過擬合。實驗結果表明，與實際人員對數據的判斷相比較，MRTD測試使用SVM方法的識別準確率為94.50%，訓練時間為8.22 s;CNN方法3次訓練平均準確率為99.07%，迭代100次訓練時間為487.48 s。SVM方法的實時性更好，CNN方法具有準確率高的特點，實驗結果驗證了這兩種MRTD的客觀測試方法為紅外熱成像系統性能指標研究提供了一種可靠的量化和評估工具。

關鍵詞： 最小可辨溫差; 機器學習; 深度學習; 支持向量機; 卷積神經網絡

中圖分類號： TP 391.4 文獻標志碼： A""" DOI：10.12305/j.issn.1001-506X.2024.10.03

Research on MRTD objective testing method based on machine learning

JI Ran^1， XIAO Maosen LI Shuo^1， LIU Yu^1，3， LUO Zhanyi^1，3， CHENG Jiawei^1，3

（1. Xi’an Institute of Optics and Precision Mechanics， Chinese Academy of Sciences， Xi’an 710119， China;

2. School of Optoelectronics， University of Chinese Academy of Sciences， Beijing 100049， China;

3. School of Physics and Information Technology， Shaanxi Normal University， Xi’an 710119， China）

Abstract： The accelerated development of infrared imaging technology has put forward more stringent requirements for the objectivity and accuracy of the testing and evaluation of infrared imaging systems. Aiming at the current problems of test subjectivity and operational complexity of the minimum resolvable temperature difference （MRTD） of infrared imaging systems， two MRTD objective test methods based on support vector machine （SVM） and convolutional neural network （CNN） are proposed. By introducing the data enhancement technique， the overfitting caused by the small training samples and the complex network hierarchy is avoided. The experimental results show that compared with the actual personnel’s judgment of the data， the MRTD test using the SVM method has a recognition accuracy of 94.50% and a training time of 8.22 s， while the CNN method has an average accuracy of 99.07% in three training sessions， and a training time of 487.48 s for 100 iterations. The SVM method has better real-time performance and the CNN method is characterized by high accuracy. The experimental result verifies that these two objective test methods of MRTD provide a tool for quantification and evaluation of infrared thermal imaging system performance indicators research.

Keywords： minimum resolvable temperature difference （MRTD）; machine learning; deep learning; support vector machine （SVM）; convolutional neural network （CNN）

0 引 言

紅外成像技術在眾多領域中得到了廣泛應用，其迅速發展為紅外成像系統的測試方法和評估技巧提出了更加嚴格的要求。紅外最小可辨溫差（minimum resolvable temperature difference， MRTD）是衡量紅外成像系統性能的重要指標之一，其描述了在一定空間頻率下，紅外成像系統所能分辨出的最小溫差。近年來，對MRTD的研究日漸受到學者們的重視，其準確的測量對于紅外成像系統性能評價具有廣泛的應用價值，可應用于醫療、公共安全等領域。

在傳統的MRTD測試中，通常會有多名觀察員進行獨立的測量。由不同的人觀察多個紅外靶標，調整黑體溫度到觀察人員能夠分辨出四桿靶的圖案，記錄溫度值。通過使用不同空間頻率的目標靶，可以得到MRTD在不同空間頻率下的曲線^［1］。

傳統的MRTD測量技術具有局限性和缺陷，例如具有測試主觀性、操作復雜性、易受環境影響等^［2］。為了解決這些問題，國內外學者進行了大量研究，旨在提出有效的自動化測量方法。

Burroughs等^［3］通過設計人類視覺系統的邊界輪廓系統模型與自定義特征提取器，訓練模糊自適應共振理論決策算法，以模擬人的觀察行為，從而實現MRTD測試的自動化。

孫軍月^［4］在2006年通過建立合適的數據訓練集，使用反向傳播（back propagation， BP）神經網絡的自學習和模式識別能力實現MRTD的自動測量，為研究更高效、準確的 MRTD 測試技術提供思路，并且提出使用人工神經網絡實現MRTD測試^［5］。王連振等^［6］調整三角形目標的尺寸和對比度，觀察者通過四選一的測量方法識別目標的方向，從而產生一個與MRTD相似的二維曲線，顯示三角形尺寸與閾值對比度的關系，進而預測目標在實際環境中的獲取能力。

當下研究的主要問題包括以下3個方面：① 如何利用更好的特征提取方法解決MRTD測試中存在的主觀性問題;② 如何改進現有的學習模型，使其更加適應MRTD測試的任務;③ 如何將機器學習方法與其他特征提取技術相結合，以提高MRTD測試的準確度和魯棒性。

本文采用四桿靶作為目標，使用制冷型中波紅外成像設備進行圖像采集。將MRTD測試轉化為圖像分類問題。近年來，圖像分類的主要方法由傳統機器學習向深度學習發展，國內外已有諸多方法提出^［711］。本文使用支持向量機（support vector machine， SVM）^［1215］和卷積神經網絡（convolutional neural network， CNN）^［1617］實現MRTD測試。采用數據增強技術^［1819］，規避由訓練樣本少且網絡復雜度高所造成的過擬合問題，并且致力于提高模型的泛化能力。

1 實驗數據采集與處理

1.1 圖像采集

本文圖像采集所使用的實驗設備各項參數如表1所示。

通過該制冷型紅外成像系統對四桿靶圖樣進行采集，四桿靶圖樣如圖1所示。

MRTD的空間頻率，應能反映熱像儀的目標識別距離。除另有規定外，按以下方法選擇MRTD的空間頻率，文中用f對MRTD的空間頻率進行表示。在己知熱像儀采用的探測器光敏元尺寸和光學等效焦距時，f應選擇0.2f₀、0.5f₀、1.0f₀和1.2f₀或以上，其中f₀為特征頻率1/（2DAS），DAS為探測器張角。成像系統的場角和焦距也是影響MRTD的因素。不同的場角和焦距可能導致對于大小不同的目標的分辨能力不同。場角與探測器張角以及焦距的直接關系如下所示：

FOV=2arctand2F（1）

FOV=N·DAS（2）

式中：FOV是場角;N為成像系統中水平或垂直方向上的像素數量;d為像元尺寸，F為焦距。本文中選取f=1.0f₀=46 cyc/rad。

在傳統MRTD測試實驗中，由黑體產生熱輻射，導致條帶與“空隙”間產生溫度差。從零開始調整溫差，觀察者通過光學系統進行觀察。當不少于3位觀察者能夠正好看到每根桿的75%面積，以及相鄰兩根桿之間的75%面積時，停止調整^［20］。此時的目標背景溫差便是該空間頻率下的MRTD。為減小誤差，通常采用正負溫差取平均的方法，MRTD計算表達式如下所示：

MRTD=φ·|ΔT₂－ΔT₁|2（3）

式中：φ為儀器常數;ΔT₁為正溫差時的MRTD;ΔT₂為負溫差時的MRTD。

本次實驗采集溫度為±0.25 K、±0.3 K、±0.5 K、±1 K、±3 K的圖像數據作為SVM與CNN的訓練數據集，采集+0.2 K、+5 K、-0.28 K、-2 K的圖像數據作為測試數據集。

1.2 數據預處理

由于拍攝視場較大，需要對目標區域進行裁剪和處理。將1 280×1 024的14位原始RAW格式圖像轉化為300×300的8位無損數據壓縮的可移植網絡格式圖像。原始圖像及預處理后的圖像如圖2所示。

1.3 數據增強處理

為充分利用有限的訓練樣本，需要采用數據增強方法對訓練集進行擴充處理，從而提升模型的泛化能力。本文使用Keras自帶的圖像生成函數ImageDataGenerator（）對已有圖像進行處理。

本文中數據增強操作參數如表2所示。

2 圖像分類模型搭建

2.1 總體方案設計

通過4名觀察員的判斷將訓練集和測試集數據劃分為0+、0-、1+、1-共4類，分別代表不可分辨正負溫差和可分辨正負溫差。根據實時性和準確率的不同需求，可分別選擇采用SVM方法或CNN方法進行圖像分類。SVM模型由于結構簡單且計算量較小，從訓練到測試總用時可限制在10 s以內。而CNN模型所需訓練時間較長，通常需要使用并行計算進行加速，所以對系統復雜度和實時性會造成一定影響，但準確率有較大提升。在實際使用環境中，需根據實時性和準確率對SVM方案和CNN方案進行取舍。總體方案流程圖如圖3所示。

2.2 SVM分類模型搭建

在使用SVM進行圖像分類前需要提取圖像特征，本文選擇方向梯度直方圖（histogram of oriented gradients， HOG）特征^［21］作為SVM分類器的訓練輸入。預處理后的圖像三維分布圖如圖4所示。

由圖4可知，四桿靶圖像的特征較為簡單，其梯度特征容易提取，故將HOG特征作用于SVM模型可有效提高分類準確率。

對于每個圖像，使用HOG算法對其進行特征提取。HOG算法通過計算圖像中每個小塊的梯度方向來捕捉圖像的紋理和結構信息。這些梯度方向被轉換為直方圖，形成了每個圖像的特征向量。在提取特征時對圖像進行平方根變換，該變換可以改善圖像的對比度和亮度變化的魯棒性。

使用開源數據庫的Sklearn庫進行SVM分類模型搭建，使用線性核函數，正則化參數為1，使用“一對一”策略^［22］，將多分類問題轉化為二分類問題。通過對每對類別訓練一個二分類器，最后通過投票或加權投票來進行多類別分類。

使用該策略時，每個二類分類器只需處理兩個類別的樣本，對于每個分類器的訓練和預測速度較快，并且具有高度可擴展性和解耦性。

SVM分類器的訓練過程是通過最大化間隔來確定決策邊界，并找到最佳的支持向量。此優化問題屬于凸優化問題，有唯一解。根據凸優化的特性，可保證每次運行時找到的最佳解相同。

2.3 CNN模型搭建

與SVM不同，CNN中的參數在訓練過程中是通過隨機優化算法進行迭代優化的。因此，在每次運行訓練時，初始參數設置和網絡的隨機初始化可能會導致訓練結果產生差異。為保證實驗的可靠性和可信度，提高結果的可重復性，本次實驗通過設置隨機種子為48降低算法的隨機性，使算法在不同情況下可復現。

使用適應性矩估計（adaptive moment estimation， Adam）算法^［23］進行模型訓練，該算法可實現自適應的學習率調整，相比于傳統的梯度下降算法，可以為每個參數計算每次迭代或每個小批量的學習率，提供較好的收斂性。但對于小批量樣本和噪聲較大的情況，Adam算法可能會受到一階矩和二階矩的偏差影響，從而導致收斂結果不穩定。

本實驗通過開源數據庫中的Keras庫進行CNN分類模型搭建。模型包括3個卷積層、3個池化層和2個全連接層。在全連接層之間加入隨機失活^［2425］層，以防止過擬合。

本文的CNN模型加入了注意力機制模塊，采用壓縮和激勵網絡（squeeze-and-excitation network， SENet）^［2627］，通過調整通道權重以增強模型表達能力。注意力機制模塊主要由以下操作實現。

Squeeze操作：通過全局平均池化（global average pooling， GAP）^［28］，注意力機制模塊將輸入的特征圖在空間維度上進行壓縮，得到一個全局描述，這一步的目的是將每個通道的空間信息壓縮成一個標量。

Excitation操作：在Squeeze后，通過兩個全連接層，即一個線性整流激活（rectified linear unit， ReLU）函數和一個Sigmoid型激活函數，注意力機制模塊學習每個通道的權重。第一個全連接層引入非線性，第二個全連接層產生通道注意力的權重。通過這種方式，Excitation操作在全局范圍內調整通道的重要性，使網絡更關注重要的特征^［29］。

Scale操作：將通過Excitation得到的通道注意力權重和原始輸入特征圖，通過對每個通道的重要性進行縮放，強調對當前任務有幫助的通道。

Shift操作：將得到的注意力加到原始輸入特征圖上，實現對特征圖的動態調整，從而更好地適應不同的任務和輸入。

實驗結果表明，注意力機制模塊有助于模型更精準地關注對任務有重要性的特征，提高模型的泛化能力。

使用Keras庫中的flow_from_directory（）函數可通過讀取指定目錄中的圖像數據，并結合數據增強和預處理操作，生成用于模型訓練的批量圖像數據和對應的標簽，標簽的編碼方式依賴于目錄中子文件夾的名稱和順序。

3 實驗結果分析

3.1 模型訓練分析

在使用SVM模型進行訓練時，需先進行HOG特征提取，而使用CNN模型時需要進行數據增強操作，為避免此類操作影響程序運行時間的分析，僅計算訓練代碼塊的運行時間。統計結果如表3所示，其中CNN模型的訓練時間為3次實驗的平均值。

由表3可知，CNN模型的訓練時間明顯高于SVM模型，在實際應用中SVM模型更具時效性。CNN的損失函數與準確率迭代過程如圖5所示。

3.2 模型測試結果分析

模型訓練完成后使用測試集進行驗證，測試集準確率為94.50%，可以滿足目標分類的需求，測試集中4類實驗結果對比如圖6所示。

由分類結果可知，當輸入數據為不可分辨溫差時，由于圖像特征不明顯，分類準確的概率只能達到80%～90%，而輸入數據為可分辨溫差時，較易提取特征，故分類準確的概率接近100%。

將數據增強處理后的訓練數據集輸入到設計好的深度學習模型中進行迭代，單次訓練所選取的樣本數為32，迭代100次后使用測試集進行驗證。由于訓練過程中存在隨機性，故在相同條件下進行3次訓練實驗，對測試集準確率取平均值。與實際人員對數據判讀的結果相比較，數據增強處理后訓練的CNN模型的平均測試集準確度為99.07%，且準確率和損失值皆保持穩定，同樣可以滿足目標分類的需求。4類實驗結果的對比如圖7所示。

由分類結果和實際人員對數據的判讀結果相比較可知，對于不可分辨溫差，分類準確的概率也可提升至99%以上，而輸入數據為可分辨溫差時，分類準確的概率接近100%。

兩種模型測試結果如表4所示。

3.3 CNN模型消融實驗

為了更好地評估模型各組件對模型性能的影響，通過逐步修改或去除模型的組件進行消融實驗^［30］。該實驗主要評估了注意力機制、數據增強和隨機失活對模型準確率和收斂速度的作用，實驗結果如表5所示。

由消融實驗結果可知，數據增強與注意力機制模塊對收斂速度的影響較為關鍵，而Dropout機制是為了防止由數據量較少而導致的過擬合，有效提升了本模型的準確率。

4 結 論

為了解決傳統MRTD測試中存在的主觀性問題，本文首次將SVM和CNN模型用于MRTD的客觀測試，實現了MRTD對紅外成像系統的自動化測量，同時對兩種模型進行了比較和詳細闡述，在應用中需根據具體的測試任務需求和數據特點進行權衡和選擇。最后，通過訓練時間、準確率和消融實驗分析得知CNN模型的準確率更高，SVM模型的實時性更好，并且解決了傳統MRTD存在的主觀性問題。實驗結果驗證了這兩種MRTD的客觀測試方法可以為紅外熱成像系統性能指標研究提供一種量化和評估工具，使研究人員能夠更準確地評價紅外熱成像系統在各種工作環境條件下的表現。

參考文獻

［1］" 呂昕夢， 周俊. 紅外成像系統MRTD測試方法研究［J］. 光電技術應用， 202 36（6）： 7780.

LYU X M， ZHOU J. Research on MRTD testing method of infrared imaging system［J］. Electro-Optic Technology， 202 36（6）： 7780.

［2］ 范心田， 盧振武， 孫強. 紅外成像系統中MRTD測試方法的研究［J］. 紅外與激光工程， 2004， 33（5）： 445448.

FAN X T， LU Z W， SUN Q. Measurement method for MRTD of infrared imaging system［J］. Infrared and Laser Engineering， 2004， 33（5）： 445448.

［3］ BURROUGHS E， MOE G O， LESHER G W， et al. Automated MRTD using boundary contour system， custom feature extractors and fuzzy ARTMAP［C］∥Proc.of the Infrared Imaging Systems： Design， Analysis， Modeling， and Testing， 1995， 2470： 274287.

［4］ 孫軍月. 應用神經網絡智能測量熱成像系統MRTD［D］. 長春： 中國科學院長春光學精密機械與物理研究所， 2006.

SUN J Y. Intelligent MRTD testing for thermallmaging system using ANN［D］. Changchun： Changchun Institute of Optics， Fine Mechanics and Physics， Chinese Academy of Sciences， 2006.

［5］ SUN J Y， MA D. Intelligent MRTD testing for thermal imaging system using ANN［C］∥Proc.of the ICO20： Remote Sensing and Infrared Devices and Systems， 2006， 6031： 260266.

［6］ 王連振， 吳晗平， 李旭輝， 等. 紅外成像系統綜合性能評價方法研究［J］. 紅外技術， 2015， 37（1）： 5762.

WANG L Z， WU H P， LI X H， et al. Research on the methods of IR imaging system comprehensive performance evaluation［J］. Infrared Technology， 2015， 37（1）： 5762.

［7］ LIU F Y， LIU J， WANG L B. Deep learning and infrared thermography for asphalt pavement crack severity classification［J］. Automation in Construction， 202 140： 104383.

［8］ HANG R L， LI Z， LIU Q S， et al. Hyperspectral image classification with attention-aided CNNs［J］. IEEE Trans.on Geoscience and Remote Sensing， 202 59（3）： 22812293.

［9］ AHMAD M， SHABBIR S， RAZA R A， et al. Artifacts of different dimension reduction methods on hybrid CNN feature hierarchy for hyperspectral image classification［J］. Optik-International Journal for Light and Electron Optics， 202 246（1）： 167757.

［10］ ARNOUS F I， NARAYANAN R M， LI B C. Application of multidomain sensor image fusion and training data augmentation for enhanced CNN image classification［J］. Journal of Electronic Imaging， 202 31（1）： 013014.

［11］ LIU F C， XU H， QI M， et al. Depth-wise separable convolution attention module for garbage image classification［J］. Sustainability， 202 14（5）： 3099.

［12］ MELGANI F， BRUZZONE L. Classification of hyperspectral remote sensing images with support vector machines［J］. IEEE Trans.on Geoscience and Remote Sensing， 2004， 42（8）： 17781790.

［13］ KHAIRANDISH M O， SHARMA M， JAIN V， et al. A hybrid CNN-SVM threshold segmentation approach for tumor detection and classification of MRI brain images［J］. Innovation and Research in Biomedical Engineering， 202 43（4）： 290299.

［14］ REDDY A S. Extensive content feature based image classification and retrieval using SVM［J］. CVR Journal of Science and Technology， 2023， 24（1）： 5358.

［15］ KEERTHANA D， VENUGOPAL V， NATH M K， et al. Hybrid convolutional neural networks with SVM classifier for classification of skin cancer［J］. Biomedical Engineering Advances， 2023， 5： 100069.

［16］ ARI A. Multipath feature fusion for hyperspectral image classification based on hybrid 3D/2D CNN and squeeze-excitation network［J］. Earth Science Informatics， 2023， 16（1）： 175191.

［17］ CHEN G M， CHEN Q， LONG S， et al. Quantum convolutional neural network for image classification［J］. Pattern Analysis and Applications， 2023， 26（2）： 655667.

［18］ LI B H， HOU Y T， CHE W X. Data augmentation approaches in natural language processing： a survey［J］. AI Open， 202 3： 7190.

［19］ POLSON N G， SCOTT S L. Data augmentation for support vector machines［J］. Bayesian Analysis， 201 6（1）： 123.

［20］ 田留德， 劉朝暉， 趙建科， 等. 紅外熱像儀MRTD測試方法研究［J］. 紅外技術， 2015， 37（5）： 368373.

TIAN L D， LIU C H， ZHAO J K， et al. Measurement method for MRTD of infrared imaging system［J］. Infrared Technology， 2015， 37（5）： 368373.

［21］ DALAL N， TRIGGS B. Histograms of oriented gradients for human detection［C］∥Proc.of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition， 2005： 886893.

［22］ GALAR M， FERNANDEZ A， BARRENECHEA E， et al. DRCW-OVO： distance-based relative competence weighting combination for one-vs-one strategy in multi-class problems［J］. Pattern Recognition， 2015， 48（1）： 2842.

［23］ KINGMA D P， BA J. Adam： a method for stochastic optimization［J］. Computer Science， 2014： 14126980.

［24］ SRIVASTAVA N， HINTON G， KRIZHEVSKY A， et al. Dropout： a simple way to prevent neural networks from overfitting［J］. The Journal of Machine Learning Research， 2014， 15（1）： 19291958.

［25］ SALEHIN I， KANG D K. A review on Dropout regularization approaches for deep neural networks within the scholarly domain［J］. Electronics， 2023， 12（14）： 3106.

［26］ HU J， SHEN L， SAMUEL A. Squeeze-and-excitation networks［C］∥Proc.of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2018： 71327141.

［27］ SARIGUL M. Performance analysis of CNN channel attention modules for image classification task［J］. ukurova Universitesi Mühendislik Fakültesi Dergisi， 2023， 38（1）： 3540.

［28］ HSIAO T Y， CHANG Y C， CHOU H H， et al. Filter-based deep-compression with global average pooling for convolutional networks［J］. Journal of Systems Architecture， 2019， 95： 918.

［29］ KHAN A， SOHAIL A， ZAHOORA U， et al. A survey of the recent architectures of deep convolutional neural networks［J］. Artificial Intelligence Review， 2020， 53： 54555516.

［30］ GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation［C］∥Proc.of the IEEE Conference on Computer Vision and Pattern Recognition， 2014： 580587.

作者簡介

季 然（1998—），男，碩士研究生，主要研究方向為計算機視覺、紅外圖像處理、遙感圖像處理。

肖茂森（1979—），男，高級工程師，碩士，主要研究方向為空間高精度方位傳遞對準技術、圖像處理。

李 碩（1994—），男，碩士研究生，主要研究方向為偏振多光譜圖像處理、圖像超分辨。

劉 宇（2000—），女，碩士研究生，主要研究方向為信號與圖像處理、電子穩像。

羅湛儀（1999—），男，碩士研究生，主要研究方向為基于FPGA的圖像處理技術。

程嘉維（1999—），男，碩士研究生，主要研究方向為紅外光學設計、星敏感器。