自動目標識別評價方法發展述評

何 峻 傅瑞罡 付 強

(國防科技大學電子科學學院自動目標識別全國重點實驗室 長沙 410073)

1 引言

信息化時代中對于深層次信息的需求日益迫切，目標識別就是根據某物體呈現的特征進行分析和判斷，從而達到辨認和識別其身份和屬性的目的。當這一過程不需要人工參與而只由機器自動完成時，就稱該過程為自動目標識別(Automatic Target Recognition,ATR)。一旦將此項重要的任務交由機器來自主完成，應該如何評價ATR所取得的實際作用？

由于ATR技術與模式識別、人工智能等技術有著許多共同點，因此雷達、光學等信息處理研究領域中都包含ATR這一研究方向，許多學術機構及期刊會議也設有ATR專欄。IEEE很早就從圖像處理角度定義過ATR：自動目標識別一般指通過計算機處理來自各種傳感器的數據，實現自主或輔助目標的檢測和識別[1]。

很多學者系統梳理過ATR的概念與技術發展。例如，文獻[2]對雷達ATR技術現狀與發展認識進行了總結，文獻[3]從工程視角進一步對ATR技術發展進行了評述。ATR技術研究需要多個學科方向進行交叉融合[4]，而測試與評價對任何技術領域的發展都是非常重要的。隨著ATR技術的快速發展，ATR評價方法的研究也逐步得到重視。例如，Ross等人[5—11]在歷年SPIE會議上發表了一系列論文闡述SAR ATR評價的理念與方法，李彥鵬等人[12—14]對ATR效果評估進行了深入研究。但從總體來看，近年來通用性的評價方法研究較為少見。ATR評價方法研究經常被歸屬于某個相關技術領域，點綴在眾多的圖形圖像[15,16]、信息處理[17,18]、系統工程[19,20]，乃至運籌管理[21,22]等領域的期刊或會議論文集中。

專門總結ATR評價方法的綜述研究更為少見，更多的是在論文、專著中作為ATR技術發展的組成部分予以介紹。例如，文獻[12,23—27]雖然都以ATR評價方法作為主題，但研究重點在于提出新的評價方法；文獻[13]對ATR評價進行了介紹，但主要成果是為ATR系統的性能評價提供綜合性分析工具。文獻[28]是一篇有關ATR算法評價方法的綜述文獻，更多的是對上述學位論文及專著相關部分的總結。十多年來，ATR技術領域有了新的發展，同時給ATR評價帶來了新的問題，但是該領域缺乏最新的綜述文獻對這些新進展進行歸納與總結。

本文面向通用的ATR算法與系統，不僅梳理和總結了ATR技術及其評價方法的發展，還對ATR評價方法研究背后的基礎理論、方法模型等開展了分析討論，并針對當前方法研究中存在的關鍵問題給出了自己的見解，旨在為科學、有效的ATR算法與系統評價提供方法借鑒和啟發引導。

2 ATR技術發展回顧

2.1 統計模式識別應用

20世紀80～90年代的ATR研究基本可以看作統計模式識別理論在具體應用領域中的探索實踐，處理方法上沿襲了傳統的特征提取與選擇、模板建庫、分類器設計、匹配決策等經典模式識別環節。特征提取在統計模式識別中尤為關鍵，這也是早期ATR研究的重點內容。

以雷達對空中目標的識別為例，目標信號特征包括飛機的動力構件調制特征、目標諧振區極點特征、極化散射矩陣的不變量、微動特征，以及雷達成像時散射中心、結構特征等[29]。目標特征提取需要大量的實測數據，而當時的數據采集手段較為有限，造成用于匹配模板的標準狀態與目標的實際狀態之間存在較大差異，導致這一時期ATR系統的實用性較差。

2.2 基于模型或信息輔助的技術

當人們認識到模板匹配方法的局限性之后，開始嘗試采用模型預測來應對實際情況中目標變化的多樣性?；谀Ｐ偷姆诸愖R別逐漸成為當時ATR研究的主流技術。其中，頗具代表性的當屬美國國防部高級研究計劃局(Defense Advanced Research Projects Agency,DARPA)和美國空軍實驗室(Air Force Research Laboratory,AFRL)聯合開展的MSTAR (Moving and Stationary Target Acquisition and Recognition)計劃[30]，研制出較為成熟的基于模型SAR ATR系統。

針對傳統ATR系統難以引入外部信息、缺少對目標相關知識利用等問題，文獻[31]建議采用知識推理輔助的目標識別方法。這類方法中，基于上下文知識的目標識別技術首先得到了關注和深入研究[32]。隨后，本體論[33]、可視化[34]、數據融合[35]等方法被陸續引入。ATR研究的范圍逐步提升到更廣泛的全局信息利用層面。

2.3 深度學習方法

早期基于神經網絡的ATR技術大多采用小規模的網絡分類器[36—39]。隨著深度學習研究興起，深度學習方法已成為當前ATR技術的一個研究熱點[40—42]。深度卷積神經網絡(Convolutional Neural Networks,CNN)的成功[43]同樣在聲吶圖像、雷達圖像的識別應用中得到了驗證[44—46]。深度學習方法在信息處理過程中不再嚴格區分“特征提取”與“分類識別”，而是直接完成目標識別的全過程[47]。

目前，CNN已被廣泛應用于一維距離像識別[48—50]、SAR圖像識別[51—55]和紅外圖像識別[56—58]等場景，并且被證明在提升泛化性能方面有不錯的表現[59]，但有些場景中也容易受到噪聲干擾[60,61]和欺騙[62]等因素影響。另外，雖然遷移學習[63]在SAR圖像ATR的應用中取得了一定成功[64—66]，但人們還是對深度學習ATR方法的可解釋性存在著一定的疑惑[67]。

2.4 困難與制約

從20世紀50年代雷達目標識別領域研究[68]開始，ATR技術已經取得了長足的進步。然而，要真正解決目標識別問題，ATR技術仍面臨許多困難與挑戰。除了目標識別問題本身的復雜性之外，ATR領域缺乏系統、科學的性能測試與評價方法也是制約其技術發展的瓶頸問題之一。

ATR評價方法研究正是要致力于改變這一現狀，對ATR算法或系統進行性能評價與預測，使得ATR研究具備成為真正科學領域的基本要素[4]。文獻[69]是有關ATR發展的較早評述，其中對于ATR評價重要性和發展的預測已被實踐所證明。為構建實用化的ATR系統，必須先建立起有效的ATR評價方法及性能測試系統[70]。

3 ATR評價方法研究成果

ATR評價實際上貫穿于整個ATR研制過程。以研制一個ATR算法為例，圖1[71]給出了ATR評價在各個階段的不同內容。

圖1 典型ATR研制與測試生命周期[71]Fig.1 A typical ATR development and test life cycle[71]

無論處于哪個階段，ATR算法的評價都離不開性能指標定義、測試條件構建和推斷與決策等環節。本節分別歸納總結這幾方面的研究成果。

3.1 性能指標定義

識別性能對于ATR算法來說無疑非常重要，許多文獻中提到的ATR性能指標就是指衡量其識別能力的指標。至于泛化能力等其他方面的能力，通常采用分析某個關鍵識別指標(如識別率)隨測試條件變化的下降程度來度量。故本文重點闡述ATR識別性能指標。

混淆矩陣(Confusion Matrix)從模式分類研究時期起就被廣泛使用，通常記錄成一張由行和列構成的二維表格。單元格用下標(i,j)定位，記錄目標i被自動判別為目標j的次數或比率。配合彩色或灰度幅度值，混淆矩陣能夠更加直觀地展示目標識別的結果，如圖2[72]所示。

圖2 3類目標識別結果混淆矩陣[72]Fig.2 Classification result map of three types of targets[72]

對于m類目標的情況，混淆矩陣至少包含了m2個單元格，詳細記錄了ATR算法對于每一類目標正確識別及混淆判別的結果。當目標類型數據較多時，混淆矩陣難以直觀展示測試結果。對此，可以利用混淆矩陣推算出另一類被經常使用的評價指標—概率型指標，反映ATR過程中對某個目標類別的正確/錯誤判別概率，如檢測概率(Probability of Detection,PD)、虛警概率(Probability of False Alarm,PFA)、識別率等。

如果說概率型指標是以數的形式對混淆矩陣進行簡化，那么ROC (Receiver Operating Characteristic)曲線就是用圖的形式對PD和PFA之間存在的約束關系進行描述。ROC曲線最早應用于雷達檢測領域，如圖3[73]所示。

圖3 雙正態分布生成的ROC曲線[73]Fig.3 Sample N-N ROC curve generation[73]

圖3給出了存在高斯白噪聲(非目標)n情況下，對同樣服從正態分布的信號(目標)sn依據檢測門限x0得到的ROC曲線。顯然，越大的曲線下面積(Area Under the Curve,AUC)意味著ATR系統在保持低虛警概率P(S/n)的同時，具有更高的檢測概率P(S/sn)。AUC因而成為評價“目標-非目標”這種二分類ATR算法性能的最常見評價指標，并逐步從雷達ATR領域擴展到其他領域，如醫學病理圖像ATR診斷性能評價[74,75]。文獻[76]對一些基于ROC曲線的ATR算法性能評價方法進行了較為系統的總結。

采用深度學習方法的ATR算法，更傾向于采用由精確率(Precision)和召回率(Recall)所構成的P-R曲線[77]。為避免P-R曲線因為樣本的排序而出現搖擺，一般還要對其進行平滑處理，如圖4所示。

圖4 實際P-R曲線與平滑后P-R曲線Fig.4 Actual and smoothed P-R Curve

與AUC類似，平均精度(Average Precision,AP)由P-R曲線所衍生，表示不同召回率下精確率的平均值。至于如何對P-R曲線做離散化取值，如何計算平滑后的P-R曲線下面積，都有一系列相應的規范要求，具體方法可以參考文獻[78,79]。此外，P-R曲線雖然同樣是針對某類目標而言的，但可以通過對各類目標的AP值再取平均值(mean AP,mAP)來實現多分類的ATR算法性能評價。因此，AUC也可以說是mAP的特例。

綜上所述，ATR算法識別性能的評價指標主要包括：以表格形式記錄的混淆矩陣，根據目標識別階段定義的概率型指標，以及ROC曲線、P-R曲線等圖形及衍生指標。表1總結了常見的ATR識別性能指標。

表1 常見ATR識別性能指標Tab.1 Common ATR performance measures

3.2 測試條件構建

ATR技術最終將應用于真實環境，需要將ATR算法加載到實際系統中進行檢驗。MSTAR計劃將SAR ATR系統所處的條件分為4類[9]：ATR系統面臨的真實環境稱為工作條件(Operation Conditions,OC)，性能評價時所構建的測試條件(Test Condtions)只是OC的子集。用于算法訓練的數據樣本代表了ATR系統的訓練條件(Training Condtions)。此外，對于模型驅動的ATR系統還可以定義其建模條件(Modeled Condtions)。上述4類條件之間的關系如圖5(a)所示；而ATR系統評價其實只能考察ATR系統的準確性(Accuracy)、穩健性(Robustness)和擴展性(Extensibility)，三者共同反映了部分的有效性(Utility)，如圖5(b)所示。

圖5 MSTAR計劃中的訓練與測試條件[9]Fig.5 Training and testing conditions in MSTAR program[9]

為了更好地評價ATR系統的擴展性，AFRL進一步將OC劃分為標準工作條件(Standard Operation Condition,SOC)和擴展工作條件(Extended Operation Condition,EOC)[80]，根據ATR任務的具體需求設置具有代表性的EOC，并在目標類型、地面背景、傳感器姿態等因素維度上構建差異化的測試條件。測試條件構建最后體現為不同的數據集：一般來說，SOC采集的一部分數據構成訓練數據集，主要被用作ATR算法訓練開發和自檢；EOC的數據相對于研制方保密，形成測試數據集并用于ATR系統性能評價。

在SAR ATR技術領域中，MSTAR數據集被廣泛使用。MSTAR數據集包含X波段0.25 m×0.25 m分辨率的全方位SAR圖像序列，方位角間隔1°，圖像分辨率128×128像素，所含目標多為車輛[81]。其中，常見的幾類地面目標如圖6所示[82]。

圖6 10類MSTAR目標的光學及SAR圖像[82]Fig.6 Optic and SAR images of 10 MSTAR targets[82]

公開發布的數據中提供設置的因素包括外形差異和俯仰角差異[82]。通常一類(Class)目標中包括若干不同的類型(Type)，用于評價ATR算法在目標外形差異條件下的擴展性；部分目標還具有多個差異較大俯仰角的觀測圖像，用于評價ATR算法在不同成像視角條件下的擴展性。文獻[83]總結了如何正確使用MSTAR數據開展SAR ATR評價工作。文獻[84]對MSTAR數據所發揮的作用進行了分析，總結了1995—2020年使用該數據論文的引用次數，如圖7所示。

圖7 MSTAR數據引文進展[84]Fig.7 MSTAR citation progression[84]

在光學圖像ATR技術領域，包含海量圖像的數據集為ATR系統提供了比較接近真實環境的測試條件，從而極大地促進了數據驅動的ATR技術飛速發展。其中，頗具代表性的圖像數據集有PASCAL VOC[85,86],ImageNet[87],MS COCO[88]和Open Images[89]等。這些數據集經常被作為目標檢測、模式識別等領域中ATR算法性能測試的基準條件。

3.3 推斷與決策

分析表1不難發現，混淆矩陣由于其記錄結果難以直觀比較，需要轉換為反映特定性能的概率型指標；而體現“檢測-虛警”“精確率-召回率”等概率型指標之間相互約束關系的ROC曲線、P-R曲線等，也是以概率指標作為基礎。由于實際測試次數的限制，基于概率型指標的性能評價通常被歸結為統計推斷問題，下面結合實例進行詳細介紹。

以識別率指標為例，在統計學中可抽象為Bernoulli試驗的成敗概率。記n個測試樣本中正確識別的次數為X，則X為服從二項分布的隨機變量。X=k(k=0,1,2,···,n)的概率為

當n較大時(至少要求n≥30)，識別率指標的測試結果=X/n可以用正態分布近似，在置信度1—α下識別率指標的區間估計結果為

其中，zα/2表示標準正態分布N(0,1)的α/2分位數。

對ATR算法性能評價中特別關心的識別率達標問題，可以通過構建檢驗統計量進行假設檢驗予以判斷。例如，合同對ATR算法的識別率指標要求為p0，可以構建如下的原假設H0和備選假設H1來判斷識別率精確率是否達標[73]：

其中的檢驗統計量z0由測試結果、合同要求值p0和樣本容量n共同計算。若該假設檢驗的顯著性水平取α，則當z0＞—zα時，判定識別率指標達到規定值。

文獻[90]在上述正態近似假設前提下，對等價誤識率的估計精度、區分度等問題進行了詳細討論，其研究結果表明需要大量的測試樣本才能保證推斷結果具有統計意義。對任意測試樣本容量的一般情況，文獻[91]提出了一種基于特定事件貝葉斯后驗概率的評價方法，有效解決了根據概率型指標進行ATR算法考核檢驗、比較排序等評價問題。

上述評價方法都只是根據某個關鍵的概率型指標進行評價，但實際中的ATR系統具有多方面屬性，需要構建合適的評價指標體系才能開展全面評價。ATR系統評價所面臨的多指標綜合評價問題，在決策分析領域中被稱為多屬性決策(Multi-Attribute Decision-Making,MADM)問題，一般可采用分值模型或關系模型進行多指標聚合。

顧名思義，分值模型通過獲取綜合評分來實現多指標綜合評價，類似于雷達等技術領域中廣泛使用質量因數(Figure of Metric,FoM)[92]對系統的整體性能進行綜合描述。FoM的通式可概括為

其中，ai表示第i個指標的評分值，wi表示該項指標的權重。

為得到ATR系統的綜合評分值，Klimack等人[93]將決策分析(Decision Analysis,DA)理論引入ATR系統評價，以價值函數和效用函數作為獲取指標評分值的量化工具，然后再用一種混合價值/效用(Hybrid Value-Utility)[94]的分值模型聚合多個指標的評分值。文獻[95]結合某ATR系統評價給出了詳細的指標分解、賦權和評分過程，并且歸納出一個通用的評分決策模型，如圖8[95]所示。圖8中底層的紅色曲線表示各指標值的概率分布，倒數第二級的綠色曲線表示每個指標對應的價值函數或效用函數，需要根據具體的應用場景進行構建。

圖8 通用決策分析模型結構[95]Fig.8 Common decision analysis model structure[95]

除分值模型之外，關系模型是另一類常見的評價決策模型。關系模型從形式上可以概況為[96]：稱(U,R)為評價關系模型，其中U={x1,x2,···,xn}為評價對象集，R為評價對象之間的關系集

其中，R(xi,xj)表示評價對象xi與xj之間的某種優劣關系。

不同于分值模型，關系模型避開了不同數據類型指標的評分要求，不需要為每個評價指標構造價值函數或效用函數。例如，對ATR系統評價中最為常見的實數型、風險型和區間型指標，文獻[97]通過建立基于標準優劣差異x的偏好映射實現對式(5)中矩陣元素的賦值，從而完成了混合3種數據類型的多指標ATR系統綜合評價。

4 ATR評價研究最新進展

第3節分別對ATR評價方法研究中的性能指標定義、測試條件構建、推斷與決策等方面的成果進行了歸納總結，本節繼續對一些最新的研究進展進行分析與評述。

性能指標定義方面，消除評價指標不確定性的歸一化方法研究已經開始引起關注。例如，對于識別率等具有不確定性的概率型指標，文獻[98]提出一種前景函數構建方法，將識別率的增量轉變成前景價值，其所設計的前景價值函數不僅具有邊際遞減效應，而且不敏感于測試樣本容量的變化。另外，隨著深度學習方法在ATR技術領域的廣泛應用，對于ATR算法可解釋性[99,100]的要求日益強烈，成為這類ATR算法評價的研究熱點?？山忉屝匝芯康闹攸c在于提出可量化的指標，但是當前常見的一些方法(如LIME[101],Grad-CAM[102]等)尚缺乏被一致認可的量化指標。

測試條件構建方面，隨著國內學界對數據的逐漸重視，國內多個研究機構陸續發布了可用于ATR算法研究與系統測評的數據資源，包括雷達[103—105]、紅外[106,107]等多種傳感器采集的數據。代表測試條件的數據集質量問題，也開始引起人們的廣泛關注。例如，文獻[108]分別針對圖像數據集和文本數據集，提出了面向任務的數據集質量評價和數據選擇方法，實現了任務相關性和內容多樣性的量化度量。當實測數據不能完全滿足工作條件的多樣性需求時，人工合成及仿真計算等方法也逐步成為一種有益的補充手段[109—112]。通過不斷提高所構建測試條件與實際工作條件的逼真度，ATR系統的有效性可以用在測試數據集上的擴展性來等效近似。

推斷與決策方面，適用于ATR評價的混合型多屬性決策問題已引起國內外的普遍關注，陸續提出了多種混合型多屬性決策方法[113,114]。國內學者對區間數[115,116]、模糊型[117,118]和語言變量[119]等類型的多數屬性決策問題抱有較濃厚的研究興趣。文獻[120]總結了各類不確定性和混合型多屬性決策方法，給出了一些新的決策方法與應用實例。ATR系統評價方法研究中，借鑒這些最新決策理論成果的報道較為少見。文獻[121]針對制導裝置提出了基于區間直覺模糊集的性能評價方法，但是評價方法的合理性仍有待實際應用檢驗。

5 結語

ATR評價方法的研究伴隨著ATR技術發展，陸續取得了不少研究成果。理論上，測評方法分為理論分析和實驗測量兩種技術途徑，本文只涉及基于測試的評價方法。這是由于ATR技術與實際應用結合緊密，大部分的ATR算法和ATR系統的性能指標需要根據實際測試結果計算，因而制約了理論分析方法的發展。對基于測試的ATR評價方法，獲取識別率等關鍵指標的邊界值是一個難點問題。作者認為，如果將ATR算法作為結構未知的“黑箱”進行測試，始終難以從根本上解決ATR算法的可信應用問題?；诶碚摲治龅姆椒ㄑ芯?，則有可能從對ATR算法內部認知的角度突破該難題。

下面根據當前的研究現狀，提出兩個值得深入思考和持續研究的方向。

(1) 借鑒多屬性決策理論，進行綜合評價方法創新。

現階段對于不確定性多屬性決策方法、不確定信息下的案例推理決策方法等方面的研究成果頗為豐富，但對ATR系統評價而言，最為關鍵的問題是根據評價指標自身的定義與內涵，謹慎選擇合適的不確定信息類型予以描述和度量，然后再從眾多的已有方法成果中挑選合適的決策模型(亦稱為集結算子)來融合決策者的主觀偏好。這些研究工作貌似只是對現有理論方法的修改，卻靈活解決了ATR評價工作所要面臨的各種實際問題，也是構建ATR評價指標體系的理論依據所在。因此，有必要針對ATR評價問題中特有的混合型多屬性決策問題，研究相應的決策模型及綜合評價方法，解決多指標的ATR綜合評價問題。

(2) 持續數據工程建設，提升測試樣本數據質量。

ATR算法技術主流從最初的模板匹配到后面的模型驅動，再到現在的以深度學習為代表的數據驅動，對于訓練數據和測試數據的需求都在不斷增加。ATR評價主要關心如何適當減少測試數據，同時又能夠保證測試樣本涵蓋實際工作條件的各類場景，實際上提出了數據使用規范與數據集質量評價這兩個方面的需求。因此，還需進一步加強測試流程的規范化研究，重點分析測試樣本的數據質量，構建合理的質量指標體系對測試數據集進行量化考核，保證測試結果反映ATR系統的真實性能表現。

ATR評價方法的研究已取得一定成果，但仍然跟不上ATR技術的發展需求。隨著相關學科領域的發展及ATR技術自身的持續深入研究，建議在ATR技術領域中將ATR評價設立為一個獨立的研究方向，為模式分類、目標檢測、敵我識別、無人作戰等高新技術應用提供科學的檢驗標準與決策依據。

利益沖突所有作者均聲明不存在利益沖突

Conflict of Interests The authors declare that there is no conflict of interests