一種航天器圖像分類模型快速學習方法

葉志鵬，賈 睿，楊 勇，齊 歡，梁 浩

(北京宇航系統工程研究所，北京 100076)

0 引言

近年來，智能航天器正在越來越多地吸引航天從業者的關注[1]。圖像識別是航天器智能化的主要條件之一，同時也是計算機視覺、機器學習和模式識別等領域的重要研究課題。隨著計算技術及圖像傳感器的快速發展，拓展了圖像采集方式并促進了視覺領域的發展，越來越多的設備具有了獲取圖像的能力，掀起了設備智能化的浪潮。然而，受限于當前航天器中飛控機的計算能力，目前流行的深度學習模型通常需要海量的數據和存儲空間以及大量的計算資源進行長時間的模型訓練，若在航天器中應用，需要專用計算設備，增加了航天器的成本和起飛質量。同時，空間場景隨著時間推移千變萬化，通過解決快速在線訓練問題，能夠使航天器具有自主目標識別的能力，對空間環境具有更好的適應性。因此，在軟件層面提出一種能夠根據實際應用靈活調整的快速圖像分類方法是十分必要的。

1 研究背景

計算機視覺是實現機器智能的基本途徑，其基本載體為圖像。計算技術及圖像傳感器的快速發展為圖像的獲取與分享提供了極大的便利，圖像數據的規模呈現爆發式增長。從行星光學圖像獲取到深空探測，從視頻監控到預警偵察，圖像及圖像處理技術無所不在。

圖像分類是計算機視覺、機器學習和模式識別領域的熱門領域之一，在航天領域也得到了廣泛的應用[2-5]。圖像分類的過程如圖1所示。圖像分類由分類器學習和測試兩部分組成。學習時，利用由圖像中提取的特征信息訓練分類器，形成分類規則。測試時，每個待識別樣本均被描述為一組特征矢量，分類器根據學習到的分類規則判斷特征矢量的類別。因此，圖像分類可以看作是完成“特征空間”到“類別空間”映射的過程。

圖像分類經過多年的發展，提出了很多有效的學習模型[6]，包括BP網絡[7]、支持向量機[8]和深度學習網絡[9]等。BP網絡利用樣本集訓練網絡，從而獲取其中的規律，能夠以任意精度擬合任意函數，且學習規則簡單易實現，獲得了廣泛的應用。但神經網絡也具有明顯的缺點，如訓練效果受限于網絡規模、參數設置理論不完善,導致神經網絡收斂速度滿、分類性能受過擬合效應影響。由于這些問題難以克服，相關研究的熱度逐漸降低，研究人員的目光投向了支持向量機。支持向量機利用和函數通過映射的方式對非線性問題進行分類。支持向量機的優點在于具有完備的理論基礎，并且適用于小樣本學習問題，同時具有較高的學習效率，因此自提出以來得到了廣泛的應用。上述兩種分類模型均為有監督學習模型，不足之處在于進行學習的前提是需要專家提供樣本的類別信息。深度學習方法是對傳統神經網絡方法的再發展，在語音識別、人工智能等領域取得了很多舉世矚目的成就，是目前圖像分類領域最前沿的研究內容之一，深度學習方法認為多層神經網絡的訓練難度可以通過無監督方式有效克服。深度學習可通過學習深層非線性神經網絡，將低等級特征映射到更高等級形式的特征，并從中學習具有層次結構的特征，不僅保留了傳統神經網絡能夠以任意精度逼近復雜函數的優點，而且解決了傳統神經網絡方法參數調校的難題和容易出現的過擬合問題，顯著提高了圖像分類的準確性，自提出以來得到了學術界廣泛重視，各類研究與應用層出不窮。但是深度學習的缺點也十分明顯。首先，深度學習方法弱化了圖像特征提取，導致學習過程需要海量的數據才能夠獲取較為滿意的結果，學習效率較低；其次，學習過程需要耗費大量的計算資源，具有極高的時間和空間復雜度，很難在資源受限的箭載計算機上部署，通常需要額外的專用硬件才能夠完成分類任務，增加了飛行成本。

本文針對航天器圖像分類問題，結合聚類和支持向量機給出了一種箭載計算機圖像分類器快速學習方法。

2 算法

本文針對圖像分類器學習問題，提出了一種快速分類器訓練方法，弱化了有監督學習方法對于樣本類別的依賴性。首先,利用聚類方法將未標注樣本集根據樣本相似性聚成n個散列桶，進行標注后利用散列桶中的樣本有針對性地訓練支持向量機并完成細分類獲取圖像的具體類別。具體過程如圖2所示。

圖2 快速學習過程Fig.2 The fast learning process

樣本分類過程如圖3所示,利用上述學習過程訓練好的分類模型估計待分類樣本集中每個樣本的類別，獲取圖像標簽。

圖3 樣本分類過程Fig.3 Sample classification process

2.1 基于聚類的圖像散列桶構建

本文采用分類法，通過聚類方法將相似的圖像散列到一個桶中，從而提高分類器的訓練效率。圖像間的相似性利用結構相似性(structural similarity, SSIM)度量[10]。將圖像看作兩個二維矩陣，對于兩幅圖像x和y，μx和μy為其平均亮度，σx和σy為標準差，σxy為協方差。C1、C2為常數。

(1)

聚類分析是一種無監督學習方法，即根據一定的度量方法將無標簽輸入樣本數據集合劃分為若干個子集的過程。在大數據時代，數據正變得越來越易得。對于圖像樣本，可利用爬蟲程序[11]輕易獲取大規模的數據集。然而，數據的標注通常是枯燥和昂貴的，導致采用有標注樣本訓練分類器的有監督學習方法通常面臨樣本量不足的問題。因此，無監督學習方法應運而生，較為著名的方法包括聚類分析和部分深度學習方法。本文采用k-means作為聚類分析方法完成無標記樣本集的無監督學習。k-means算法的優點在于實現簡單，計算和存儲復雜度低，無需提供樣本類別標簽即可進行學習和分類。

在聚類問題中，給定訓練樣本{x(1),x(2),…,x(m)}，k-means算法按下述過程將樣本聚類成k個簇。在進行散列時，使用SSIM而非傳統的距離度量，能夠從均值(圖像亮度)、方差(圖像對比度)和圖像結構3個層次比較圖像的相似性，與傳統距離度量相比能更有效地反映圖像間的相似度，提高了構建的散列桶的質量。

1)隨機選取k個聚類質心點mj,j=1,…k；

2)重復下列過程直至所有質心點均不再變化：

①對于每個樣例，計算其類別ci

②對于每個類j，重新計算該類的質心

2.2 基于支持向量機的圖像細分類

支持向量機是一種有監督學習方法，定義為特征空間上間隔最大的線性分類器。給定一個訓練集，SVM的目標是從假設空間中找出一個能夠很好地擬合該訓練集的模型，從而獲得一個決策函數。分類時，利用學習的模型估計待分類樣本的類別。SVM的學習策略是將非線性數據映射到高維空間，從而將非線性優化問題轉換為線性優化問題，進而尋找高維空間中的最優超平面。超平面是位于兩個類別中間、距離兩個類別樣本點距離相同,能夠將不同類別分開的平面。SVM原理示意圖如圖4所示。

圖4 SVM分類原理示意圖Fig.4 Principle of SVM classification

對于一個兩類分類問題，用x表示數據點，用y表示類別，y={+1,-1}。線性分類器的學習目標是在n維數據空間中找到一個超平面，將兩類數據分開。該超平面可線性表示為

ωTx+b=0

(2)

對于樣本的分類問題，可通過判斷樣本屬于某個類別的概率進行判別

P(y=1|x;θ)=hθ(x)
P(y=0|x;θ)=1-hθ(x)

(3)

其中，假設函數

(4)

若hθ(x)>0.5，則樣本屬于y=1的類別，反之屬于y=-1的類別。SVM學習的目標是獲得θ，滿足上述可分條件。定義Lagrange函數

(5)

令θ=maxL(ω,b,α)，通過Lagrange乘數法可求解滿足約束條件的θ，進而可根據樣本屬于某一類別的概率判斷樣本的類別。

2.3 學習方法

傳統分類器學習方法利用圖像數據集直接訓練圖像分類器。本文針對航天器圖像分類問題，采用分治策略提出了一種分類器快速學習方法。學習時首先利用k-means方法利用結構相似性度量將圖像樣本集散列為數個類別桶，每個圖像樣本都對應到一個桶中。接下來對每個桶中的樣本訓練一個SVM分類器進行分類。該方法具有以下優點：1)能夠有效縮小訓練樣本規模，提高分類器訓練速度；2)同一桶內的圖像樣本具有相似性，不同桶內的圖像樣本具有較大差異，符合有監督學習分類器訓練原則。本文提出的方法與傳統分類方法的異同見圖5。

圖5 本文分類器學習方法與傳統方法的異同Fig.5 Difference between traditional and the proposed classifier learning methods dataset

3 實驗結果

為了充分評估訓練模型的分類效果，本文使用了圖像分類領域流行的公開的數據集和自行收集的航天器圖像數據集以全面考核分類效果。公開數據集包括PASCAL VOC 2007[12]和Caltech-101[13]，各數據集均包含目標類別的標注信息用于訓練分類器。PASCAL VOC為圖像識別和分類提供了一整套標準化的優秀數據，自2005年起每年舉辦圖像識別挑戰賽，吸引了國內外頂尖高校的參與，各種新方法和新模型層出不窮，為圖像分類的進步做出了卓越貢獻。PASCAL VOC 2007數據集具有完整詳細的標注信息，包含20個類別9963幅圖像。其中大部分類別包含50幅以上的圖像數據，每幅圖像的尺寸約為300×200。Caltech-101數據集于2003年由目前計算機視覺領域領軍人物Li Fei-fei等創建，數據集組織良好，標注精確，是目前廣為使用的圖像分類性能評估數據集之一，包含101個類別共9146幅圖像。航天器圖像數據集包括常見的5種類型航天器共計100幅圖像，全部圖像收集自公開的互聯網圖像。測試用DSP為8核心，每個核心可使用1GB內存，時鐘頻率為800MHz。

實驗時將各數據集平均分為訓練集和測試集。3種數據集的部分樣本示例見圖6。通過實驗分別對比了單獨采用k-means、SVM和本文所提出的分類器學習方法以證明所提方法的有效性。SVM分類器采用LIBLINEAR SVM實現[14]。

圖6 圖像數據集部分樣本示例Fig.6 Samples of image datasets

各數據集總體分類結果見表1，分類性能以均值平均精度(mean average precision, MAP)表示

(6)

表1 各測試數據集分類結果

從表1結果可以看出，本文提出的分類器學習方法訓練的分類器效果優于k-means與SVM分別單獨分類的效果，證明了本文提出的粗分類與細分類結合方法是有效的。

圖7～圖8以混淆矩陣的形式給出了本文所提分類方法在PASCAL VOC 2007和航天器數據集的詳細分類結果，圖中小于5%的數值均未顯示以保證清晰性。對于Caltech-101數據集，由于類別數較多，因此依照慣例給出分類的MAP。從圖中可以清楚地看出本文所提出的分類方法各類別的分類正確率及樣本誤分類情況。

圖7 本文方法在PASCAL VOC 2007數據集的詳細分類結果Fig.7 Detailed classfication results of the proposed method on PASCAL VOC 2007

圖8 本文方法在航天器數據集的詳細分類結果Fig.8 Detailed classfication results of the proposed method on spacecraft dataset

表2和表3分別給出了上述方法實時性比較結果。為方便比較，以本文所提方法作為比較的參考值。其中t1=30814.5s,t2=48542.8s,t3=1842.7s；t4=37.51ms,t5=40.12ms,t6=34.46ms。從表中結果可以看出，本文采用的先聚類后分類策略訓練耗時和分類性能優于僅采用SVM作為分類器的情況。數據集越復雜，樣本類別越多，差異越明顯。同時，處理一幅圖像的時間穩定在33.33ms(30幀/s)和41.67ms(24幀/s)之間，能夠滿足實時性要求。結合表1的分類結果可以看出，本文采用的分類方法與k-means分類方法相比，在PASCAL VOC 2007數據集的訓練耗時增加54%、分類性能提高了19.1%，Caltech-101數據集訓練耗時增加43%、分類性能提高了27.7%，航天器數據集訓練耗時增加32%、分類性能提高了20.8%。雖然與k-means相比訓練耗時增加，但依然能夠滿足實時性約束，并且顯著提高了分類性能。因此本文提出的方法是有效的，能夠滿足應用要求。

表2 各方法訓練實時性比較(訓練耗時)

表3 各方法分類實時性比較(分類耗時)

4 結論

本文提出了一種航天器圖像分類器快速學習方法。該方法利用分治策略，通過在聚類方法中引入相似性度量構建圖像桶，從而有針對性地訓練分類器，能夠實現圖像分類器的快速學習與分類。通過實驗結果可以看出，與傳統方法相比，本文所提方法在滿足實時性約束的前提下提高了分類效果。