基于深度圖推理的衛(wèi)星背板部件檢測方法

陳奧,解永春,王勇,李林峰

1.北京控制工程研究所,北京 100190

2.空間智能控制技術(shù)重點實驗室,北京 100190

在軌服務操作通常是指服務航天器與目標航天器完成交會對接后,服務航天器利用所攜帶的機械臂對目標航天器進行末端操作的過程,包括對壽命末期或者故障航天器的在軌故障修復、模塊更換、燃料加注、以及輔助離軌等[1]。在軌加注是指服務航天器在空間軌道上,為目標航天器補充推進劑,是一種典型的在軌服務操作。在軌加注在降低空間運輸成本以及任務風險方面起著重要的作用,對于提高空間資產(chǎn)使用效益、保障飛行器在軌安全可靠運行具有重大意義。

已有的在軌加注通過遙操作或在人員監(jiān)控下完成,自主等級低。國外典型的在軌加注任務有“軌道快車(Orbital Express,OE)”和“機器人燃料加注任務(Robotic Refueling Mission,RRM)”。2007年,在“軌道快車”任務中,服務航天器ASTRO向目標航天器NEXTSat傳輸了肼燃料,還利用機械臂為NEXTSat安裝了一塊電池,這些操作是在人員監(jiān)控下完成的,依賴于地面指令[2]。2013年,在第三階段的“機器人燃料加注任務(Robotic Refueling Mission-3,RRM-3)”中,安裝于國際空間站外部的機械臂完成了一系列加注操作的在軌演示,包括開啟燃料加注工具啟動鎖、抓取并取出鎖線切割工具、切割閥門螺帽鎖線、放回切割工具、抓取連接管工具、移動連接管工具至模擬衛(wèi)星燃料閥處、將連接管插入模擬衛(wèi)星燃料閥、乙醇燃料傳輸?shù)?上述操作由遙操作完成,并且需要地面人員向機械臂操作系統(tǒng)發(fā)送精確的加注指令[3]。國內(nèi)典型的在軌加注任務有“天源一號”“實踐十七號”和“天舟一號-天宮二號”任務。2016年,“天源一號”完成了液體燃料的管理和加注工作,驗證了多項在軌加注關(guān)鍵技術(shù)。同年,“實踐十七號”衛(wèi)星完成的無毒推進劑二硝酰胺銨的在軌加注試驗。2017年,“天舟一號”貨運飛船對“天宮二號”空間實驗艙進行多次推進劑補加工作。以上國內(nèi)的3次在軌加注,研究的重點是在空間環(huán)境下的推進劑管理與加注,并沒有對在軌加注中的相關(guān)操作技術(shù)展開研究。雖然美國航天機構(gòu)在在軌加注相關(guān)技術(shù)方面的研究更加全面、起步較早,但整個加注過程并不是全自主的,仍依賴于地面指令或是空間站航天員的遙操作。中國處于起步階段,在推進劑管理方面積累了許多經(jīng)驗,而在自主在軌加注操作方面仍是空白。

視覺感知系統(tǒng)在在軌加注中起著重要的作用,可以感知操作任務周圍環(huán)境并提供給控制系統(tǒng)。在軌加注中的視覺感知方法隨著在軌加注控制方法的改進和加注任務需求的增加而發(fā)展?；诳梢姽獬上竦哪繕颂綔y技術(shù),因具有技術(shù)相對成熟、圖像分辨率高、目標特征豐富、系統(tǒng)功耗小等優(yōu)點,被廣泛應用于空間目標形態(tài)識別。在早期的加注任務中,如“軌道快車”任務,視覺感知系統(tǒng)要對目標航天器上的合作標志器進行測量,引導機械臂完成加注操作,類似涉及合作目標測量的任務還有日本的ETS-VII計劃[4]?！皺C器人燃料加注任務”,通過遙操作的方式完成,因此其視覺感知系統(tǒng)僅需要提供監(jiān)控視頻,而不需要做測量。隨著在軌加注自主化程度的不斷提高,視覺感知系統(tǒng)需要向控制系統(tǒng)提供操作對象的相對位置和姿態(tài)等信息。對于非合作目標的感知和測量的研究,各國尚處于地面試驗階段,研究的對象具有較明顯的圖像特征特點,如點、直線、圓和曲線等,且需要提供一些先驗信息。總的來看,當前用于在軌加注的視覺感知方法智能程度低,無法感知復雜形態(tài)的衛(wèi)星部件、無法適應復雜不確定的空間環(huán)境,此外,一般很難精確測量目標位姿。

隨著人工智能的發(fā)展,深度強化學習(Deep Reinforcement Learning,DRL)在地面機器人操作中顯示出了巨大的潛力[5]。經(jīng)過多次重復的探索訓練,機器人可以學得一種適應于環(huán)境的控制策略,從而高效地完成給定任務,這種深度強化學習方法為實現(xiàn)自主在軌加注提供了一種思路。利用深度學習(Deep Learning,DL)方法從傳感器數(shù)據(jù)提取當前場景的狀態(tài)特征,是深度強化學習的關(guān)鍵點之一。在在軌加注任務中,一種重要的傳感器數(shù)據(jù)是相機或激光設(shè)備采集的當前場景的圖像。相較于傳統(tǒng)視覺感知方法,基于深度學習的圖像感知方法能夠自主感知復雜外形的目標,具備一定的魯棒性和泛化性,無需精確計算目標位姿信息。因此,基于深度學習的視覺感知是在軌加注的一個重要發(fā)展方向,目前未見相關(guān)研究,但是基于深度學習的視覺感知已在其他領(lǐng)域有了廣泛應用,例如自動駕駛[6]、人臉識別[7]和工業(yè)裝配等。

在基于深度學習的視覺感知中,廣泛采用的是卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)。在卷積神經(jīng)網(wǎng)絡(luò)中,采用層級的卷積層和池化層來逐級提取融合輸入圖像的特征,最終完成目標識別、檢測和分割等任務,代表性的網(wǎng)絡(luò)有ResNet[8],Faster R-CNN[9]和Mask R-CNN。Mask R-CNN由FAIR(Facebook AI Research)的何凱明等[10]于2017年提出,該網(wǎng)絡(luò)在Faster R-CNN的基礎(chǔ)上添加了一個掩模分支來做語義分割,Mask R-CNN在MS COCO數(shù)據(jù)集上的表現(xiàn)超越了MNC[11]和FCIS[12],是如今最成熟的目標檢測分割算法。卷積神經(jīng)網(wǎng)絡(luò)屬于聯(lián)結(jié)主義,因此缺乏邏輯推理能力,只能對見過的模式進行特征提取。也就是說,對于那些未經(jīng)訓練的模式,盡管它們在更高層級的圖像層上,且與訓練過的模式高度相關(guān),仍然無法被訓練好的網(wǎng)絡(luò)識別。

圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Network,GNN)可以用來處理相互關(guān)聯(lián)的數(shù)據(jù),也就是說圖神經(jīng)網(wǎng)絡(luò)可以幫助理解數(shù)據(jù)之間的語義關(guān)系或空間關(guān)系,這賦予了網(wǎng)絡(luò)邏輯推理能力,彌補了卷積神經(jīng)網(wǎng)絡(luò)的不足。相互關(guān)聯(lián)的數(shù)據(jù)常用圖結(jié)構(gòu)表示,與歐幾里得數(shù)據(jù)相比,圖結(jié)構(gòu)數(shù)據(jù)不規(guī)則、復雜,對數(shù)據(jù)的描述能力非常強大,典型的圖結(jié)構(gòu)數(shù)據(jù)就是知識圖譜。GNN的起源可追溯至“先深度學習”時期,GNN被廣泛用于社交網(wǎng)絡(luò)[13]、搜索與推薦系統(tǒng)[14]、金融風險控制和信號燈預測等。以搜索與推薦系統(tǒng)為例,知識圖譜的引入,使得互聯(lián)網(wǎng)逐步從僅包含網(wǎng)頁與網(wǎng)頁之間超鏈接的文檔萬維網(wǎng)轉(zhuǎn)變?yōu)榘罅棵枋龈鞣N實體和實體之間豐富關(guān)系的數(shù)據(jù)萬維網(wǎng),大大提升了搜索效率。文獻[15]利用GNN作為推理模塊來對深度神經(jīng)網(wǎng)絡(luò)進行擴展,并在視覺問答系統(tǒng)中取得了很好的結(jié)果。然而,GNN的隱藏狀態(tài)更新函數(shù)需滿足壓縮函數(shù)的條件,這極大地限制了其表示能力；其梯度下降過程需迭代多次,計算代價很大；基于不動點的收斂導致結(jié)點間的隱藏狀態(tài)存在較多信息共享,從而導致結(jié)點的隱藏狀態(tài)過于光滑[16]。為了解決上述問題,學者們又提出了門控圖網(wǎng)絡(luò)(Gated Graph Neural Network,GGNN)和圖卷積網(wǎng)絡(luò)(Graph Convolutional Network,GCN)。

然而很少有人對知識圖譜在視覺感知方面的應用開展研究。文獻[17-18]利用嵌入知識的表示來識別細粒鳥類物種,文獻[19]采用GCN識別多標簽圖像,文獻[20]引入先驗知識圖譜提高了目標檢測正確率。上述研究構(gòu)造的知識圖結(jié)構(gòu)都比較簡單,大多是基于物體間的語義關(guān)系。知識圖譜廣泛存在于視覺感知任務中,表示了物體和物體間的關(guān)系,主要包括語義關(guān)系和空間位置關(guān)系這兩大類。

在軌加注面臨非結(jié)構(gòu)復雜環(huán)境,其特點為范圍廣、光照復雜和動態(tài)性強,例如：在服務航天器與目標航天器接觸時,隨著太陽照射角度變化,會產(chǎn)生復雜的光照情形?？臻g機械臂在這樣的環(huán)境下自主完成操作任務時,需要具備自主識別和定位能力,實現(xiàn)對操作環(huán)境的實時、準確認知。相比于傳統(tǒng)識別技術(shù),深度學習能夠自主提取復雜環(huán)境特征,實現(xiàn)完全基于樣本的學習,具備一定的魯棒性和適應性。然而基于卷積神經(jīng)網(wǎng)絡(luò)的目標檢測方法,對相似實例的檢測精確率低,對光照變化敏感,大大限制了基于深度學習的視覺感知方法在在軌加注任務中的應用。

本文針對在軌加注任務,提出了基于深度圖推理(Deep Graph Reasoning Method,DGRM)的衛(wèi)星背板部件的檢測方法。相關(guān)研究的最初結(jié)果見文獻[21],文獻[21]對3種簡單的目標的檢測分割給出了數(shù)學仿真結(jié)果。相較于文獻[21],本文對圖卷積網(wǎng)絡(luò)的結(jié)構(gòu)展開了更加深入的研究,細化了圖網(wǎng)絡(luò)結(jié)構(gòu),給出了整體算法的流程圖,在物理仿真中完整地驗證了基于深度圖推理的目標檢測方法的正確性,并在實驗室條件下驗證了提出的方法對光照變化的強適應性和相似實例的高識別率。

1 檢測方法

本文主要以Mask R-CNN為基礎(chǔ)的卷積神經(jīng)網(wǎng)絡(luò)框架來提取圖像特征,并在此基礎(chǔ)上加入了基于知識圖譜的邏輯推理模塊,在提取的特征中融入先驗信息來進一步做推理,以實現(xiàn)對相似部件的檢測,并提高網(wǎng)絡(luò)在光照變化的情況下的魯棒性。

這里給出本文提出的基于深度圖推理的衛(wèi)星背板部件檢測方法的流程圖,如圖1所示,包含2個主要模塊：基于Mask R-CNN的表示學習模塊和基于圖卷積網(wǎng)絡(luò)的邏輯推理模塊,下面分別對這2個模塊進行介紹。圖中掩模區(qū)域卷積神經(jīng)網(wǎng)絡(luò)模塊表示Mask R-CNN。

圖1 基于深度圖推理的衛(wèi)星背板部件檢測方法流程圖

1.1 基于Mask R-CNN的表示學習

Mask R-CNN具備強大的圖像特征提取能力,可以對目標進行像素級的精確定位,滿足在軌加注的精細操作任務需求,因此采用Mask R-CNN來學習圖像表征。Mask R-CNN包含3個主要模塊：特征提取模塊、候選框生成模塊以及檢測和分割模塊,如圖1中的Mask R-CNN部分所示。特征提取模塊從輸入圖像中提取出多層級的特征,候選框生成模塊基于提取出的多層級特征生成一系列候選框,最后,檢測和分割模塊基于多層級特征和候選框,實現(xiàn)對目標的識別、定位與分割。

1) 特征提取

Mask R-CNN以ResNet-FPN作為特征提取網(wǎng)絡(luò),ResNet-FPN具備強大的特征提取能力,可以用來識別結(jié)構(gòu)復雜的衛(wèi)星背板部件。ResNet-FPN在ResNet的基礎(chǔ)上添加了一個特征金字塔網(wǎng)絡(luò)(Feature Pyramid Network,FPN)結(jié)構(gòu)。

ResNet是一種殘差網(wǎng)絡(luò),由He[10]提出,其核心是在一般的深層神經(jīng)網(wǎng)絡(luò)中引入跳層連接,即恒等影射來解決神經(jīng)網(wǎng)絡(luò)隨著層數(shù)的加深而出現(xiàn)的退化現(xiàn)象。神經(jīng)網(wǎng)絡(luò)可以通過自我學習將一些卷積層映射F設(shè)置為很小的數(shù),即F(x)≈0,這就保證可將前面網(wǎng)絡(luò)層的信息x,通過跳層結(jié)構(gòu)傳遞至下一層網(wǎng)絡(luò),即F(x)+x≈x,從而保留每層網(wǎng)絡(luò)提取到的特征圖的關(guān)鍵信息。本方案采用了ResNet-50結(jié)構(gòu)來提取特征,ResNet-50是融入跳層連接的50層卷積神經(jīng)網(wǎng)絡(luò)。

FPN[22]采用具有橫向連接且自上而下的路徑方法將ResNet-50淺層高分辨率、弱語義特征圖與高層低分辨率、強語義特征圖相融合,使得所有尺度上的特征圖都具備強大的表示能力,其示意圖如圖2所示,其中C1～C5是由ResNet-50生成的5個不同尺度的特征圖,P2～P6是經(jīng)由FPN融合相鄰特征圖的表達能力更強的新的特征圖,FPN由卷積操作和池化操作構(gòu)成。

圖2 FPN的多尺度特征融合過程

2) 候選框生成

Mask R-CNN采用RPN(Region Proposal Network)來生成候選框。RPN在ResNet-FPN生成的多個特征層面P2～P6上,都生成了相應的候選區(qū)域,這些候選框的尺寸各不相同,RPN由卷積操作和全連接操作構(gòu)成。由于后續(xù)的檢測和分割模塊需要以固定尺寸的特征圖作為輸入,因此采用了RoIAlign將候選框的特征圖歸一化為相同尺寸,相較于采用量化操作的RoIPooling,RoIAlign在輸出候選框坐標時,采用雙線性內(nèi)插算法,這解決了歸一化前后特征圖不對齊的問題。經(jīng)過上述RPN的計算和RoIAlign操作后,會得到多達上萬的候選框,大多數(shù)候選框存在相互交疊的情況,因此采用非極大值抑制(Non-Maximum Suppression,NMS)算法可以去除交并比高的候選框,保留少數(shù)關(guān)鍵的候選框RoI。

3) 檢測和分割

檢測和分割模塊主要由卷積操作和全連接操作構(gòu)成,候選框RoI被分別送入檢測和分割分支,檢測分支對候選框進行目標分類和定位,分割分支對候選框進行目標像素級分類,即目標分割,兩條分支構(gòu)成一個多任務學習網(wǎng)絡(luò),在訓練過程中,兩個分割的損失同時在最終的損失函數(shù)L中體現(xiàn),互相促進各任務的學習。

定義多任務損失L=Lcls+Lbox+Lmask,采用梯度下降法來學習網(wǎng)絡(luò)參數(shù)。其中Lcls、Lbox的定義和Faster R-CNN的定義一致,衡量了分類代價和定位代價。由于分割分支實際是對感興趣像素點的分類,因此Lmask定義為平均二值交叉熵損失。在測試時,整個算法的偽代碼如算法1所示。

算法1 Mask R-CNN算法偽代碼

輸入:二維RGB圖像輸出:目標類別,目標位置(矩形框),目標掩模1.將圖像送入ResNet-50進行特征提取,得到5個不同深度的卷積層特征圖C1～C5。2.將C1～C5送入FPN,進行下采樣和特征融合,得到特征圖P6～P2。3.將P6～P2傳入RPN,分別得到每個特征層下的候選區(qū),用rpn_probs和rpn_bbox兩個參量表示。4.對rpn_probs和預先定義的anchors進行處理,可初步得到修正后的候選框位置,再根據(jù)rpn_probs和top-N,NMS原則等對候選框進行后處理,得到修建后的少量感興趣區(qū)域rpn_rois。5.采用RoIAlign將rpn_rois與ResNet50提取到的特征圖匹配起來,得到特征圖中的感興趣區(qū)域。6.將特征圖中的感興趣區(qū)域送入全連接層得到目標類別和定位,送入掩模分支進行卷積運算得到掩模。

1.2 基于圖卷積網(wǎng)絡(luò)的邏輯推理

本文在基于Mask R-CNN的表示學習的基礎(chǔ)上,提出了基于圖卷積網(wǎng)絡(luò)的邏輯推理模塊。

圖像中的單個目標是由各具特征的子部件組合而成,且各目標都不是孤立存在的,具有一定的排布關(guān)系,將這些結(jié)構(gòu)化信息與卷積神經(jīng)網(wǎng)絡(luò)提取到的圖像表征相結(jié)合,可以實現(xiàn)相似實例的檢測分割,并保證網(wǎng)絡(luò)在復雜光照條件下的魯棒性。知識圖譜可以將先驗信息融入特征提取過程中,利用圖卷積則可以對知識圖譜進行操作,在圖節(jié)點間傳播先驗信息,增強關(guān)鍵節(jié)點,削弱不相關(guān)的節(jié)點。

衛(wèi)星背板上的部件的正確檢測對于加注操作任務來說至關(guān)重要,尤其是加注口的正確檢測,正確的識別與定位為加注工具的對接及加注提供了保障,實驗中用到的加注端結(jié)構(gòu)如圖3所示,從左至右依次為左對接口、加注口和右對接口。記表示學習模塊檢測到的左對接口、加注口、右對接口、10 N發(fā)動機和490 N發(fā)動機為知識圖譜的節(jié)點。

圖3 加注端上的目標

邏輯推理模塊通過構(gòu)建知識圖譜G={X,A},并利用GCN做邏輯推理。在知識圖譜G的構(gòu)建時,對基于卷積神經(jīng)網(wǎng)絡(luò)的表示學習模塊學到的特征進行抽取,組成節(jié)點初始特征X∈RN×9,N為表示學習模塊檢測到的目標的數(shù)量,當檢測到2個以上的目標時,需要進行進一步的邏輯推理。對每一個目標,抽取學到的9維特征來初始化節(jié)點特征,具體的,若xi表示第i個目標的節(jié)點特征,那么將xi的第i個元素設(shè)置為檢測到的實例為“目標i”的置信度,將xi的第6～9個元素設(shè)置為“目標i”的邊界框坐標?？紤]到各目標具有確定的位置關(guān)系,引入一個非標準的單位上三角矩陣A∈RN×N作為鄰接矩陣,其對角線元素為0。本文設(shè)計的知識圖譜是變結(jié)構(gòu)的,其結(jié)構(gòu)由檢測到的目標的數(shù)量N決定,相比于固定結(jié)構(gòu)的知識圖譜,檢測精確率和運行效率更高。

在構(gòu)建知識圖譜G后,采用圖卷積網(wǎng)絡(luò)實現(xiàn)先驗知識在節(jié)點間的傳播并對節(jié)點特征進行更新。設(shè)計的圖卷積網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示,圖卷積網(wǎng)絡(luò)包含2層圖卷積層,3個全連接層,3次批歸一化(Batch Normalization,BN)操作以及2次非線性變換操作。其中圖卷積層1將節(jié)點特征維數(shù)由9維擴增至12維,圖卷積層2將12維特征壓縮提取為6維,圖卷積層的計算公式為[23]

圖4 GCN的網(wǎng)絡(luò)結(jié)構(gòu)

(1)

在邏輯推理模塊,圖網(wǎng)絡(luò)解決的實際是分類問題,因此,選取交叉熵損失來訓練網(wǎng)絡(luò),一個批的交叉熵損失為

(2)

式中：m為批內(nèi)樣本個數(shù)；n為每個樣本的維數(shù)；p為數(shù)據(jù)的真實概率分布；p(xi)表示樣本的真實標簽；q為數(shù)據(jù)的預測概率分布；q(xi)表示網(wǎng)絡(luò)的實際輸出。

2 數(shù)學仿真

在本文提出的基于深度圖推理的衛(wèi)星背板部件檢測方法中,邏輯推理模塊是提高檢測方法魯棒性的重要部分。因此,在數(shù)學仿真中重點驗證了該模塊的有效性,認為基于卷積神經(jīng)網(wǎng)絡(luò)的表示學習部分是已經(jīng)完成訓練的,即可獲得實例的檢測置信度以及其邊界框的坐標。本節(jié)內(nèi)容是根據(jù)文獻[21]仿真得到的,僅對對接口和加注口的推理檢測進行仿真。

根據(jù)成像原理,采用數(shù)學仿真方法生成目標孔的坐標(像素坐標系下的坐標)和置信度,即世界坐標系和圖像坐標系的變換關(guān)系。在本任務中,假定目標都在同一個平面上,建立世界坐標系,取ZW=0,那么攝像機模型為

(3)

(4)

在仿真中,在一定的約束下隨機生成n、o、p,再根據(jù)給定的目標在世界坐標系下的坐標XW、YW,便可生成目標在圖像坐標系下的坐標u、v。

為了使GCN能夠正確檢測卷積神經(jīng)網(wǎng)絡(luò)無法處理的相似實例,即提高加注端3個孔的檢測率,降低誤檢率和漏檢率,本文按照一定比例生成了檢測正確的目標、誤檢的目標(分類錯誤)和漏檢目標(測到了但置信度比較低),這3類情況在真實物理仿真中最為最常見,最后以npy文件格式存儲這些生成數(shù)據(jù)。

在訓練階段,讀取npy文件中的數(shù)據(jù)作為網(wǎng)絡(luò)結(jié)點的初始特征,按照式(2)定義的損失函數(shù)訓練設(shè)計的圖卷積網(wǎng)絡(luò)。圖5表示了訓練過程中損失函數(shù)變化,橫坐標為訓練次數(shù),縱坐標為損失函數(shù)的值,損失函數(shù)收斂的比較快,在約300次訓練后,就收斂到了極小值。相較于卷積神經(jīng)網(wǎng)絡(luò),圖網(wǎng)絡(luò)結(jié)構(gòu)層數(shù)較淺,參數(shù)較少,收斂的更快。

圖5 訓練過程中圖卷積網(wǎng)絡(luò)的損失函數(shù)的變化(數(shù)學仿真)

圖6和圖7分別給出了漏檢和誤檢情況下的仿真結(jié)果,橫縱坐標軸模擬了圖像坐標系下的橫縱坐標軸。

圖6是漏檢情況下的仿真結(jié)果,圖6(a)和圖6(b) 的第1行和第2行分別都表示了仿真生成數(shù)據(jù)模擬的基于Mask R-CNN的表示學習模塊(基準網(wǎng)絡(luò))和基于知識圖譜的邏輯推理模塊(優(yōu)化網(wǎng)絡(luò))對相同輸入圖像的檢測結(jié)果。在圖6(a)中,基準網(wǎng)絡(luò)沒有檢測到“加注口”,但是優(yōu)化網(wǎng)絡(luò)卻可以正確檢測到“加注口”。而在圖6(b)中,在圖7中,基準網(wǎng)絡(luò)沒有檢測到“右對接口”,而優(yōu)化網(wǎng)絡(luò)正確的檢測到了“右對接口”。

圖6 基準網(wǎng)絡(luò)和優(yōu)化網(wǎng)絡(luò)對加注端的漏檢結(jié)果

圖7是誤檢情況下的仿真結(jié)果,圖7(a)和圖7(b)的第1行和第2行分別都表示了仿真生成數(shù)據(jù)模擬的基于Mask R-CNN的表示學習模塊(基準網(wǎng)絡(luò))和基于知識圖譜的邏輯推理模塊(優(yōu)化網(wǎng)絡(luò))。在圖7(a)中,基準網(wǎng)絡(luò)將“加注口”檢測為了“右對接口”,而將“右對接口”檢測為“加注口”,這對后續(xù)操作很不利,優(yōu)化模塊則正確檢測出了“右對接口”和“加注口”。在圖7(b)中,基準網(wǎng)絡(luò)錯誤的檢測了“左對接口”和“右對接口”,優(yōu)化網(wǎng)絡(luò)則將“左對接口”和“右對接口”正確的定位出來了。

圖7 基準網(wǎng)絡(luò)和優(yōu)化網(wǎng)絡(luò)對加注端的誤檢結(jié)果

表1和表2分別對訓練階段及測試階段的基準網(wǎng)絡(luò)和優(yōu)化模塊的目標檢測正確率進行了統(tǒng)計,可以看到優(yōu)化模塊對相似實例的檢測率有了顯著的改善,且模型具有較好的泛化性。

表1 基準網(wǎng)絡(luò)和優(yōu)化模塊對加注端的檢測精確率(訓練階段)

表2 基準網(wǎng)絡(luò)和優(yōu)化模塊對加注端的檢測精確率(測試階段)

3 物理仿真

為了驗證本文提出的基于深度圖推理的衛(wèi)星背板部件檢測方法對相似部件的檢測效果,以及算法在復雜光照下的檢測效果,搭建了地面物理演示實驗系統(tǒng)和算法平臺,并制備了訓練和測試數(shù)據(jù)集。

1) 地面物理演示實驗系統(tǒng)

地面物理演示實驗系統(tǒng)主要根據(jù)在軌加注的學習訓練環(huán)境的情況進行設(shè)計,用于模擬空間機械臂對受體航天器的在軌加注過程,如圖8所示。

圖8 物理實驗系統(tǒng)

系統(tǒng)主要包括以下幾個部分：模擬空間機器人的UR10工業(yè)機械臂,末端配置單目手眼相機和六維力傳感器；模擬受體航天器的模擬衛(wèi)星端面,端面配置有對接環(huán)、10 N發(fā)動機、490 N發(fā)動機和天線等；模擬燃料加注裝置,包括加注主動端和被動端；用于網(wǎng)絡(luò)訓練的智能算法服務器；其他供配電系統(tǒng)。

2) 算法平臺

硬件環(huán)境主要包括：1塊64位、16核CPU；1塊P40顯卡；1個IntelRealSense D435相機。軟件環(huán)境包括：Ubuntu 16.04.5 LTS操作系統(tǒng)；Caffe2深度學習平臺；編程語言為Python3.6。

3) 數(shù)據(jù)集

為了訓練基于Mask R-CNN的表示學習模塊,使用手眼相機采集2 500張不同角度衛(wèi)星端面圖像并使用Labelme軟件進行標注,共標注了背板上的5類關(guān)鍵目標,分別是10 N發(fā)動機、490 N 發(fā)動機、左對接口、加注孔、右對接口,記上述2 500張圖像為訓練樣本集I。

為了訓練基于圖卷積網(wǎng)絡(luò)的邏輯推理模塊并驗證算法在復雜光照下的檢測效果,在實驗室環(huán)境下,通過調(diào)節(jié)光照亮度,模擬了5種不同的光照環(huán)境,在5種光照環(huán)境下,通過示教學習,讓機械臂在相同的運動軌跡下采集模擬衛(wèi)星端面的圖像,這樣可以排除如成像角度和運動模糊等因素對算法檢測效果的影響。5種光照環(huán)境下,采集到的圖像的平均灰度值如表3所示。

表3 5種光照環(huán)境下圖像的平均灰度值

分別在5種光照環(huán)境下采集圖像,并從光照I環(huán)境下采集到的樣本隨機抽取30%數(shù)量的圖像,從光照V環(huán)境下采集到的樣本隨機抽取30%數(shù)量的圖像,一同作為訓練樣本,來訓練圖卷積網(wǎng)絡(luò),這部分訓練樣本共包含483張圖像,記為訓練樣本集II。而用光照I環(huán)境下采集的剩下70%數(shù)量的圖像,光照II、III、IV環(huán)境下采集到的全部圖像,以及光照V環(huán)境下采集的剩下70%數(shù)量的圖像來測試提出的基于深度圖推理的衛(wèi)星背板部件檢測方法,這部分樣本共包含3 626張圖像,記為測試樣本集。

4) 訓練與測試

在訓練過程中,分別訓練Mask R-CNN和圖卷積網(wǎng)絡(luò)。利用訓練樣本集I訓練Mask R-CNN時,用梯度下降法不斷優(yōu)化網(wǎng)絡(luò)參數(shù)以使損失函數(shù)下降,初始學習率lr=0.02,并按照0.000 1的衰減率減少,在第60 000次和第80 000次衰減學習率,批內(nèi)樣本數(shù)為512；在訓練好的Mask R-CNN的基礎(chǔ)上訓練圖卷積網(wǎng)絡(luò),將訓練樣本集II送入訓練好的Mask R-CNN網(wǎng)絡(luò),并將檢測到的加注端上的目標的置信度和邊界框坐標抽象為圖卷積網(wǎng)絡(luò)的初始特征,采用Adam優(yōu)化方法訓練圖卷積網(wǎng)絡(luò)至損失函數(shù)收斂,初始學習率lr=0.01,每500次訓練步衰減0.1的學習率,在10 000 次循環(huán)后,損失降到了0.006 254,損失函數(shù)的變化如圖9所示,橫坐標為訓練的次數(shù),縱坐標為損失函數(shù)的值。

圖9 訓練過程中圖卷積網(wǎng)絡(luò)的損失函數(shù)的變化(物理仿真)

為了評估提出的基于深度圖推理的衛(wèi)星背板部件檢測方法的有效性,分別采用提出的方法(記為DGRM)和Mask R-CNN(記為MRCNN)對測試樣本集進行了目標的檢測和分割,并就加注端上的左對接口、加注口、右對接口、490 N發(fā)動機、10 N發(fā)動機這5類關(guān)鍵目標的精確率(Precision)和召回率(Recall)這2個指標進行比較(檢測閾值 thresh=0.95)。精確率反應了目標的誤檢測情況,而召回率反應了目標的漏檢測情況。精確率和召回率的計算公式為

(5)

(6)

式中：TP表示分類正確且分類結(jié)果為正樣本；FP表示分類錯誤且分類結(jié)果為正樣本;FN表示分類錯誤且分類結(jié)果為負樣本,正樣本表示計算指標時所考慮的樣本類別,而負樣本表示除了正樣本以外的其他樣本類別,以計算10 N發(fā)動機的精確率為例,正樣本為10 N發(fā)動機,而2個對接口,一個加注口和490 N發(fā)動機均為負樣本。結(jié)果如表4～表8所示。

表4 光照I下樣本檢測的精確率和召回率

表6 光照III下樣本檢測的精確率和召回率

表7 光照IV下樣本檢測的精確率和召回率

表8 光照V下樣本檢測的精確率和召回率

在不同的光照強度下,MRCNN和DGRM對衛(wèi)星背板上的5類關(guān)鍵目標的平均檢測精確率和召回率分別如圖10和圖11所示,以5種光照強度下采集到的圖像的平均灰度值為橫坐標來表示不同的光照強度,橫縱坐標均為無單位常量。

圖10 光照I～光照V下MRCNN和DGRM檢測平均精確率

圖11 光照I～光照V下MRCNN和DGRM檢測平均召回率

隨著光照強度由暗到明(光照I～光照V),MRCNN方法,除了在光照I下,對左對接口的檢測精確率為99.64%,對右對接口的檢測精確率為99.07%,在光照I～光照V下,對其他各類目標的檢測精確率均為100%,這說明在變化的光照下,MRCNN對背板上的各類目標幾乎不存在誤檢測的情況,這是因為各類目標的外形差異較大,而MRCNN具備良好的復雜目標特征提取性能；采用MRCNN方法,變化的光照對各類目標檢測的召回率產(chǎn)生了不同的影響,對于右對接口、加注口和10 N發(fā)動機這3類目標,隨著光照的增強,其召回率先提升后穩(wěn)定,對于左對接口,隨著光照的增強,其召回率先由62.22%(光照I)提升至99.06%(光照IV),后降低至91.07%(光照V),對于490 N發(fā)動機,其召回率穩(wěn)定在100%(光照III下為99.86%),這可能是因為490 N發(fā)動機的尺寸明顯大于其他4類目標,且由相對粗糙的材料制造,對光照的反射弱于其他4類目標,光照對于大尺寸、光反射性能弱的目標的漏檢影響更小。

綜上所述,變化的光照影響MRCNN對目標的檢測效率,在本實驗中,主要體現(xiàn)在影響了目標檢測的召回率。

在相同的光照強度下,相較于MRCNN,DGRM大幅提高了目標檢測的召回率,見圖11；對于精確率而言,盡管在光照I和光照II下,DGRM對目標檢測的平均精確率略低于MRCNN方法,但仍高于96%,在可接受的范圍內(nèi)。

隨著光照強度由暗到明(光照I～光照V),DGRM對目標檢測的平均精確率和平均召回率是逐漸提升的,但幅度不大,總體來說較穩(wěn)定,且均高于96%。這說明,在變化的光照環(huán)境下,DGRM具有更優(yōu)的目標檢測效率,也就是說,DGRM是一種適用于一定范圍變化光照下的一種高效目標檢測方法。

給出光照I～光照V下,MRCNN和DGRM對相同圖像(僅光照不同)的檢測結(jié)果,如圖12所示。圖中藍色、紅色、綠色、黃色、白色掩模分別表示左對接口、加注口、右對接口、10 N發(fā)動機和490 N發(fā)動機(圖13和圖14相同)。

圖12的圖像結(jié)果和表5～表9數(shù)據(jù)結(jié)果一致,即變化的光照對MRCNN的檢測召回率有影響,而DGRM在變化的光照下的檢測召回率較高且穩(wěn)定。在光照I和光照II下,盡管DGRM未能將加注口正確的檢測出來,但是,相較于MRCNN,也分別正確檢測出右對接口和左對接口。

圖12 光照I～光照V下MRCNN和DGRM的檢測分割結(jié)果

在光照I下,MRCNN和DGRM對相同圖像(僅光照不同)的檢測結(jié)果,如圖13所示。

如圖13所示,MRCNN將加注口錯誤的識別為左對接口,而DGRM識別結(jié)果正確,這說明DGRM可以對有效地區(qū)分相似實例。

圖13 光照I下MRCNN和DGRM對相似實例的檢測分割結(jié)果

MRCNN和DGRM對模擬衛(wèi)星端面的檢測分割結(jié)果如圖14所示。可以看到,相較于MRCNN,DGRM對復雜形狀的目標均有良好的檢測效果。

圖14 MRCNN和DGRM的檢測分割結(jié)果

4 結(jié) 論

1) 本文采用的基于深度學習的方法,可以有效地檢測復雜形狀的目標,不依賴于手工設(shè)計的特征。

2) 相較于基于卷積神經(jīng)網(wǎng)絡(luò)的目標檢測方法,本文提出的基于深度圖推理的方法提高了復雜光照環(huán)境下部件的檢測正確率。

3) 本文提出的基于深度圖推理方法可以有效地區(qū)分外形相似的不同部件。

4) 本文提出的基于深度圖推理方法的有效性在數(shù)學仿真和物理仿真中均得到了驗證。