基于深度學(xué)習(xí)的災(zāi)后建筑物損壞程度檢測綜述

陳曉藝,陸一鳴,沈加煒,錢美玲,陸衛(wèi)忠,3,4

(1.蘇州科技大學(xué) 電子與信息工程學(xué)院,江蘇 蘇州 215009;2.蘇州科技大學(xué)天平學(xué)院,江蘇 蘇州 215009;3.蘇州科技大學(xué) 蘇州智慧城市研究院,江蘇 蘇州 215009;4.蘇州科技大學(xué) 蘇州市虛擬現(xiàn)實智能交互及應(yīng)用技術(shù)重點實驗室,江蘇 蘇州 215009)

0 引 言

計算機(jī)視覺是使用計算機(jī)及相關(guān)設(shè)備對生物視覺的一種模擬。它的主要任務(wù)就是通過對采集的圖片或視頻進(jìn)行處理以獲得相應(yīng)場景的三維信息。自然災(zāi)害后建筑物損壞程度檢測是計算機(jī)視覺領(lǐng)域的其中一個方向,其目標(biāo)是通過綜合運(yùn)用圖像處理、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等技術(shù),從靜態(tài)圖片中能夠快速檢測出自然災(zāi)害后建筑物的損壞程度等相關(guān)信息,在自然災(zāi)害后的救援工作中有著重要的研究價值和廣泛需求。近年來,計算機(jī)視覺技術(shù)和深度學(xué)習(xí)等發(fā)展迅速,因此,將深度學(xué)習(xí)和計算機(jī)視覺技術(shù)相結(jié)合的方法是檢測自然災(zāi)害后建筑物損壞程度的主要研究思路。

首先,介紹了基于計算機(jī)視覺的自然災(zāi)害后建筑物損壞程度檢測的相關(guān)任務(wù)、難點和發(fā)展現(xiàn)狀;其次,介紹了xBD數(shù)據(jù)集,并說明了其算法的相關(guān)評價標(biāo)準(zhǔn)。同時對深度學(xué)習(xí)方法中幾種應(yīng)用于建筑物損壞程度檢測的卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行總結(jié);最后,對其存在的問題及未來可能的發(fā)展方向進(jìn)行了討論。

1 研究背景

1.1 自然災(zāi)害后建筑物損壞程度檢測的關(guān)鍵任務(wù)

當(dāng)自然災(zāi)害發(fā)生時,快速準(zhǔn)確的信息對于有效的應(yīng)對至關(guān)重要。不僅可以更好地在受影響地區(qū)進(jìn)行資源部署,還可以盡可能了解建筑物損壞的位置和嚴(yán)重程度。隨著科技的發(fā)展,衛(wèi)星圖像在受災(zāi)地區(qū)的采集提供了強(qiáng)大的信息來源,可用于評估自然災(zāi)害后建筑物受到損害的程度和范圍。在當(dāng)前工作中,雖然專家對衛(wèi)星和航空圖像的分析結(jié)果對于快速響應(yīng)、及時救援很有用,但這仍然會導(dǎo)致時間上的滯后。原因是所涉及范圍極大,即使是有大量人員對受災(zāi)地區(qū)進(jìn)行分析和研究,也可能需要數(shù)周時間才能完全繪制了解受災(zāi)地區(qū)的具體范圍和程度,極大浪費救援時間,在時間至關(guān)重要的情況下,需要想辦法盡可能改善這種情況。

首先,計算機(jī)和人工智能快速發(fā)展,為提高檢測速度,縮短檢測時間提供了可能。其次,最近幾年 UAV(無人駕駛飛行器)技術(shù)的普及為建筑物損壞檢測提供了一種額外的工具,從過去幾年收集到的越來越多的災(zāi)難后圖像數(shù)據(jù)中證實了這一點。盡管無人機(jī)在數(shù)據(jù)捕獲方面具有靈活性,但它們的圖像質(zhì)量和可用性很差——與衛(wèi)星和載人航空平臺相比,它們可以覆蓋的空間范圍受到嚴(yán)重限制。因此,當(dāng)?shù)氐木仍犖榭梢院芎玫貞?yīng)用無人機(jī)進(jìn)行圖像的收集[1],但是不能將它收集到的圖片作為分析受影響區(qū)域建筑物損壞程度的唯一依據(jù)。不同類型的人為和自然災(zāi)害(即地震、爆炸、臺風(fēng)、洪水、海嘯等)對建筑結(jié)構(gòu)的影響不同,通常會在遙感數(shù)據(jù)中產(chǎn)生獨特的特點。根據(jù)所考慮的災(zāi)害類型,可見的結(jié)構(gòu)性建筑損壞可能看起來完全不同,目前還沒有一種能夠自動準(zhǔn)確地應(yīng)對所有不同類型的災(zāi)害的通用方法。

在過去幾年中,卷積神經(jīng)網(wǎng)絡(luò)(Krizhevsky et al.,2012)[2]在各種計算機(jī)視覺任務(wù)上表現(xiàn)極其出色,在目標(biāo)識別和圖像分割(LeCun等人,2015年)[3]等方向,甚至取得了相當(dāng)于人類視覺水平的性能。然而,還需要考慮災(zāi)害評估方法的實用性,因此開發(fā)一種高精度、實用的災(zāi)害評估方法對于災(zāi)害中的應(yīng)急救援具有重要意義,也是自然災(zāi)害后建筑物損壞程度檢測的關(guān)鍵任務(wù)。目前,主流的建筑損傷評估方法包括兩個主要步驟:建筑定位和評估損傷的分類。如果能夠提供建筑物的詳細(xì)占地面積信息,那么進(jìn)行建筑定位就會容易很多。但現(xiàn)實情況卻不容樂觀,在災(zāi)害事件中,尤其是在欠發(fā)達(dá)地區(qū)的災(zāi)害事件中,基本沒有詳細(xì)可用的占地面積信息。并且建筑定位極大影響著損壞程度分類,甚至建筑定位信息的準(zhǔn)確性直接影響到分類結(jié)果。因此,相關(guān)科研人員也在為能夠精確定位建筑物不斷努力。

1.2 自然災(zāi)害后建筑物損壞程度檢測的難點

在智能建筑損傷等級評估的應(yīng)用中,盡管基于卷積神經(jīng)網(wǎng)絡(luò)的衛(wèi)星圖像建筑物損傷評估已經(jīng)取得了一系列研究成果,但仍有許多挑戰(zhàn)和難點有待討論。

該文將具體實際經(jīng)驗和實驗與災(zāi)后所采集的數(shù)據(jù)集的使用相結(jié)合。首先,利用衛(wèi)星圖像對基于卷積神經(jīng)網(wǎng)絡(luò)的建筑物損壞評估算法進(jìn)行了全面綜述。其次,對基于操作卷積神經(jīng)網(wǎng)絡(luò)對衛(wèi)星圖像進(jìn)行建筑物損傷評估的四個技術(shù)難點進(jìn)行了深刻討論,具體如下:(1)在評估指標(biāo)不一致的情況下,各種方法的準(zhǔn)確性應(yīng)該怎么比較;(2)無人機(jī)圖像可能是衛(wèi)星圖像之外的另一個重要來源。然而,災(zāi)前無人機(jī)圖像往往缺乏歷史數(shù)據(jù),在沒有災(zāi)前衛(wèi)星圖像的情況下,建筑物損壞評估應(yīng)該怎么進(jìn)行;(3)當(dāng)數(shù)據(jù)集類別極度不平衡時,在預(yù)測中如何去平衡數(shù)據(jù)集;(4)應(yīng)采用哪些技術(shù)解決方案來提高建筑物損壞評估模型的準(zhǔn)確性,從而實現(xiàn)快速預(yù)測。

1.3 自然災(zāi)害后建筑物損壞程度檢測的研究現(xiàn)狀

為了解決上述難點和挑戰(zhàn),一些研究人員應(yīng)用了五分類進(jìn)行語義分割,即將“無建筑”也視為一種損壞類別。該方法解決了在兩階段結(jié)構(gòu)下,損傷等級的分類高度依賴于建筑物定位精度的問題。雖然關(guān)于建筑物足跡分割和變化檢測的文獻(xiàn)非常廣泛,但衛(wèi)星圖像評估建筑物損壞的問題只得到了有限的關(guān)注[4-5]。Xu等人[6]描述了一種構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)的方法,該方法以受損/未受損建筑的二元像素分類為框架,在一個跨越三次災(zāi)難的專有數(shù)據(jù)集上,可以通過使用災(zāi)難前后圖像自動檢測衛(wèi)星圖像中的受損建筑物。如果對該區(qū)域的一小部分示例進(jìn)行微調(diào),該模型可以很好地推廣到新的受災(zāi)區(qū)域。Cooner等人[7]將多種機(jī)器學(xué)習(xí)方法在建筑物損傷檢測中的性能與2010年海地地震前后的衛(wèi)星圖像進(jìn)行了比較,發(fā)現(xiàn)使用前饋神經(jīng)網(wǎng)絡(luò)的效果最好,錯誤率僅為40%。Ji等人[8]開發(fā)了一個卷積網(wǎng)絡(luò),用于從海地地震的事后衛(wèi)星圖像中識別倒塌的建筑物,總體準(zhǔn)確率達(dá)到78.6%。Duarte等人[9]將捕獲災(zāi)害的無人機(jī)和衛(wèi)星圖像結(jié)合起來,以提高其卷積網(wǎng)絡(luò)的準(zhǔn)確性,最佳報告準(zhǔn)確率為94.4%。在這些模型中,圖像上受損建筑物的檢測都是一個二值像素分類問題。Yang等人[10]的研究表明,卷積神經(jīng)網(wǎng)絡(luò)(CNN)可以執(zhí)行基于特征的多時相遙感圖像配準(zhǔn),并且在大多數(shù)情況下檢測結(jié)果超過了其他方法。Nia和Mori[11]提出了一種僅使用災(zāi)后圖像進(jìn)行建筑物損壞評估的原始深度學(xué)習(xí)模型。該模型使用了三個神經(jīng)網(wǎng)絡(luò):DilatedNet、LeNet和VGG。其中,DilatedNet的作用是對輸入數(shù)據(jù)進(jìn)行預(yù)處理,而VGG和LeNet的作用是從輸入源中提取深度特征。該方法表明,卷積神經(jīng)網(wǎng)絡(luò)可以對災(zāi)后圖像進(jìn)行損傷評估。Valentijn等人[12]提出了一種CNN,它由兩個用于從災(zāi)前/災(zāi)后圖像中提取特征的inception-v3塊和一組用于分類器的完全連接的層組成。為了克服過度擬合的問題,他們?yōu)槊總€完全連接的層使用了一個批標(biāo)準(zhǔn)化層和一個dropout層,并分析了CNN的可推廣性和可轉(zhuǎn)移性。Weber等人[13]使用帶有FPN架構(gòu)的Mask R-CNN和相同的模型架構(gòu)來構(gòu)建定位和每像素?fù)p傷分類。此外,他們沒有處理完整的圖像,而是在圖像前后的象限上訓(xùn)練架構(gòu),并融合最終的分割層,以更準(zhǔn)確地繪制建筑邊界。Hao[14]為損傷分類和建筑物分割設(shè)計了一個端到端的Siam-U-Net-Attn模型,這個方法是通過嵌入建筑物的分割特征來加強(qiáng)對建筑物的損壞程度進(jìn)行分類。具體來說,U-Net模型用于災(zāi)前和災(zāi)后圖像以生成二進(jìn)制掩碼。U-Net編碼器產(chǎn)生的兩個特征在Siamese網(wǎng)絡(luò)中使用不同的融合方法進(jìn)行融合,這不僅可以比較兩個輸入幀的特征以檢測建筑物損壞,還可以從編碼器區(qū)域提取特征,提高損傷分類的準(zhǔn)確性。該方法在定位方面取得了可觀的交叉聯(lián)合分?jǐn)?shù)(IoU),并且在將建筑物分類為未損壞和被破壞時表現(xiàn)良好。因此,使用該方法首先需要平衡建筑物損壞程度分類。綜上,這些模型雖取得良好表現(xiàn),但還是無法準(zhǔn)確地區(qū)分輕微和嚴(yán)重受損的建筑物。

2 數(shù)據(jù)集和評價指標(biāo)

2.1 數(shù)據(jù)集

2.1.1 xBD數(shù)據(jù)集背景

為了提高人道主義援助和救災(zāi)領(lǐng)域的資源分配、援助路線、救援和恢復(fù)以及許多其他任務(wù)的效率,在自然災(zāi)害救援的背景下要完成這些任務(wù),對該地區(qū)受損建筑的數(shù)量和程度的了解至關(guān)重要。但是這些數(shù)據(jù)的收集十分不容易,這需要地面人員在災(zāi)難期間或災(zāi)難發(fā)生后立即收集數(shù)據(jù)并直接評估損失。隨著衛(wèi)星圖像可用性的增加,這項任務(wù)不僅可以遠(yuǎn)程完成,還可以通過應(yīng)用強(qiáng)大的計算機(jī)視覺算法自動完成。為解決這一問題,盡快分析出建筑物的受災(zāi)數(shù)量和程度,必須大量提供包含多種損傷類型的圖像。其他用于自然災(zāi)害后建筑物損壞程度的數(shù)據(jù)集自然災(zāi)害類型單一,為此,將介紹包含多種自然災(zāi)害類型的數(shù)據(jù)集——xBD數(shù)據(jù)集:一個大型衛(wèi)星圖像數(shù)據(jù)集。

2.1.2 xBD數(shù)據(jù)集介紹

xBD數(shù)據(jù)集用于xView2的挑戰(zhàn)賽。是迄今為止最大的建筑損壞評估數(shù)據(jù)集,包含災(zāi)前和災(zāi)后衛(wèi)星圖像以及850 736個建筑注釋,覆蓋45 362平方公里的土地圖像。該數(shù)據(jù)集包含19個不同的自然災(zāi)害事件,這19個事件可在完整的xBD數(shù)據(jù)集中通過22 068幅圖像獲得,數(shù)據(jù)集中包含850 736個建筑多邊形。每個圖像都有1 024×1 024像素的分辨率。該數(shù)據(jù)集旨在推動創(chuàng)建準(zhǔn)確高效的機(jī)器學(xué)習(xí)模型,從災(zāi)前和災(zāi)后衛(wèi)星圖像評估建筑物損壞。

該數(shù)據(jù)集是首次嘗試在多個災(zāi)害類型、結(jié)構(gòu)類別和地理位置的衛(wèi)星圖像中創(chuàng)建統(tǒng)一的建筑物損壞評估尺度。損傷程度劃分為4個等級,如表1所示,即從無損傷(0)到破壞(3)。

表1 建筑物損壞程度等級評估

2.1.3 xBD數(shù)據(jù)集數(shù)據(jù)分析

xBD數(shù)據(jù)集分別以80%、10%、10%的拆分率拆分為Train數(shù)據(jù)集、Test數(shù)據(jù)集和Holdout數(shù)據(jù)集。具體拆分?jǐn)?shù)據(jù)如表2所示 。

表2 xBD數(shù)據(jù)集介紹

xBD數(shù)據(jù)集所包含的19個自然災(zāi)害事件并不是均勻分布,圖1展示了不同災(zāi)害事件的出現(xiàn)頻次。其中,野火災(zāi)害出現(xiàn)次數(shù)最多,其次是叢林大火,地震出現(xiàn)次數(shù)最少。

圖1 不同災(zāi)害事件的覆蓋區(qū)域

xBD數(shù)據(jù)集對計算機(jī)視覺界來說是一個挑戰(zhàn),因為災(zāi)難標(biāo)簽和類型的分布是高度不平衡的。此外,利用計算機(jī)視覺區(qū)分不同程度損傷的可能非常微小。不同類型災(zāi)害的負(fù)面圖像的不同可用性也可能是定位模型的一個障礙。

2.2 評價指標(biāo)

基于四個常見的評價分類來計算相關(guān)評價指標(biāo),假設(shè)只有正例和負(fù)例,四個常見的樣本分類分別為TP、FP、TN、FN[15],各個分類代表的具體內(nèi)容分別是:

TP:True Positive,預(yù)測為正例,標(biāo)簽的真實值也是正例。

FP:False Positive,預(yù)測為正例,標(biāo)簽的真實值是負(fù)例。

TN:True Negative,預(yù)測為負(fù)例,標(biāo)簽的真實值也是負(fù)例。

FN:False Negative,預(yù)測為負(fù)例,標(biāo)簽的真實值是正例。

目前,對于xBD數(shù)據(jù)集建筑物損壞程度的評估,還沒有標(biāo)準(zhǔn)一致的評價指標(biāo)。通過對相關(guān)論文的復(fù)現(xiàn)研究及了解,大多數(shù)論文采用以下幾個指標(biāo):(1)準(zhǔn)確率(Precision)。又稱為查準(zhǔn)率,指的是在預(yù)測結(jié)果中,有些會預(yù)測為正樣本,在這些預(yù)測為正樣本的結(jié)果中,能夠正確預(yù)測為正樣本的概率,簡稱為P,P=TP/(TP+FP)。(2)召回率(Recall)。又稱為查全率,指的是在原始樣本的正樣本中,最后被正確預(yù)測為正樣本的概率,其公式為:Recall=TP/(TP+FN)[16]。(3)F1分?jǐn)?shù)(F1 Score),是統(tǒng)計學(xué)中用來衡量二分類模型精確度的一種指標(biāo)。它同時兼顧了分類模型的精確率和召回率,F1分?jǐn)?shù)值越大,說明模型效果越好。其公式為:F1=2(P*Recall)/(P+Recall)。

3 深度學(xué)習(xí)在自然災(zāi)害后建筑物損壞程度檢測的應(yīng)用現(xiàn)狀

3.1 基線模型

對于建筑物損壞程度分類的評估,需要解決兩個問題,第一個是建筑的定位,第二是建筑每像素?fù)p壞分類。因此,完成該工作需要完成兩個任務(wù)(即識別是否有建筑物和確定建筑物的損壞程度)。基線模型中對于兩個任務(wù)使用了兩個獨立的網(wǎng)絡(luò)[17]。圖2中描述了該任務(wù)的基線模型。首先,對于建筑物的定位,使用U-Net[18]架構(gòu),作用是對該位置進(jìn)行是“背景”還是“建筑物”的二進(jìn)制像素分類。其次,對于損壞程度評估,使用的是在ImageNet[19]上預(yù)訓(xùn)練好的 ResNet-50[20]網(wǎng)絡(luò)模型,該模型中輸入的是損壞后的圖像和來自淺層CNN訓(xùn)練出的附加特征。所有卷積層都使用ReLU激活函數(shù),輸出一個One-hot向量,其中每個元素代表一個概率。該模型使用的損失函數(shù)是序數(shù)交叉熵?fù)p失函數(shù)。與傳統(tǒng)的交叉熵不同,序數(shù)交叉熵相對于真實值和預(yù)測值之間的距離進(jìn)行抉擇。由于任何兩個類別之間的差異不可互換,因此該損失函數(shù)可以使模型區(qū)分不同級別的損壞。

圖2 基線模型

通過訓(xùn)練,其結(jié)果如表3所示。

表3 基線模型實驗結(jié)果

如表3所示,召回率偏低,可能的原因是嚴(yán)重?fù)p壞被歸類于輕微損壞所導(dǎo)致。由于數(shù)據(jù)集極度不平衡,分類結(jié)果可能會產(chǎn)生更大的分離。該模型是第一個可以自動評估建筑物損壞并遠(yuǎn)程執(zhí)行的模型。然而,有的損壞類別的視覺差異并不明顯,甚至可能非常細(xì)微,該模型會在這差別不大的兩個類別之間產(chǎn)生高度混淆。

3.2 圖神經(jīng)網(wǎng)絡(luò)模型

Robert Trevino等人旨在自動化評估災(zāi)后建筑物損壞的過程,能夠?qū)?zāi)后部署進(jìn)行快速和高效的響應(yīng)。他們考慮到自然災(zāi)害破壞的空間特性,認(rèn)為評估建筑物損壞程度基于圖的學(xué)習(xí)應(yīng)該是有效的。在高分辨率衛(wèi)星圖像、位置和時間數(shù)據(jù)上進(jìn)行訓(xùn)練,Robert Trevino等人設(shè)計了一個混合GCN+CNN模型來有效地對每個建筑物的損傷等級進(jìn)行分類,其原理是利用基于圖的技術(shù)對此進(jìn)行改進(jìn)。該模型為混合深度學(xué)習(xí)模型,衛(wèi)星圖像分別在兩個網(wǎng)絡(luò)上進(jìn)行訓(xùn)練,這兩個網(wǎng)絡(luò)分別是基于相鄰建筑物的損傷空間分類的圖卷積網(wǎng)絡(luò),以及在ImageNet上預(yù)訓(xùn)練的ResNet-50網(wǎng)絡(luò)。上半部分基于衛(wèi)星圖像數(shù)據(jù),下半部分保留ImageNet捕獲的特征;輸出的是包含帶以彩色多邊形為注釋的衛(wèi)星圖像,彩色多邊形用于識別該地區(qū)的特定建筑物,以及表示建筑物災(zāi)后受損程度的評級。

如圖3所示,將圖與強(qiáng)大的卷積神經(jīng)網(wǎng)絡(luò)(CNN)結(jié)合使用,充分提取了空間特征。如表4所示,該模型與基線模型相比,極大提高了不同損傷類別的召回率、準(zhǔn)確率和F1分?jǐn)?shù)。

圖3 圖神經(jīng)網(wǎng)絡(luò)模型

表4 基線模型和圖神經(jīng)網(wǎng)絡(luò)模型的實驗結(jié)果對比

實驗表明,該方法性能優(yōu)于先前使用基線 ResNet-50 架構(gòu)以及強(qiáng)大的經(jīng)典機(jī)器學(xué)習(xí)算法報告的基線值,該模型相比于基線模型效果明顯提高。

3.3 基于金字塔池化模塊的半連體網(wǎng)絡(luò)模型

建筑物損壞評估的任務(wù)分為兩個階段。第一階段在圖像上識別建筑物,這是一個定位問題。大多使用諸如CNN之類的算法來判斷輸入的圖像上是否有建筑物。然后將定位建筑的圖片用作第二階段的實驗,來評估建筑物的損壞程度。基于這一思想,Bai等人[21]設(shè)計了一個網(wǎng)絡(luò)來判斷建筑物的位置并評估其損壞程度。該方法單獨使用災(zāi)前圖像來判斷建筑物的位置并生成相應(yīng)圖像,然后使用災(zāi)前圖像和災(zāi)后圖像來評估建筑物損壞程度。為了使定位建筑物位置的圖像產(chǎn)生準(zhǔn)確的評估結(jié)果,該方法直接將其乘以評估估計器的輸出(見圖4)。圖4顯示了該網(wǎng)絡(luò)的體系結(jié)構(gòu)。該網(wǎng)絡(luò)基于半連體戰(zhàn)略,網(wǎng)絡(luò)淺層的權(quán)重共享兩個輸入圖像(即災(zāi)前/災(zāi)后圖像),以使其通過共同學(xué)習(xí)兩者的低水平特征來產(chǎn)生良好的“過濾器庫”。隨著層的深入,繼而停止共享權(quán)重,并對兩個輸入使用獨立的分支,然后將這兩個分支的輸出結(jié)果融合,加強(qiáng)網(wǎng)絡(luò)學(xué)習(xí)災(zāi)前圖像和災(zāi)后圖像之間的差異。網(wǎng)絡(luò)的尾部,使用層的單個分支來產(chǎn)生最終的結(jié)果。在網(wǎng)絡(luò)中,使用具有擴(kuò)張卷積和“Squeeze-and-Excitation”(SE)塊的殘差塊。 使用殘差塊的動機(jī)是網(wǎng)絡(luò)可以通過殘差塊中使用的大小擴(kuò)張率從大小感受野中提取特征以提高其對建筑物的評估能力。此外,SE塊網(wǎng)絡(luò)能夠關(guān)注重要特征,同時還可以抑制不太有用的特征。在網(wǎng)絡(luò)末端,緊接SE塊之前使用金字塔池模塊,并使用卷積層加強(qiáng)了特征的聚合。

圖4 基于金字塔池化模塊的半連體網(wǎng)絡(luò)

(殘差塊’和殘差塊的區(qū)別在于殘差塊’有一個額外的卷積層和BN層(批量歸一化層),其目的是在需要時改變輸入張量的通道數(shù)或大小)

另外,該方法在xBD數(shù)據(jù)集上進(jìn)行了增強(qiáng)和擴(kuò)充,如表5所示,與最初的基線模型相比,半連體網(wǎng)絡(luò)可顯著改善指標(biāo)。

表5 半連體網(wǎng)絡(luò)模型與基線模型實驗結(jié)果對比

在這項研究中,Bai等人開發(fā)的帶有金字塔池模塊的端到端注意力機(jī)制的半連體網(wǎng)絡(luò)采用擴(kuò)張卷積,利用了輸入圖像的全局和局部特征,同時采用了SE機(jī)制。實驗表明,該模型在建筑物定位和損傷分類都取得了令人滿意的結(jié)果。

4 結(jié)束語

闡述了災(zāi)后建筑物損壞程度檢測的任務(wù)以及存在的技術(shù)難點,對時下用于xBD數(shù)據(jù)集的幾種卷積神經(jīng)網(wǎng)絡(luò)以及相關(guān)檢測算法分別進(jìn)行了綜述,詳細(xì)講述了不同算法的優(yōu)缺點,同時對xBD數(shù)據(jù)集進(jìn)行介紹,并說明了其算法的相關(guān)評價標(biāo)準(zhǔn)。當(dāng)前階段,計算機(jī)和圖像檢測技術(shù)快速發(fā)展,建筑物損壞程度的相關(guān)檢測算法也在不斷進(jìn)步和更新,該文認(rèn)為還存在幾個方面需要進(jìn)一步探索和研究:

(1)夜間環(huán)境下的建筑物的損壞程度檢測。

現(xiàn)有的圖像分類和語義分割及建筑物損壞程度的檢測的數(shù)據(jù)集大多數(shù)都是白天所收集到的圖片數(shù)據(jù),對于夜間收集到的圖片數(shù)據(jù)來講,光線暗,亮度低,對建筑物損壞程度識別效果達(dá)不到所期望的要求。因此,為提高夜間數(shù)據(jù)集的精確度,夜間條件下的數(shù)據(jù)預(yù)處理和建筑物損壞程度相關(guān)檢測算法需要進(jìn)一步的研究。

(2)算法模型的進(jìn)一步深入優(yōu)化。

當(dāng)前,所構(gòu)建的相關(guān)檢測模型還可以繼續(xù)深入和優(yōu)化。首先,當(dāng)一個模型想要超越人類的檢測效果時,需要百萬級別的樣本進(jìn)行訓(xùn)練才可以達(dá)到,但是百萬級別的數(shù)據(jù)集需要大量人工進(jìn)行手動標(biāo)注,工作繁重,限制相關(guān)檢測模型的發(fā)展,因此小樣本訓(xùn)練和無監(jiān)督模型也應(yīng)繼續(xù)重點關(guān)注和研究。其次是數(shù)據(jù)量大時,相關(guān)模型檢測需要大參數(shù),計算空間的消耗過大,不利于進(jìn)行實時監(jiān)測,不能使用小型設(shè)備嵌入相關(guān)算法,所以需要進(jìn)一步研究探索算法模型的輕量化。