基于EfficientNet對(duì)地震受災(zāi)建筑物破壞評(píng)估

丁子林,姚新強(qiáng),李雅靜,張 勇

(1. 天津市地震局,天津 300201; 2. 云南省地震局,云南 昆明 650041)

0 引言

破壞性地震發(fā)生后,快速地獲取災(zāi)區(qū)信息,對(duì)于救援指揮、救援物資運(yùn)輸?shù)囊饬x重大。由于大部分人員傷亡是由于建筑物的破壞而引起的,所以建筑物的受損信息,對(duì)于應(yīng)急救援非常重要。傳統(tǒng)的災(zāi)情獲取方式包含現(xiàn)場(chǎng)調(diào)查[1]、基于GIS數(shù)據(jù)的評(píng)估技術(shù)[2]和遙感技術(shù)[3],其中,現(xiàn)場(chǎng)調(diào)查和評(píng)估技術(shù),需要投入大量人力、物力,往往不能及時(shí)、準(zhǔn)確地了解地震現(xiàn)場(chǎng)情況。另外,遙感技術(shù)僅能從受損的建筑物上方進(jìn)行觀測(cè),還受限于天氣等客觀因素,同時(shí),通過(guò)遙感技術(shù)獲取的數(shù)據(jù),還需要相關(guān)的技術(shù)人員進(jìn)行分析,這一般需要數(shù)小時(shí)的時(shí)間,造成這種技術(shù)往往難以滿足救災(zāi)的需要。

近些年,智能手機(jī)和社交媒體軟件的廣泛使用,為實(shí)時(shí)的災(zāi)情數(shù)據(jù)獲取提供了良好的環(huán)境,智能移動(dòng)設(shè)備不僅可以采集和發(fā)送文字、聲音、圖像,還可以同時(shí)獲得智能移動(dòng)設(shè)備的地理坐標(biāo)數(shù)據(jù),這為災(zāi)后快速地收集災(zāi)情提供了基礎(chǔ)條件[4]。針對(duì)社交媒體災(zāi)情數(shù)據(jù),有學(xué)者以多種自然災(zāi)情現(xiàn)場(chǎng)的識(shí)別為主題,進(jìn)行數(shù)據(jù)采集分析[5]。也有采用爬蟲方式對(duì)文本數(shù)據(jù)進(jìn)行采集挖掘,進(jìn)行主題識(shí)別[6],或者對(duì)災(zāi)民的情緒判別[7]。有些學(xué)者針對(duì)某一類災(zāi)情的數(shù)據(jù)進(jìn)行收集分類,例如地震[8]、洪水[9]、颶風(fēng)[10]。雖然也有學(xué)者對(duì)蘊(yùn)含其中的空間位置信息進(jìn)行提取[11],但可以看出,大部分學(xué)者的研究集中在社交媒體中的文字、圖像數(shù)據(jù)。由于圖像比文字蘊(yùn)含更多的信息[12],并且更加客觀、真實(shí),所以針對(duì)社交媒體的圖像獲取、分析的研究越來(lái)越多。

以大數(shù)據(jù)的視角[13],對(duì)社交媒體中圖像數(shù)據(jù)進(jìn)行分析處理,是絕大部分學(xué)者的選擇。有學(xué)者采用支持向量機(jī)對(duì)火災(zāi)進(jìn)行識(shí)別分類[14],但更多的學(xué)者采用深度學(xué)習(xí)的方法,對(duì)圖像進(jìn)行分類、檢測(cè),例如,使用VGG[15]、ResNeT[16]、InceptionNet[17]等網(wǎng)絡(luò)模型進(jìn)行分析。針對(duì)建筑物破壞,有學(xué)者采取結(jié)合ResNet和YOLO網(wǎng)絡(luò),對(duì)鋼筋混凝土建筑物破損進(jìn)行分析[18]。由于災(zāi)害圖像數(shù)據(jù)在數(shù)量上有限,大部分學(xué)者采用了遷移學(xué)習(xí)的技術(shù),以提高精度,有學(xué)者嘗試使用深度卷積生成對(duì)抗網(wǎng)絡(luò),增加圖像數(shù)量,以提高數(shù)據(jù)集的數(shù)量和最終的訓(xùn)練效果[19]。在上述研究中,由于災(zāi)情信息的特殊性,相對(duì)于人臉識(shí)別、自動(dòng)駕駛等領(lǐng)域,其數(shù)據(jù)量遠(yuǎn)少于社會(huì)環(huán)境、自然環(huán)境處于正常狀態(tài)下采集的數(shù)據(jù)量,進(jìn)而影響到2個(gè)方面,一是這些研究中,存在對(duì)災(zāi)情識(shí)別、分類的粒度較大,例如,有對(duì)多個(gè)災(zāi)種進(jìn)行識(shí)別的研究,僅簡(jiǎn)單地識(shí)別出火災(zāi)、洪水、地震房屋倒塌,沒(méi)有進(jìn)一步地分析,這影響到其進(jìn)一步的應(yīng)用價(jià)值;二是影響到了算法精度的提高,例如,有些數(shù)據(jù)集分類中,其數(shù)據(jù)量?jī)H僅幾百?gòu)垐D片。因此,有必要在擴(kuò)大數(shù)據(jù)集和算法優(yōu)化上繼續(xù)努力。

文中主要工作聚焦于地震后建筑物受損的災(zāi)情圖片數(shù)據(jù),并廣泛地收集,對(duì)圖像數(shù)據(jù)進(jìn)行預(yù)處理后進(jìn)行分類,建立了一個(gè)大型的地震受損建筑物災(zāi)情的數(shù)據(jù)集,采用深度學(xué)習(xí)的方法分析處理,對(duì)建筑物破壞類型識(shí)別分類,訓(xùn)練得到建筑物識(shí)別模型,然后基于QGIS平臺(tái)制作災(zāi)情圖。文中編寫的程序模塊應(yīng)用于天津市地震局災(zāi)情收集系統(tǒng)的災(zāi)情數(shù)據(jù)后臺(tái)處理,并針對(duì)青海瑪多7.4級(jí)地震的受損建筑物圖片數(shù)據(jù)進(jìn)行了分析。

1 研究方法

1.1 技術(shù)路線

文中提出的地震后受損建筑物災(zāi)情分析方法,包括3個(gè)部分:1)收集國(guó)內(nèi)外歷史破壞性地震后的受損建筑物圖片數(shù)據(jù),并進(jìn)行預(yù)處理和數(shù)據(jù)增強(qiáng);2)分別使用收集的數(shù)據(jù)集,對(duì)EfficientNet模型進(jìn)行訓(xùn)練,同時(shí)用檢測(cè)數(shù)據(jù)集進(jìn)行檢測(cè)最后評(píng)估模型的效果;3)將模型分析的結(jié)果,結(jié)合空間數(shù)據(jù),制作災(zāi)情分布圖。

1.2 神經(jīng)網(wǎng)絡(luò)模型EfficientNet介紹

EfficientNet是2019年谷歌大腦團(tuán)隊(duì)提出的系列神經(jīng)網(wǎng)絡(luò)模型[20],包含B0～B7共8個(gè)模型,不同的模型分別對(duì)應(yīng)不同的圖片分辨率。這些模型分別在網(wǎng)絡(luò)的寬度、深度和分辨率3個(gè)維度上,基于復(fù)合模型進(jìn)行縮放,既實(shí)現(xiàn)了高效率,又節(jié)省了計(jì)算資源,如式(1)、式(2)所示:

(1)

(2)

式中:d、ω、γ分別為模型的深度、廣度和分辨率;φ是資源控制系數(shù),根據(jù)式中的約束條件,對(duì)3個(gè)維度上對(duì)應(yīng)的系數(shù)α、β和γ進(jìn)行調(diào)節(jié),在參數(shù)量和運(yùn)算量不變的情況下,對(duì)網(wǎng)絡(luò)模型的深度、寬度和分辨率調(diào)節(jié),達(dá)到最優(yōu)的精度。EfficientNet模型的基礎(chǔ)模塊是MBConv,其結(jié)構(gòu)如圖1所示。MBConv先用1×1的卷積增加維度,然后連接3×3或5×5卷積,再增加一個(gè)關(guān)于SE通道的注意力機(jī)制,最后用1×1的卷積降維,再添加一個(gè)殘差。通過(guò)對(duì)EfficientNet B0～B7共8個(gè)模型的實(shí)驗(yàn),發(fā)現(xiàn)EfficientNet B1模型更適合本數(shù)據(jù)集,為簡(jiǎn)便起見(jiàn),文中僅描述使用EfficientNet B1的實(shí)驗(yàn)過(guò)程。

圖1 MBConv模塊結(jié)構(gòu)Fig. 1 MBConv model constructure

1.3 模型訓(xùn)練

模型在訓(xùn)練的時(shí)候,由于數(shù)據(jù)量有限,為了避免造成過(guò)擬合,文中在EfficientNet B1模型中添加了Dropout算法。Dropout算法在訓(xùn)練的時(shí)候,按照一定的概率對(duì)神經(jīng)網(wǎng)絡(luò)中的某些神經(jīng)元進(jìn)行丟棄,這樣使模型不依賴局部特征,范化能力更強(qiáng)。

2 震后受災(zāi)建筑物圖像數(shù)據(jù)

2.1 數(shù)據(jù)來(lái)源

文中所使用的震后受災(zāi)建筑物圖像數(shù)據(jù),主要來(lái)源于近些年國(guó)內(nèi)的一些較大破壞性地震的震后科考數(shù)據(jù),包括汶川地震、玉樹(shù)地震、九寨溝地震等20余個(gè)地震,這其中包含中國(guó)地震局工程力學(xué)研究所提供的工程震害數(shù)據(jù)。同時(shí)包括來(lái)自PHI(PEER Hub ImageNet Challenge,PHI)的開(kāi)放數(shù)據(jù)[8,21],這個(gè)開(kāi)放數(shù)據(jù)集包含8個(gè)數(shù)據(jù)集,文中主要使用了第1個(gè)場(chǎng)景識(shí)別數(shù)據(jù)集,并重新對(duì)這個(gè)數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行了分類。另外,也在網(wǎng)絡(luò)上收集了國(guó)外一些地震后的災(zāi)情圖片。

2.2 建筑物震害類型劃分

我國(guó)有2個(gè)關(guān)于建筑物的震害類型劃分的標(biāo)準(zhǔn),分別是用于地震現(xiàn)場(chǎng)調(diào)查的GB/T 24335—2009《建(構(gòu))筑物地震破壞等級(jí)劃分》[22]和用于遙感數(shù)據(jù)的建筑物破壞評(píng)估的DB/T 75—2018《地震災(zāi)害遙感評(píng)估建筑物破壞》[23]。現(xiàn)場(chǎng)災(zāi)害調(diào)查的標(biāo)準(zhǔn)規(guī)定,建(構(gòu))筑物綜合的破壞等級(jí)劃分是綜合考察建筑物的類型、是否承重構(gòu)件和其破壞程度等多個(gè)因素,其依據(jù)的數(shù)據(jù)更加詳細(xì),而社交媒體上的受損建筑物的圖像往往反映不出這些信息。而遙感數(shù)據(jù)評(píng)估震害的標(biāo)準(zhǔn),由于其從高空中的視角查看建筑物,遙感數(shù)據(jù)展示的受損建筑物細(xì)節(jié)較少,其分類按照倒塌的程度來(lái)分,所以其分類標(biāo)準(zhǔn)也不適用于社交媒體上震害圖片的研究。因此,文中參考上述2個(gè)標(biāo)準(zhǔn)和以往的研究[8,21],根據(jù)地震對(duì)建筑物的破壞程度,結(jié)合震害在建筑物受損部位圖像的視覺(jué)特征,即線性特征、面狀特征和包含現(xiàn)狀和面狀破壞特征的綜合嚴(yán)重體破壞,將震害建筑物類型分為4類:沒(méi)有破壞、建筑物裂紋、部分墻皮或少量墻體脫落、墻體倒塌或整個(gè)建筑物倒塌。數(shù)據(jù)樣例如圖2所示。

圖2 建筑物受損類型示例Fig. 2 Examples of building destroyed types

2.3 數(shù)據(jù)預(yù)處理和數(shù)據(jù)增強(qiáng)

數(shù)據(jù)預(yù)處理包括圖像文件格式統(tǒng)一,圖像的大小統(tǒng)一為(240,240,3)和數(shù)據(jù)增強(qiáng)。數(shù)據(jù)集按照8∶1∶1的比例,分為訓(xùn)練數(shù)據(jù)、驗(yàn)證數(shù)據(jù)和測(cè)試數(shù)據(jù)。

由于建筑物類型多樣,以及圖像拍攝采集環(huán)境多變,造成了建筑物震害在圖像的顏色、大小、形狀等方面表現(xiàn)多樣,為此,訓(xùn)練集中的數(shù)據(jù)不能完全涵蓋今后實(shí)際地震受損的情況。文中采取數(shù)據(jù)增強(qiáng)的技術(shù),以減少神經(jīng)網(wǎng)絡(luò)模型的過(guò)擬合現(xiàn)象,主要采用了幾何變換、亮度、對(duì)比度調(diào)整增強(qiáng)數(shù)據(jù)集。其中,幾何變換包括水平翻轉(zhuǎn)和在一定范圍內(nèi)隨機(jī)旋轉(zhuǎn)角度。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)平臺(tái)和模型訓(xùn)練

在模型訓(xùn)練階段中使用的實(shí)驗(yàn)環(huán)境為Google Colaboratory,GPU型號(hào)為Tesla T4,深度學(xué)習(xí)平臺(tái)采用Tensorflow 2.5,在此環(huán)境中進(jìn)行了受損建筑物分類識(shí)別模型的訓(xùn)練、評(píng)估。

基礎(chǔ)模型采用Tensorflow Hub中的EfficientNet B1模型,其預(yù)訓(xùn)練數(shù)據(jù)集為ILSVRC-2012-CLS。

3.2 模型訓(xùn)練

經(jīng)過(guò)預(yù)訓(xùn)練的EfficientNet B1,在震害建筑物數(shù)據(jù)集進(jìn)行遷移訓(xùn)練,采用優(yōu)化器RMSprop對(duì)模型進(jìn)行參數(shù)優(yōu)化,其學(xué)習(xí)率設(shè)置為0.005,平滑常數(shù)設(shè)置為0.95。圖3是此模型在訓(xùn)練時(shí),模型的正確率和損失值在訓(xùn)練集和驗(yàn)證集上與迭代次數(shù)的關(guān)系。從圖3可以看到,從第7輪訓(xùn)練之后,模型的檢測(cè)精度就不再增加了,最高達(dá)到87.45%。

3.3 模型性能評(píng)價(jià)

為了評(píng)估文中使用的模型對(duì)建筑物破壞程度識(shí)別的效果,使用精確率和混淆矩陣對(duì)其進(jìn)行性能的評(píng)價(jià)。其中,精確率表示識(shí)別的建筑物受損類別是否正確,如式(3)所示:

(3)

式中:Tp表示識(shí)別為某種受損建筑物類型的樣本個(gè)數(shù);Fp表示錯(cuò)誤判定為某種受損建筑物類型的樣本個(gè)數(shù)。

測(cè)試數(shù)據(jù)中包含5 922張圖像,其中全部完好的建筑物的圖片1 415張,含有建筑物裂縫的圖像1 507張,含有建筑物部分墻皮或少量墻體脫落的圖像1 500張,含有建筑物墻體嚴(yán)重破壞整體倒塌的圖片1 500張。根據(jù)測(cè)試數(shù)據(jù)的識(shí)別結(jié)果,在圖4中可以得到標(biāo)準(zhǔn)化混淆矩陣。可以看出模型的識(shí)別精確率為87.45%,Kappa系數(shù)為0.832 7,說(shuō)明模型的識(shí)別效果與人眼識(shí)別是基本一致的,并且正確率較高。

3.4 青海瑪多地震災(zāi)情數(shù)據(jù)分析

應(yīng)用文中所訓(xùn)練的模型,識(shí)別2021年5月22日青海瑪多縣發(fā)生的7.4級(jí)地震的建筑物震害圖片,如圖5所示。收集到圖片共14張,其中5張包含坐標(biāo)數(shù)據(jù)。正確識(shí)別的有12張,2張圖片識(shí)別錯(cuò)誤,錯(cuò)誤為將建筑物裂縫識(shí)別為部分墻皮或少量墻體脫落。識(shí)別的正確率為85.71%。

圖5 瑪多7.4級(jí)地震建筑物受損示例圖Fig. 5 Example of damaged buildings in Maduo Ms7.4 earthquake

實(shí)驗(yàn)中,使用EfficientNet B1模型識(shí)別14張圖片,并將其中包含坐標(biāo)的圖片制作成災(zāi)情分布圖,整個(gè)過(guò)程用時(shí)2 s。

4 結(jié)語(yǔ)

文中為實(shí)現(xiàn)對(duì)地震后受損的建筑物進(jìn)行自動(dòng)識(shí)別,首先收集了大量的海內(nèi)外相關(guān)機(jī)構(gòu)的震害調(diào)查圖像和震后各個(gè)社交網(wǎng)絡(luò)上的相關(guān)圖片,結(jié)合國(guó)家相關(guān)標(biāo)準(zhǔn)和前人的研究,探討了針對(duì)這些圖片的分類原則,建立了一個(gè)大型專題數(shù)據(jù)集。然后建立了一個(gè)基于EfficentNet B1的建筑物受損情況識(shí)別網(wǎng)絡(luò)模型,使用文中建立的數(shù)據(jù)集進(jìn)行訓(xùn)練,得到比較優(yōu)秀的識(shí)別模型,并進(jìn)行了震后受災(zāi)建筑物受損程度的評(píng)估實(shí)驗(yàn),最后將成果應(yīng)用于2021年5月22日的瑪多7.4級(jí)地震的建筑物震害數(shù)據(jù)。實(shí)驗(yàn)結(jié)果表明:

1)EfficientNet B1網(wǎng)絡(luò)模型在地震受損建筑物受損程度評(píng)估識(shí)別效果明顯,實(shí)驗(yàn)中的訓(xùn)練精度為87.45%,Kappa系數(shù)為0.832 7。模型對(duì)于完好的和嚴(yán)重破壞的建筑物類型識(shí)別正確率更高,對(duì)于包含裂縫、部分墻皮或少量墻體脫落的建筑物識(shí)別正確率低些。因?yàn)椴糠謮ζせ蛏倭繅w脫落的圖片中,一般也包含裂縫,很容易造成誤判。這也是地震災(zāi)害判別的一個(gè)特點(diǎn),即破壞嚴(yán)重的類別中,會(huì)包含輕微破壞的圖像特征。

2)將此模型應(yīng)用于2021年5月22日的青海瑪多7.4級(jí)地震的震害圖片識(shí)別。正確識(shí)別率為85.71%,與訓(xùn)練時(shí)的識(shí)別正確率相當(dāng)。災(zāi)情圖片識(shí)別和制作災(zāi)情分布圖的實(shí)時(shí)完成,相對(duì)于其他方法的災(zāi)情處理,具有數(shù)據(jù)易采集,可以對(duì)數(shù)據(jù)實(shí)時(shí)處理的優(yōu)勢(shì),并且其災(zāi)情在空間描述和災(zāi)情準(zhǔn)確度上更加精準(zhǔn),有為地震后的抗震救災(zāi)指揮提供信息支持的潛力。

3)基于對(duì)國(guó)內(nèi)外地震受損建筑物數(shù)據(jù)的收集,建立了一個(gè)大型專題數(shù)據(jù)集,并建立了一個(gè)針對(duì)社交媒體的相關(guān)圖片數(shù)據(jù)的分類方法。

4)文中所采用的技術(shù)路線,具有智能化、自動(dòng)化特征,因而可以有效應(yīng)對(duì)地震的突發(fā)性的潛力,可以大幅的縮短從災(zāi)情數(shù)據(jù)收集,到最終制作建筑物受損分布圖的時(shí)間。

5)本模型在識(shí)別部分墻皮或少量墻體脫落時(shí)的識(shí)別精度相對(duì)差一些,說(shuō)明模型在不同尺度特征提取方面,還需要進(jìn)一步提高,需要后續(xù)的進(jìn)一步研究。另外,在將來(lái)的研究中,除了繼續(xù)擴(kuò)大數(shù)據(jù)數(shù)量,還應(yīng)該研究適合小數(shù)據(jù)量的算法模型。