基于生成對抗網(wǎng)絡(luò)的疊合板拆分

黎康, 翟新銘, 晉強*, 朱琳, 胡荻

(1.新疆農(nóng)業(yè)大學(xué)水利與土木工程學(xué)院, 烏魯木齊 830052; 2.新疆BIM及裝配式工程技術(shù)研究中心, 烏魯木齊 830000;3.新疆新冶建筑集成科技有限公司, 烏魯木齊 830000)

疊合板拆分是裝配式建筑建造過程中的關(guān)鍵設(shè)計步驟,對工業(yè)化生產(chǎn)、施工的經(jīng)濟效益具有重要的意義[1]。近年來,隨著裝配式建筑的快速發(fā)展,設(shè)計師在裝配式設(shè)計尋優(yōu)過程中往往會消耗大量資源[2]。為此,部分研究人員提出了拆分設(shè)計的優(yōu)化方案。馬立等[3]通過在遞歸算法中加入?yún)?shù)因子以修正拆分,為常規(guī)裝配式設(shè)計提供更具有經(jīng)濟效益的拆分限制條件。張學(xué)忠等[4]將BIM(building information modeling)技術(shù)運用于裝配式深化設(shè)計,并分析了BIM技術(shù)的優(yōu)勢,但這些都無法規(guī)避設(shè)計人員對預(yù)制構(gòu)件拆分的影響。

生成式對抗網(wǎng)絡(luò)(generative adversarial networks, GAN)用于圖像生成可以得到較為真實的圖像,林志鵬等[5]將GAN用于宮頸細(xì)胞圖像生成,生成的圖像雖然較為真實,但無法達(dá)到圖紙一一對應(yīng)的映射要求。布局設(shè)計一直是人工智能領(lǐng)域的研究熱點[6],多項研究表明,在建筑布局圖紙預(yù)測時采用生成式對抗網(wǎng)絡(luò)進行機器學(xué)習(xí)可以取得較為準(zhǔn)確的預(yù)測結(jié)果[7-8]:Liu等[9]基于風(fēng)格篩選構(gòu)建了兩個校園布局小數(shù)據(jù)集進行pix2pix模型訓(xùn)練,篩選后的數(shù)據(jù)集進行訓(xùn)練可以得到更好的生成效果。孫澄等[10]基于pix2pix算法,將居住區(qū)輪廓作為輸入,訓(xùn)練模型輸出強排設(shè)計平面圖,模型可在3 s內(nèi)生成設(shè)計方案。Huang等[11]將pix2pixHD模型應(yīng)用于建筑戶型圖紙的識別和生成,結(jié)果表明條件生成式對抗網(wǎng)絡(luò)(conditionally generative adversarial networks, CGAN)對于建筑圖紙預(yù)測具有較高的適用性。但近年來,結(jié)合設(shè)計邏輯思維過程探討基于疊合板拆分生成設(shè)計的相關(guān)研究仍較少。

以裝配式疊合板拆分為切入點,討論了基于圖集規(guī)則和人工選擇的數(shù)據(jù)集,通過進行數(shù)據(jù)集預(yù)處理,在給定樓板支座圖的情況下,模型自動生成疊合板拆分圖的能力。以期減少逐一枚舉的拆分用時消耗,為設(shè)計師提供了一種方便快捷的疊合板拆分設(shè)計方法。

1 研究方法和數(shù)據(jù)處理

本研究使用住宅樓疊合板拆分圖替代了傳統(tǒng)預(yù)測模型中的數(shù)據(jù)特征變量,利用pix2pix算法將樓板支座圖以及對應(yīng)的疊合板拆分圖作為訓(xùn)練樣本,使神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)從疊合板支座圖到拆分圖之間的映射,從而對指定建筑樓板支座圖進行快速拆分生成。該機器學(xué)習(xí)拆分圖生成方法主要包括訓(xùn)練數(shù)據(jù)集制作、模型機器學(xué)習(xí)以及預(yù)測模型評估等步驟,適用于各預(yù)制廠以及特殊限制中疊合板拆分的預(yù)測生成,其具體工作流程見圖1。訓(xùn)練后的CGAN模型可以實現(xiàn)輸入樓板支座圖,快速輸出對應(yīng)的疊合板拆分圖。

圖1 基于條件生成式對抗網(wǎng)絡(luò)(CGAN)的疊合板拆分機器學(xué)習(xí)流程Fig.1 Machine learning process of laminated plate splitting based on CGAN

1.1 CGAN模型構(gòu)建

疊合板拆分CGAN模型根據(jù)pix2pix算法原理,采用全監(jiān)督方法的生成式對抗網(wǎng)絡(luò),由G網(wǎng)絡(luò)(生成器)和D網(wǎng)絡(luò)(判別器)兩個核心網(wǎng)絡(luò)組成,由圖2所示兩個網(wǎng)絡(luò)通過交替迭代的方式優(yōu)化模型,使模型能實現(xiàn)將圖像到圖像的風(fēng)格轉(zhuǎn)換[12]。根據(jù)pix2pix模型的核心思想,在輸入數(shù)據(jù)進行機器學(xué)習(xí)的階段不僅會加入噪聲(Z),同時為保證輸出的圖像可以與輸入的圖像形成對應(yīng),避免模型生成出真實卻非指定性的圖像,在輸入G網(wǎng)絡(luò)過程中加入具有影響輸出結(jié)果的條件,其算法工作原理見圖3。

LCGAN為CGAN損失圖2 條件生成式對抗網(wǎng)絡(luò)的優(yōu)化過程Fig.2 Optimization process of CGAN

圖3 算法工作原理流程圖Fig.3 Algorithm flow chart

本文中生成器采用U-Net_256架構(gòu)[13],八個卷積層和八個反卷積層用于生成圖像,其網(wǎng)絡(luò)結(jié)構(gòu)見圖4。該架構(gòu)由編碼器(下采樣)、解碼器(上采樣)和跳躍連接組成,解碼器通過編碼數(shù)據(jù)提取特征,解碼器對編碼特征進行解碼,帶跳躍連接(skip-connections)的上采樣過程可以將上采樣結(jié)果與編碼器中具有相同分辨率的子模塊的輸出進行連接,進而實現(xiàn)在不損失大量輸入數(shù)據(jù)的情況下生成輸出數(shù)據(jù)。

圖4 生成器網(wǎng)絡(luò)架構(gòu)示意圖Fig.4 Generator network architecture diagram

本文中判別器采用PatchGAN架構(gòu)[14],由五個卷積層組成,可以將生成器生成的圖像映射到輸入圖像中。網(wǎng)絡(luò)將圖像的每個區(qū)域都輸出為單通道32×32的取值為0～1的預(yù)測概率圖,預(yù)測圖上的數(shù)值對應(yīng)每個patch的真?zhèn)纬潭?取值接近0表示判別器認(rèn)為該patch生成的圖像效果越不真實,取值接近1則表示判別器認(rèn)為該patch生成效果越接近真實,最后網(wǎng)絡(luò)將平均值作為最終的輸出。損失配方包括L1、CGAN損失函數(shù)兩部分,L1損失函數(shù)會引導(dǎo)模型生成較為符合條件的圖像,CGAN損失函數(shù)可以使模型生成的圖像更加清晰。L1損失為真假圖像逐像素求差的絕對值求平均[式(1)],CGAN損失為普通條件生成對抗網(wǎng)絡(luò)模型的損失函數(shù)[式(2)],最終拆分圖生成模型的損失目標(biāo)函數(shù)[式(1)]。即

LL1(G)=Ex,y[‖y-G(x)‖1](G)

(1)

LCGAN(G,D)=Ex,y(lg{1-D[x,G(x)]})+

Ex,y[lgD(x,y)]

(2)

G*=argminGmaxDLCGAN(G,D)+λLL1

(3)

式中:G為生成器;D為判別器;x為輸入圖;y為真實拆分圖;G(x)為生成器生成的拆分圖;λ為超參數(shù)。

1.2 圖紙數(shù)據(jù)采集

考慮到樣本質(zhì)量對機器學(xué)習(xí)的影響,故在合理范圍對數(shù)據(jù)進行篩選。圖紙類型限制為采用桁架鋼筋混凝土疊合板的裝配式住宅樓建筑,圖紙相關(guān)信息要求完善,保證圖紙數(shù)據(jù)的可靠性。由于機器學(xué)習(xí)對圖像有像素限制,單個戶型長寬最大不得超過140 00 mm。通過對新疆新冶建筑集成科技有限公司提供的平面圖紙進行篩選,收集了總共53個建筑平面疊合板拆分圖,將平面圖拆分為符合要求的65個戶型圖,其中用于測試模型的樣本數(shù)量為5個。

1.3 數(shù)據(jù)標(biāo)簽制作

本研究僅以單個戶型作為樣本單位,基于15G366-1《桁架鋼筋混凝土疊合板》圖集的標(biāo)準(zhǔn)作為拆分選擇[15],通過Revit三維建模平臺進行疊合板的模型拆分,利用Revit的圖像渲染功能生成符合pix2pix算法輸入的256×256像素大小PNG格式圖像。考慮疊合板構(gòu)件的標(biāo)準(zhǔn)化,由于本文研究重點在于驗證基于標(biāo)準(zhǔn)尺寸的疊合板拆分的可行性,根據(jù)15G366-1《桁架鋼筋混凝土疊合板》圖集制定拆分原則。拆分方向優(yōu)先選擇板面較長邊,若是長邊尺寸不符合則考慮短邊;若拆分時不能均分式拆分,則遵守左小右大、上小下大的放置順序;對長寬比不大于3的疊合板按雙向板拆分,雙向板之間采用整體式接縫或無接縫,雙向疊合板接縫寬度設(shè)置為300 mm,若長寬比大于3則拆分為單向板;疊合板拆分寬度可從圖集表示的五種標(biāo)準(zhǔn)尺寸中進行選擇,如表1所示。

表1 疊合板拆分標(biāo)準(zhǔn)尺寸Table 1 Standard size of laminated plate splitting

為了使機器學(xué)習(xí)能夠直接學(xué)習(xí)拆分關(guān)系,以及學(xué)習(xí)后反饋信息的可讀性,本文以疊合板寬度及類型為標(biāo)簽的界定對象,為疊合板三維模型進行材質(zhì)標(biāo)簽處理。首先,創(chuàng)建一個標(biāo)簽規(guī)則,該規(guī)則使用不同的顏色來表示不同寬度與類型的疊合板。然后,在Revit中利用三維可視化功能,通過三維模型族類型設(shè)置、視圖樣板設(shè)置以及三維樣式嵌套等步驟,制作三維標(biāo)簽樣本。最后,利用Revit圖像渲染功能,通過視圖剪裁,指定渲染像素為256×256,確保樣本之間尺寸比例一致,導(dǎo)出標(biāo)簽樣本數(shù)據(jù)以及只有支座和現(xiàn)澆板的輸入圖像。如圖5所示,為了使機器學(xué)習(xí)更好地區(qū)分顏色,共挑選出9種大跨度RGB組合用于標(biāo)記。

圖5 標(biāo)簽樣本圖像Fig.5 Label sample image

1.4 數(shù)據(jù)集增強

機器學(xué)習(xí)的效果極其依賴于樣本,數(shù)據(jù)集樣本的數(shù)量決定了網(wǎng)絡(luò)模型能夠?qū)W習(xí)的廣泛程度,而十位數(shù)量級對訓(xùn)練模型來說過少[16]。因此,需要對數(shù)據(jù)集進行加強,為保證機器學(xué)習(xí)疊合板拆分盡可能保留拆分順序和拆分方向的學(xué)習(xí),數(shù)據(jù)集的加強采用鏡像的方式,通過對60個樣本進行垂直鏡像,得到120個樣本用于訓(xùn)練,剩下5份樣本不進行處理用于模型測試。

2 模型訓(xùn)練及分析

首先,用只有支座和現(xiàn)澆板的平面圖作為輸入,用彩色拆分標(biāo)記的平面圖作為輸出進行訓(xùn)練模型。模型的兩大架構(gòu)在博弈的過程中,掌握兩個能力,如何生成可以瞞過判別器的圖像,以及如何更準(zhǔn)確地判別生成器生成的圖像是否真實并且是否符合輸入條件,最終模型在迭代過程中學(xué)習(xí)疊合板拆分的方法。訓(xùn)練將120張數(shù)據(jù)作為一個epoch(迭代周期),一共訓(xùn)練200個epoch。

如圖6所示模型在學(xué)習(xí)過程中不同迭代次數(shù)掌握的情況,在訓(xùn)練剛開始時,生成的圖像非常模糊。經(jīng)50次迭代的學(xué)習(xí),U-Net網(wǎng)絡(luò)基本不對支座進行處理。當(dāng)訓(xùn)練達(dá)到100次迭代時,網(wǎng)絡(luò)已經(jīng)具備一定的疊合板拆分能力,并對近一半的疊合板進行了拆分方向標(biāo)注,對于整塊疊合板標(biāo)簽生成具有較高的準(zhǔn)確率。而達(dá)到200次迭代時,模型對于訓(xùn)練集的學(xué)習(xí)已經(jīng)達(dá)到了飽和,輸出的拆分圖和真實的圖像基本吻合。

圖6 不同迭代次數(shù)的訓(xùn)練圖像Fig.6 Training images of different epoch

值得注意的是,在迭代150次時輸出的訓(xùn)練數(shù)據(jù),模型的一個標(biāo)注錯誤被訓(xùn)練有素的U-Net網(wǎng)絡(luò)發(fā)現(xiàn)了,原本1 800 mm的疊合板在Revit中因為族類型的選擇失誤被標(biāo)記為拼接縫,但網(wǎng)絡(luò)成功地識別了這個區(qū)域。在這方面來看,網(wǎng)絡(luò)能發(fā)現(xiàn)并糾正人類的失誤也是它的一部分能力。

在訓(xùn)練過程中,生成器G和判別器D通過博弈的方式不斷提高性能,生成器的損失值在博弈過程通過機器學(xué)習(xí)會呈現(xiàn)降低趨勢,而判別器的損失值會在生成器強大到足夠欺騙判別器后呈現(xiàn)增長趨勢。如圖7所示,整體模型的損失值趨勢符合目標(biāo)函數(shù)的期望,生成器和判別器在150次迭代后進入能力相當(dāng)?shù)碾A段,150次迭代后判別器和生成器的損失值依舊在訓(xùn)練過程中往各自的全局最優(yōu)點靠近,呈現(xiàn)收斂趨勢,當(dāng)訓(xùn)練達(dá)到200次迭代,損失值波動幅度變小,因此訓(xùn)練成功。

圖7 不同迭代次數(shù)的訓(xùn)練圖像Fig.7 Training images of different epoch

3 模型預(yù)測結(jié)果分析

為評價訓(xùn)練好的模型性能,首先基于計算機輔助設(shè)計軟件(autodesk computer aided design,CAD)對5份支座平面樣本進行人工拆分,平均每個樣本拆分時間為20 min。之后以5份原始樣本為測試數(shù)據(jù)集,將未給模型接觸過的這5份測試樣本輸入到訓(xùn)練好的模型中進行輸出測試。結(jié)果顯示CGAN模型平均每個樣本的拆分圖生成時間為2 s,整個計算過程共耗時10 s,即采用CGAN模型節(jié)約了時間成本,大幅提升效率。

如圖8所示模型輸入測試集的生成結(jié)果,通過對比分析模型的樣本輸入、模型的輸出以及真實的樣本標(biāo)簽從而檢驗?zāi)Ｐ托阅堋ｋm然模型生成的結(jié)果與真實的樣本標(biāo)簽并不完全一致,但模型在訓(xùn)練過程中一定程度上學(xué)習(xí)了疊合板拆分方法中拆分方向的選擇、拆分順序的選擇與拆分習(xí)慣等基本拆分原則。將機器學(xué)習(xí)與人類教育類比,培養(yǎng)計算機程序?qū)W習(xí)建筑知識,下面將通過模型學(xué)習(xí)到的拆分方法進行分析。

圖8 模型預(yù)測結(jié)果Fig.8 Model prediction results

3.1 模型拆分尺寸結(jié)果分析

首先統(tǒng)計模型輸出結(jié)果與真實樣本中疊合板各尺寸的數(shù)量,再從準(zhǔn)確性分析生成結(jié)果。如圖9結(jié)果表明,模型拆分的疊合板尺寸與真實樣本疊合板尺寸吻合度為80%。在某些不明確色彩生成的區(qū)域,雖然模型沒有明確給出方案,但從區(qū)域中的RGB觀察,模型通常在模糊區(qū)域輸出一至三套方案,而方案相對于生成結(jié)果非常相近。因此,模型具有一定的尺寸選擇能力,在模糊的拆分輸出區(qū)域仍然具有一定的合理性。

圖9 疊合板尺寸統(tǒng)計Fig.9 Laminated plate size statistics

值得注意的是,如圖8中63號輸出樣本所示,模型在一個小區(qū)域嘗試了不同的幾個方案,而其中拆分方式中包含了平均拆分,這一現(xiàn)象在訓(xùn)練還未成熟的時候也有體現(xiàn)。這與人類的拆分思維相似,在面對需要拆分的區(qū)域,模型會優(yōu)先采用均分方式。

3.2 模型拆分順序結(jié)果分析

在真實樣本制作過程中,疊合板拆分順序遵守左小右大、上小下大的規(guī)則。如圖8所示,在模型明確生成方案的區(qū)域,拆分順序的選擇均符合拆分規(guī)則,總共有25塊區(qū)域需要拆分2塊疊合板,合理選擇拆分順序的區(qū)域為20塊,即模型拆分順序選擇準(zhǔn)確的占80%。因此,訓(xùn)練好地模型在拆分順序選擇方面很好地掌握了基本規(guī)則。

3.3 模型拆分方向結(jié)果分析

模型對于疊合板拆分會優(yōu)先考慮垂直邊的拆分,模型生成的拆分圖與真實樣本圖在訓(xùn)練中期大部分不一致都是因為拆分方向的選擇。由于數(shù)據(jù)的差異性及風(fēng)格化,需要進行疊合板拆分的樓板長短邊方向有數(shù)量差,長邊在橫向的工作面出現(xiàn)頻率比短邊的頻率高,如圖8中65號所示,模型對于橫向邊拆分的樓板產(chǎn)生了不同的方案,模型識別區(qū)域長短邊相當(dāng)?shù)那闆r下,優(yōu)先采用了垂直拆分,但拆分方向標(biāo)注卻呈現(xiàn)為橫向邊拆分。

如表2所示,模型拆分方向與真實樣本保持一致的占82.76%,模型對于垂直拆分方案的選擇優(yōu)于真實樣本,而橫向邊拆分方案出現(xiàn)個別不合理現(xiàn)象。在訓(xùn)練集中加入更多具有橫向邊拆分的圖像可能有助于解決這一問題。

表2 拆分方向的選擇統(tǒng)計Table 2 Selection statistics of splitting direction

3.4 CGAN模型拆分設(shè)計的優(yōu)勢分析

疊合板的施工及生產(chǎn)重要影響因素之一就是科學(xué)的疊合板拆分。當(dāng)前,裝配式建筑快速發(fā)展,技術(shù)人員和崗位所需的專業(yè)能力匹配度不夠,中國不同地區(qū)、不同預(yù)制廠使用的模具通用性不高,對設(shè)計人員拆分疊合板造成極大的影響,導(dǎo)致預(yù)制廠生產(chǎn)難度增加。如圖10所示,利用CGAN模型的機器學(xué)習(xí)、圖像生成能力,廠家通過輸入具有自家設(shè)計風(fēng)格的疊合板拆分?jǐn)?shù)據(jù)集訓(xùn)練生成貼合度更高的模型,模型生成拆分圖可以有效地縮減模數(shù),減少模具費用,改善方案縮減時間成本。

圖10 基于不同條件約束下的CGAN模型適用Fig.10 The CGAN model based on constraints is applicable

4 結(jié)論

本文提出了基于生成對抗網(wǎng)絡(luò)(CGAN)的疊合板拆分設(shè)計生成方法,基于Revit平臺建立了生成式對抗網(wǎng)絡(luò)訓(xùn)練的疊合板拆分?jǐn)?shù)據(jù)集以及樣本制作方法,研究了通過學(xué)習(xí)一定約束條件下的拆分規(guī)律,生成不同樓板支座圖下所對應(yīng)的疊合板拆分設(shè)計圖。得到如下主要結(jié)論。

(1)本研究基于pix2pix算法構(gòu)建的疊合板拆分CGAN模型在迭代200次后能夠輸出穩(wěn)定的疊合板拆分圖。評價驗證顯示拆分尺寸準(zhǔn)確率達(dá)80%,拆分順序準(zhǔn)確率達(dá)80%,拆分方向準(zhǔn)確率達(dá)82.76%。因此,驗證結(jié)果均證明模型拆分圖像與人工拆分基本吻合,該方法具有一定的可行性。

(2)依據(jù)圖集拆分思維與拆分原則構(gòu)建小數(shù)據(jù)集模型在數(shù)據(jù)增強后也能夠獲得較好的疊合板拆分布局生成效果。

(3)訓(xùn)練后的CGAN模型可以在2 s內(nèi)生成疊合板拆分并生成圖紙,可以滿足設(shè)計師對大量設(shè)計方案進行篩選和優(yōu)化調(diào)整的需求,為設(shè)計師提供了一種新的疊合板拆分方法。