計算機深度學習在遺跡景觀修復中的應用研究

王 磊 | Wang Lei

李鵬波 | Li Pengbo

人工智能研究領域高速發展，根據時間順序梳理進程可大致概括為：人工智能（Artificial Intelligence）、機器學習（Machine Learning）、深度學習（Deep Learning）三大方面，其發展及包含關系參看圖1。其中計算機視覺和自然語言處理作為賦予計算機認識物體和理解語意的兩大難點，一直是深度學習中最具挑戰性及熱度最高的兩大問題。隨著場景解析[1]、重構[2]已成為未來發展的必然趨勢，基于隨機決策森林（Random Decision Forests）[3]、參數統計方法（Parametric Statistics）[4-5]、聚類分割法（Cluster Segmentation）[6]、閾值分割法（Threshold Image Segment）[7]等在內的傳統機器學習方法，由于其本質是采用統計學原理的無數據訓練方式提取特征，難以滿足像素級的圖像識別任務[8]，因而采用人工神經網絡的機器學習方法可有效支持城市科學設計決策制定過程（圖1）。

圖1 人工智能發展進程示意圖

1 深度學習與文化景觀修復研究意義

選擇對抗生成神經網絡（Generative Adversarial Network，GAN）作為我們的研究工具，因為圖像是建筑學科領域最主要的數據來源之一，例如數字遙感影像；航拍影像；百度城市地圖街景數據；園林、建筑、城市平立剖面圖等。深度學習中除無人不知的卷積神經網絡（Convolutional Neural Networks，CNN）外，GAN是另一種基于CNN專門設計用來處理圖像類型數據的算法。2014年蒙特利爾大學的伊恩·古德菲洛（Lan·Goodfellow）和同事共同發表的一篇論文中介紹了GA N網絡之后，它就作為深度學習中的熱點研究方向存在。建筑學科領域因其涉及范圍廣、工作流程復雜的特點，在融合新時代科技所需的時間往往比其他領域要花費更長的時間，但已有學者在嘗試將深度學習應用于建筑學科領域方向做出探索。

文化景觀（cultural landscape）包含地理文化、遺跡景觀、規劃設計等多個對象范疇。隨著文化景觀保護研究的深入，越來越多的遺跡景觀保護修復項目獲得關注。2019年天津大學何捷教授團隊與西北大學聯合進行尼泊爾木斯塘（Mustang）地區文化遺產保護調研工作，對該地區包括OSM地形數據、建筑布局及地域文化在內的多項文化景觀遺產信息進行建檔記錄。2017年中國文化遺產研究院在援烏茲別克斯坦花剌子模州歷史文化遺跡修復項目中，使用包括三維激光掃描、精密數字電子水準儀等在內的高精細測繪設備技術，因地制宜地進行保護修復工作[9]。隨著深度學習技術發展和文化景觀保護修復性工作需要，依據文化景觀立地數據為對象，討論通過深度學習技術修復文化景觀的可能性，以分析特征向量數據為方法找到文化景觀內涵要素的內在關系，成為未來文化景觀修復新方向。

2 對抗生成神經網絡與建筑學科應用研究進展

建筑學科領域中G A N網絡可有效加強城市設計流程中設計者對復雜數據的分析處理能力，國內外已有學者使用GAN網絡支持下的城市設計方法產生全新的數字城市設計創作成果，為建筑學科領域人工智能應用研究邁出第一步。包瑞清[10]在地形設計方法上做出多方面探索，基于GAN網絡學習給定區域地形特征（全球數字高程模型GDEM，30m高空分辨率高程數據）進而自主創作地形。另外一方面應用為建立遮罩，預測未知區域高程，試圖學習已有地形設計樣板，生成自然山川空間特征來彌補地形缺失的部分。劉躍中[11]以新加坡城市數據中的建筑密度和綠化率作為GAN網絡輸入隨機向量，學習榜鵝新城區公共數據及衛星影像生成城市設計方案。除城市設計外，城市分析領域何宛余團隊做出了探索，對反映區域文化環境特征的城市肌理進行評估，該實驗僅構建了GAN中的判別網絡部分，對六種特定要素進行判別并計算出各類區域占比。畢業于哈佛大學的Stanislas Chaillou[12]開發的ArchiGAN使我們領略到GAN網絡在建筑學平面圖生成設計中的無限可能，運用訓練良好神經網絡可快速生成建筑平面布局。其過程大致分為3個步驟：平面布局（Building Footprint）、空間規劃（Program Repartition）、家居布局（furniture layout），該算法程序除可以生成一個單戶住宅平面設計外，還使用嵌套方法實現創建整個公寓樓每一樓層客制化改變（圖2）。pix2pix是一種基于GAN基礎網絡來實現圖像轉換的網絡模型，其特點是訓練過程需要成對的輸入和輸出樣本，最終pix2pix模型可視化效果參看圖3，使用包含400張建筑立面圖訓練集進行網絡訓練，根據立面布局標注可生成全新風格建筑立面風格圖。

圖2 ArchiGAN模型建筑平面生成結果圖例

圖3 pix2pix模型建筑立面風格遷移生成圖例

目前GAN神經網絡在建筑學科領域應用還存在一些“通病”問題。首先是數據集的構建，神經網絡訓練效果上限是由訓練數據集的質量所決定，而針對特定問題則需建立對應數據集群，這需要建筑領域學科各專業人員共同、長期的努力。其次是網絡訓練方法及參數調優問題，對于非計算機和信息科學出身的研究者來說，網絡訓練過程中諸多細節技巧需要掌握。最后是成果轉化問題，訓練GAN生成的輸出圖像不能直接作為設計結果在實際項目中應用，還是需要人的先驗經驗參與最終決策。

3 對抗生成神經網絡原理機制

人工智能（Artificial Intelligence）這一概念自1956年在美國達特茅斯大學研討會上首次被提出以來，其在城市科學領域的研究發展已有近40年的歷史，20世紀大量學者對其研究一直以機器模仿和執行人腦的某些智力功能，在城市設計或某一任務中進行模擬決策為目標。但是自21世紀以來，隨著計算和信息處理能力的大幅提高，突破傳統規則算法的機器學習和模式識別得以實現。

人工智能中對抗生成神經網絡的基本思想源自博弈論中的零和博弈，它有兩個在競爭狀態中的神經網絡構成：即生成網絡（被提供一個隨機數向量，并輸出合成數據）與鑒別網絡（被分配一個數據，并輸出來自訓練集的概率）（圖4）。通過生成網絡創造“偽造”數據，鑒別網絡嘗試將“偽造”數據與“真實”數據區分開，以對抗學習方式來訓練。隨著迭代次數增加，生成網絡與鑒別網絡會因為學習到的樣本數據增多而越能達到生成更加真實的圖像效果。為便于理解，本文以MNIST手寫數字數據集為例，依次展示經過GA N神經網絡0至25000次迭代后生成結果（圖5）。作為具有“無上限”生成能力的神經網絡模型，其生成能力上限取決于輸入數據的數量、質量及網絡迭代次數，在經過充分訓練后其可生成與真實數據分布一致的數據樣本，因而常見應用領域包括圖像、視頻、語音生成等。

圖4 對抗生成神經網絡（GAN）算法結構圖

圖5 對抗生成神經網絡訓練結果示例

4 基于GAN神經網絡的遺跡景觀修復生成方法

以目前數字技術和人工智能的發展速度和趨勢，我們已經難以否認其會為建筑學科領域帶來巨大影響。順應學科交融趨勢應用人工智能GAN神經網絡方法，訓練網絡學習遺跡景觀衛星影像空間特征，對遺跡損壞部分進行復原性設計；對遺跡空間特征使用pixplot神經網絡進行特征壓縮聚類分析，壓縮生成結果為二維特征向量，以特征向量建立數據庫為空間布局詢證提供理論依據。本研究以明長城文化景觀遺跡為研究對象，論述基于深度學習的遺跡景觀修復過程。正如田澍在對“長城學”的論述，必須突破以簡單的軍事防御視角來認識明長城的狹隘學風，應從多角度來理解明長城的作用與意義，以多學科交融發展的客觀要求，從廣義和總體兩方面來認識明長城的內涵[13]。

圖6為本研究的技術路線，核心算法為基于GAN實現的pix2pix人工神經網絡，使用訓練完成的神經網絡對明長城遺址進行復原研究。研究框架共分為5個步驟完成：數據收集、數據清洗、神經網絡訓練、長城遺跡復原、數據庫建立。

圖6 研究框架與技術路線圖

步驟1數據收集中，由于神經網絡學習圖像特征需要大量樣本數據，故擬獲取使用衛星遙感影像及全球數字高程模型作為數據集中基礎數據，依據明長城遺址空間現狀基礎數據可分為空間形態完整及空間形態破損兩種狀態（圖7）。

圖7 GAN神經網絡數據集構建示例——以北京八達嶺長城國家森林公園段為例

步驟2的重點在于構建數據集的過程中需要對特征學習區域構建遮罩（mask），神經網絡訓練過程時遮罩外為已知環境，遮罩內為待學習空間特征區域。

步驟3中基于Python-TensorFlow搭建神經網絡（pix2pix）訓練平臺，待神經網絡訓練完成后的步驟4使用階段，需將待復原區域建立遮罩，遮罩外側為空間特征推測區域，運行網絡便可推算出遮罩內復原區域的空間布局（圖8）。

圖8 研究技術路線圖示及遺跡景觀修復結果展示

步驟5中使用復原完成后的完整長城空間布局進行特征壓縮進而構建數據庫，使用pixplot神經網絡對長城遺跡圖像聚類分析可視化結果顯示，直觀顯示明長城空間布局特征聚類結果。

空間布局數據庫的構建中使用了另外一種神經網絡結構，基于卷積神經網絡（CNN）的特征向量壓縮方法。在步驟5中使用pixplot神經網絡對步驟2中獲取的圖像數據進行特征壓縮并聚類，進而獲得壓縮后的二維空間特征向量（以[x，y]二維特征向量形式表達）建立數據庫，使用聚類（Cluster）方法對該數據進行處理便可獲得聚類結果。將數據庫每一二維特征向量[x，y]數據與坐標原點[0，0]進行歐式幾何距離計算得到該坐標的空間距離權重值，將其權重值及對應遺址原地理空間坐標點使用python-pandas庫進行可視化顯示，即可獲得該點對應數據庫聚類類別的權值。

空間布局數據庫的建立完善可為未來研究提供數據基礎，實現面向不同研究領域學者提供開源數據、數據檢索分析及數據可視化等功能，為研究者提供開展規劃保護的準確依據等相關模塊內容。文化景觀遺跡是凝聚中華民族文化的精神圖騰，需要以原真性與完整性為原則對景觀遺跡進行調查，對基礎信息數據庫進行完善，為系統性的遺跡景觀修復研究提供科學依據。

結語

本研究對以生成對抗神經網絡技術為基礎的建筑學科領域研究現狀進行了梳理，構建從前期大數據爬取；中期人工神經網絡構建及訓練；后期生成結果記錄分析的完整研究流程方法。傳統形式的文化景觀資源調查中，調查對象主要包括遺跡本體、附屬設置在內的相關遺存等，然而通過人工智能方法學習遺跡景觀空間布局特征進而復原損壞部分這一方法乃為本研究創新之處，這也得益于靈活運用人工神經網絡遠高于人類的特定數據特征學習能力。

通過前文研究過程論述表明，與傳統遺跡景觀復原設計相比，應用對抗生成網絡支持下的復原結果損失函數可達到一定迭代訓練批次下實現收斂。證明該特征學習生成圖像，進而進行復原工作的方法對遺跡景觀乃至城市設計方面的可行性、創新性，成為以智能化方法解決相關問題的有效途徑，能夠成為引領未來城市設計、景觀修復方向的主要途徑之一。

資料來源：

圖2：英偉達《ArchiGAN:a Generative Stack for Apartment Building Design》；

圖3：根據pix2pix網絡模型自行訓練生成結果；

文中其余圖片均為作者自繪。