從圖形到圖像：建筑遺產測繪與臨圖學方法革新

孫政 Sun Zheng

近年來，自動化、數字化、輕量化的測量技術在建筑遺產測繪中不斷涌現。除已經趨于普及的地面激光掃描之外，還有輕便靈活的近景攝影測量，適用于建筑群和城鎮這種大區域的空中傾斜攝影測量，以及適用于狹窄空間、基于同時定位與地圖構建（simultaneous localization and mapping，SLAM）的移動激光掃描等。這些技術極大地提高了測量的精度和效率，豐富了測量的數據類型，拓展了測繪場景，但也帶來了新的問題：它們的運用與數據處理超出了建筑學的范疇，需要具備測繪、遙感、地理，甚至計算機視覺等領域的相關專業知識。

目前國內存在這樣的情形：在建筑遺產測繪中，測量和數據處理被轉包給測繪設備銷售商（通常兼做工程），服務至其提供可以輔助繪制平、立、剖面圖的數據為止。由于諳熟古建筑語法和制圖標準，建筑學至今還堅守著繪圖的陣地。如果說分工細化有利于提升工作效率——就像利用醫學影像判斷病情，專業的是醫生不是醫療設備生產商一樣——只要測繪的本體是建筑，那么駕馭新技術展開測繪就應該是建筑學的責任和專長。營造學社以往的工作表明，建筑學的判斷在測繪對象選擇、層級制定、成果表達上至關重要。在新興測量技術的沖擊下，延續這種判斷的關鍵是建筑學圖學方法的革新。

然而，目前國內建筑學的圖學方法明顯滯后于測量技術的發展。“圖學是以圖為核心，研究將形演繹到圖，由圖構造形的過程中圖的表達、產生、處理與傳播的理論及其應用的科學[1]”。建筑遺產測繪是從“形”到“圖”的過程，“形”是建筑本體，“圖”是圖形——從營造學社的手繪到目前的計算機輔助設計（computer-aided design，CAD），也可能是圖像——來自激光掃描與攝影測量。從圖形到圖像的轉變，意味著處理、表達與傳播圖的方法也都需要隨之改變。用圖形的方法處理、表達與傳播圖像，是當下建筑遺產測繪實踐與教學中諸多問題產生的根源。

1 建筑遺產測繪中的圖形與圖像

什么是建筑遺產測繪中的圖形與圖像？舉例說明：

1937 年，營造學社在繪圖紙上用筆畫出佛光寺大殿的立面圖，我們把它記為A；20 世紀90 年代，我們可以在計算機上用CAD 制圖軟件繪制出一張10 KB 大小dwg格式的矢量圖來表達這個立面，記為B；今天，攝影測量技術可以讓我們用一張10 MB大小jpg 格式的正射圖來表達這個立面，記為C。如果忽略佛光寺大殿80多年間的變化，A、B、C 在信息表達上有什么區別呢？

A 與B 是圖形，是被測繪者“畫”出來的。在這個意義上，手繪與CAD 呈現的并無不同：圖形表達的信息是明確的，每個圖元（比如當心間兩側的柱子）都具有清晰的輪廓與可量取的尺寸；生成圖形的過程是概括的，繪圖者根據測繪層級和出圖比例確定測量具體構件的過程；當圖形繪制完成（哪怕只有一條線），圖形的幾何是集約而連續的（對于這條線而言）。

C 是圖像，是機器自動生成的。圖像表達的信息是含混的，無論采樣多么密集、效果多么直觀，真實構件的輪廓都隱藏在由均一像素構成的點陣里；生成圖像的過程是客觀的，圖像忠實記錄了建筑在測量時的狀態；圖像的數據量無論多大，都是對現實的不連續采樣。

據此可以提煉出圖形與圖像的具體區別（表1）：

在計算機二維空間里，圖形是矢量圖（vector graphics），圖像是柵格圖（raster graphics）。由二維推演到三維，軟件“畫”出來的數字三維模型也是圖形——三維圖形，是二維圖形通過拉伸、放樣等幾何計算方式生成的，符合表1 中圖形的特征；但通過激光掃描與攝影測量等技術生成的點云及其衍生的網格面（mesh）則是圖像——三維圖像，點云是二維點陣的三維化，點與面都符合表1 中圖像的特征。由此，我們可以把目前建筑遺產測繪中常用的“圖”全都歸為圖形或者圖像：圖形包括矢量圖（基于AutoCAD、Vectorworks 等軟件）、三維數字模型（基于SketchUp、 Rhino、Revit等軟件）等；圖像包括柵格圖（比如正射圖）、數字高程模型、點云、mesh 等。盡管三維數字模型在測繪中通常被我們稱為“模型”而非“圖”，但這種“圖形-圖像”的分類在揭示測繪技術演進的本質上，比基于“二維-三維”數據維度的分類方法更加合理。即激光掃描與攝影測量等技術與手工測量的關鍵區別并非有無數字化技術介入——激光測距儀是數字化工具，但其與用卷尺測量并無本質不同——而在于前者是一種間接技術（indirect techniques）。

測量建筑遺產時的間接技術是相對直接技術（direct techniques）而言的[2]。采用直接技術測量的特點是根據繪圖的需要決定測量的對象，通常先畫草圖，再在草圖上標記測量數據，尺子、激光測距儀、全站儀等都屬于直接技術的范疇。而間接技術則是無差別地記錄測量范圍內的物體：當基于測距（如激光掃描）時，測量范圍是掃描半徑內；當基于圖像（如攝影測量、紅外熱成像）時，測量范圍是相機景域內。間接技術導致建筑遺產測繪中發生一個顯著的變化，即測量與繪圖分裂成兩個獨立的環節（圖1），這是今天相比營造學社時代的關鍵區別。由此產生兩個問題：一是圖像能否自動轉化為圖形？二是圖像本身能否作為建筑遺產測繪的成果？

對于問題一，從圖像自動生成圖形的方法有很多，比如柵格圖矢量化算法、根據點云擬合幾何形體等，但是建筑遺產的不規則幾何形體（由于殘損、病害等原因）使該過程目前主要以半自動化（自動算法結合人工修正）的方式完成；而問題二則與建筑學和保護科學的不同學科導向，以及機器學習等領域的算法有關。

2 圖像技術與保護科學相輔相成

保護的觀念在20 世紀后半葉才逐漸興起，但建筑學測繪建筑的活動至少可以追溯到文藝復興時期。無論16 世紀的帕拉迪奧還是20 世紀的營造學社，其測繪的首要目的都不是保護，而是學習和研究古代建筑。帕拉迪奧的《建筑四書》之所以影響深遠，很大程度上歸因于他在古羅馬遺跡測繪與設計實踐之間展示了古典建筑語法的靈活性，其中圖形充當了古為今用的媒介。《蘇州古典園林》中，劉敦楨先生筆下的假山疊石有取舍、有詳略、有輕重，讓人想到宋元山水畫、想到咫尺山林的掇山意趣，也是因為其中的圖形延續了這種活的傳統。

然而，我們今天說起“建筑遺產測繪”，往往把測繪視為保護建筑遺產的前期工作，視為技術干預提供決策依據的途徑。除了繪制平、立、剖面圖與軸測圖等工作，建筑的殘損、變形、病害等與保護相關的信息也是測繪的范疇。在保護科學的視野下，建筑是與繪畫、雕塑、服裝等并列的保護對象，測繪是一種記錄信息的手段；由于保護對象珍貴、脆弱與形體不規則的特點，需要非接觸、無損與高清晰的信息采集方式，圖像技術正契合了這種需求。

表1 建筑遺產測繪中圖形與圖像的區別

圖1 建筑遺產測繪中直接技術與間接技術的測繪流程對比示意圖（圖片來源：孫政繪制）

相比于古老的建筑學，晚近產生的基于科學方法的保護從一開始就結合了圖像技術。1964 年問世的《威尼斯憲章》對記錄的空前強調離不開圖像技術的支撐。4 年后，國際文化遺產記錄科學委員會（The International Committee for Architectural Photogrammetry，CIPA）在國際古跡遺址理事會（International Council on Monum ents and Sites，ICOMOS）和國際攝影測量與遙感協會（International Society for Photogramm etry and Rem ote Sensing, ISPRS）的協助下成立。它的使命之一就是利用測量和計算機領域的先進技術記錄與管理文化遺產。截至2019 年，CIPA 已經召開了27 屆學術大會，極大促進了該領域內的學科融合，也成為技術發展的風向標之一。自20 世紀90 年代數字化米開朗基羅項目①由美國斯坦福大學等機構實施的文化遺產數字化項目，詳見https://accademia.stanford.edu/mich/。以來，基于激光掃描、攝影測量等光學傳感器的測量在世界各地的文化遺產保護中逐漸普及。

對保護科學來說，記錄不一定以輸出圖形為結果。圖像本身可以作為記錄的載體、作為一種廣義的保護方式，即信息化保存（informational preservation）[3]；我們也可以從圖像中直接得出保護需要的數據。比如，通過計算mesh 模型與理想平面的距離，可以分析磚石表面因風化、人為破壞等原因導致的殘損[4]（圖2a）；可以直接在mesh 模型上標注病害區域、統計病害面積[5]（圖2b）；遙感衛星圖像可以用于計算建筑遺產的位移——目前多時相干涉合成孔徑雷達技術（Multitemporal Synthetic Aperture Radar Interferometry，MT-InSAR）的測量精度已達到毫米級別[6]（圖2c）；可以用有限元分析的方法對mesh 模型進行受力模擬[7]（圖2d-2f）。

圖2 從圖像直接得出的建筑遺產保護所需的數據2a. 磚石表面的殘損分析（圖片來源：參考文獻[4]，文章引用時有裁剪）2b. 在不規則幾何形體上標注、統計病害（圖片來源：參考文獻[5]）2c. 基于多時相遙感衛星的建筑物位移計算（圖片來源：參考文獻[6]）2d-2f. 模擬拱橋遭受船只撞擊的受力與形變（圖片來源：參考文獻[7]，文章引用時有裁剪）

目前的前沿研究是利用機器學習與深度學習的方法，自動從圖像中提取建筑遺產保護所需的數據，比如石質墻體表面的殘損檢測[8]、點云模型語義區分[9]。2018 年，英特爾公司（Intel）使用無人機攝影測量技術采集箭扣長城的圖像，并利用人工智能（Artificial Intelligence，AI）從中自動識別長城的殘損。2020 年，都靈理工大學等機構的研究人員發布了建筑遺產點云模型語義區分的基準數據集ArCH dataset（http://archdataset.polito.it/），它包含十余個不同類型建筑遺產的點云模型，及其基于機器學習、深度學習的構件分類結果，供同行以此為參照，評估不同分類算法的優劣。目前AI 從醫學圖像中檢測某些病癥的準確率已經超過了具有豐富經驗的醫生，并可能在十年后從整體上普及[10]。隨著百度、騰訊等公司陸續開放面向個人用戶的AI 服務，訓練AI識別建筑遺產圖像已經成為可能。此外，5G 通信、Web-GL 圖形庫、物聯網、混合現實、眾包等技術和模式的發展，使圖像傳輸的成本越來越低，圖像交互的方式將更加多元。今天，智能手機和混合現實眼鏡已經可以作為測繪數據瀏覽與交互的終端。圖像在建筑遺產測繪中的應用前景非常廣闊。

3 建筑遺產測繪需要融合圖像技術

圖像技術的發展看似在不斷侵蝕著建筑學在測繪中的領地，但學科的邊界從來都不是固定的，許多傳統學科在與新技術的融合中更具活力：線描圖曾經是考古學重要的記錄手段，但今天遙感考古學已經成為考古學的重要分支[11]；傳統的攝影測量因計算機視覺的算法實現了全自動化[12]。在測繪技術發展進步的浪潮中，建筑學不僅不應缺席，而且應努力在圖學的維度上重新定義學科的邊界。建筑學在測繪中的最大價值，來自基于學科立場對建筑的設計邏輯、歷史演變、隱藏節點、病害原因等內容進行判斷。這種判斷決定了展開測繪的方式，而測繪成果又為判斷提供依據。就像醫學影像輔助醫生診斷一樣，建筑學傳統上基于圖形的觀念與方法應在圖像技術的發展中被重新定位。

3.1 建筑遺產測繪的新課題

如何在下列問題上應對圖像技術的發展，是目前建筑遺產測繪領域的研究熱點，但在解決這些問題時還需要結合我國建筑遺產的自身特點：

（1）結合圖像技術修正測繪層級。國內現有的測繪層級——簡略測繪、典型測繪、全面測繪，都是以二維幾何信息的矢量表達為主要導向，測量的要求也與之綁定[13]。涵蓋圖像的測繪層級還沒有建立，這意味著目前三維幾何和色彩在采集、處理、表達與傳播的各個環節都缺少標準。在從點云到建筑信息模型（Building Information Modeling，BIM）的流程中，意大利、英國等國已經建立了標準，其中涉及精度、信息程度、自動化程度等指標[14]。不久前我國也發布了壁畫的數字化測繪規程《古建筑壁畫數字化測繪技術規程（WW/T 0082-2017）》，明確了圖像色彩準確性的標準。下一步，需要在更多的建筑遺產類型中建立此類標準。

（2）改進表達、管理與傳播圖像的方法。目前測繪中常用的CAD 制圖軟件主要面向圖形，無法有效表達與管理圖像；地理信息系統（Geographical Information System, GIS）兼備圖形與圖像的表達與運算能力。但是GIS 作為地理信息平臺，缺少建筑語義信息，這使其在測繪成果表達上局限于表面（如場地、墻面等）；BIM 具有建筑語義信息，可以結合物理、力學等信息，但是BIM 與CAD 一樣幾乎不兼容圖像，從點云逆向建模的過程非常繁瑣。在上述圖學平臺的基礎上，運用二次開發和開源軟件使其適應建筑遺產測繪的需求是近年來的研究熱點[15]，但結合我國建筑遺產自身特點的研究目前還很少。

圖3 在三個不同測繪層級上用BIM表達磚構建筑的測量成果（圖片來源：孫政據參考文獻[16] 圖4-圖9 改繪）

（3）評估與改進圖像算法。圖像處理與點云區分涉及大量算法。建筑學的工作不是寫代碼，而是從建筑語法、病害類型等角度評估與改進算法的適用性。比如前文提到AI 判斷磚表面的病害程度，如果僅以平滑度和色差作為每塊磚保存狀況的判斷依據，那么水泥抹面的磚墻可能被認為保存完好，但實際上已是不可逆的損壞。將磚表面的病害類型與相應的圖像之間準確匹配，需要建筑學與計算機、AI 等領域的密切協作。

3.2 一個案例：明孝陵神功圣德碑亭測繪

明孝陵是明太祖朱元璋的陵墓，位于南京鐘山南麓，始建于14 世紀末。神功圣德碑亭（以下簡稱“碑亭”）位于明孝陵建筑群的軸線上，在大金門以北約70 m，碑亭中央矗立著記錄朱元璋功績的神功圣德碑。方形碑亭的磚結構部分邊長約為27 m、高約9 m，四面各有一個用桶拱砌筑的通道，寬約5 m。

2018 年，我們使用激光掃描技術采集了碑亭磚結構部分的三維數據，得到了平均誤差小于3 mm 的點云。包括不同站點掃描數據的拼合（自動完成）在內，測量總耗時不到4 h。但是如何表達碑亭的結構變形與表面殘損卻并不容易，這與磚構建筑的特點有關：首先，平、立、剖面圖等矢量圖適用于表達木構建筑中桿件的空間信息，但磚券結構沒有明確的建筑構件；其次，統計磚塊的病害類型及其分布規律需要數據庫功能，以便統計與篩選；最后，還要考慮不同的使用需求（如日常維護、精細記錄、病害統計等）。綜合上述考量，我們認為BIM 是目前最合適的圖學平臺，但基于BIM 的磚結構測量成果表達卻并無標準可循。我們在可用商業軟件（Autodesk Revit）的框架下，結合參數化工具自定義BIM 參數，嘗試了三種基于不同測繪層級（Level of Detail，LoD）的工作流程（圖3）[16]。

（1）LoD 1：忽略建筑形體的非理想狀態（類似于典型測繪），建立參數化模型。磚質表面的殘損通過凹凸深度圖像以貼圖形式附著于體塊表面。該模型的數據量很小，且殘損情況直觀，可用于日常維護時的現場比對（基于智能移動設備與Autodesk BIM 360 Docs）。

（2）LoD 2：嚴格依照點云描繪二維輪廓，生成三維體塊，三維體塊的整體誤差在厘米級別（類似于全面測繪）。該模型可以導出任意位置的平面圖與剖面圖，并統計四個桶拱因側推力導致的變形，可以滿足建筑史研究與建筑遺產保護的一般需求。

（3）LoD 3（局部）：通過一系列幾何計算（如輪廓提取、放樣等），把桶拱的mesh 轉化為可編輯的非均勻有理B 樣條（Non-Uniform Rational B-Splines，NURBS）曲面，再利用參數化工具（Grasshopper）借助NURBS 曲面生成尺寸可操控的磚塊。同時利用IFC（工業基礎類，Industry Foundation Class）代理（proxy）自定義磚塊的病害信息（如裂縫、撞擊、風化等），使這些參數在BIM 中可見并可改。該模型的意義是在磚塊的尺度上管理整個磚構建筑的數據，并可隨著檢測數據（如濕度、鹽析出等）的補充而不斷豐富。

盡管上述方法可以解決磚構建筑遺產測繪中的部分問題，但是這一技術流程還有很多問題亟待解決。此外，它們也反映了目前建筑遺產測繪中涉及到的常用圖學方法，比如：如何在全局尺度且不損失精度的前提下把mesh 轉化為NURBS 曲面，這就涉及到計算幾何的算法；目前磚塊的生成是基于規律（縱聯式筒拱，stretching bond）而非實測，這涉及到圖像處理的算法。下一步，我們將繼續研究從點云生成BIM的方法，以及評估柵格圖矢量化的算法，進而可以從圖像中自動提取磚塊的輪廓，實現全測繪流程的自動化。

4 圖學方法革新：從工程圖學到可視計算

圖是建筑學的工具之一，圖形與圖像也反映了建筑學在面對增量（如建筑設計、城市設計等）和存量（如建成環境評估、既有建筑改造、建筑遺產保護等）時的兩種不同思維。面對增量時，圖形貫穿草圖、建模、施工圖、放樣等諸多過程；面對存量時，以數據采集為先，圖像則是重要的數據類型之一。目前國內建筑學的圖學基礎來自工程圖學，工程圖學是面向工程學的圖學教育，針對機械零件、道路橋梁、房屋建筑等領域從無到有的設計、制作與建造過程，主要包括畫法幾何、CAD、BIM 等課程。與逆向工程（reverse engineering）有關的圖學教育幾乎空白，這個問題也體現在古建筑測繪教學中。

在過去以手工測量為古建筑測繪的主要方法時，工程圖學可以支撐繪圖的原理與方法，教師只需額外強調古建筑測繪層級的內容。激光掃描、攝影測量等技術被引入教學后，習慣了使用CAD 繪圖的學生在沒有圖像技術支撐的情況下，必然對處理龐雜的點云缺少辦法，把其中包含的變形、缺損與病害轉化為圖形，更是難上加難。目前的情況是，教師要么把處理好的數據交給學生，要么在測繪中教學生使用相關軟件。但無論哪種情況，在有限的課時下，學生都是既錯失了傳統意義上完整的典型測繪訓練，又僅僅接觸了新技術的皮毛。因此，我們認為古建筑測繪教學亟需補充有關圖像的圖學方法（表2），并將其與學生已有的圖學基礎建立聯系。比如，可以引導學生運用建筑設計中常用的可視化編程工具（如Grasshopper、Dynamo）處理（如降密、簡化等）點云和mesh，將其轉化為NURBS 曲面或邊界表示法（Boundary Representation，B-rep）模型，使其意識到空間數據處理與曲面表示方法的實質是計算幾何。如何將可視計算融入建筑學現有的圖學教育是今后教學改革的重要方向之一，意大利在課程設置上的經驗可以給我們提供有力參考①在意大利的建筑學學科體系中，類似于我國“建筑歷史與理論”二級學科的分支叫做“圖學、修復與建筑史”（Disegno, restauro e storia dell ’architettura），包括名稱所示的三個細分方向。其中圖學（或譯為繪圖）是以圖學原理（如計算幾何）研究圖學工具（如BIM, 參數化建模等）及相關新技術在建筑再現、建筑測繪中的應用，以博洛尼亞大學建筑系一名教師在2019-2020 學年的課程為例，其教學內容包括建筑制圖與圖形分析、平面設計基本原理、建筑測繪的工具與方法、建筑測繪新技術、技術制圖（詳見：https://www.unibo.it/sitoweb/federico.fallavollita/teachings）。這些內容并不全是理論授課，有的會成為設計課程的一個模塊。比如，建筑測繪新技術（24學時）是設計、歷史與修復工作坊（192 學時）的一個模塊，這個工作坊的其他模塊還有修復（72 學時）、歷史建筑再生（24 學時）、歷史景觀和開放空間的設計與活態保護（24 學時）。這樣設置的好處是，測繪技術教學在橫向上有拓展、在縱向上有延續（學生在低年級時已學習過建筑測繪），有利于學生融會貫通。。

需要注意的是，表2 中涉及的領域并非涇渭分明，而是呈現出相互融合的趨勢。有學者建議以“可視計算”（visual computing）統攝這些領域（還包括計算機圖形學、機器學習等），形成更大的學科方向[17]。我們認為，可視計算不僅可以解釋、評估與改進建筑遺產測繪中的圖學方法，也順應了從工程測量向傳感器技術轉變的趨勢，符合建筑遺產保護中整合多源數據的需求。同時隨著檢測技術的發展，測繪的邊界越來越模糊。紅外熱成像、透地雷達、超聲斷層掃描等檢測技術是否可以歸為測繪技術？測繪與檢測的邊界在哪里？在巴黎圣母院的修復中，負責數字建模的研究者在激光掃描與攝影測量采集的空間信息基礎上，將材料學、考古學、人類學等不同學科領域的研究匯總，形成了一個融合各學科研究成果的“數字孿生體”（digital twin）[18]。按照我們的理解，這個數字孿生體是數字模型和知識本體（ontology）的結合。數字模型是由圖形和圖像組成的圖學載體，知識本體則包含了語義、知識、檢測數據等非圖學信息的定義和描述，及其與圖學載體之間的對應關系[19]。這種結合的目的，是服務于建筑遺產海量數據的管理，以及日益增多的跨學科保護。比如，當修復一段墻體上的裂縫時，不僅需要它的空間信息及演變過程（基于歷時測量），還需要它的性能數據（比如材料強度），并能將其與裂縫的成因（如地震等）和結果（如滲水等）建立起關聯[20]。可見，從保護的角度看，區分測繪與檢測的邊界似乎并不重要，二者都是基于傳感器技術的數據采集手段。測繪更重要的意義，或者說發展趨勢，是利用合理的圖學方法搭建起融合多源數據的框架，并在建筑遺產保護的數據使用者（如建筑師、科學家、工程師、管理者等）之間，最大程度地提供信息可視化與交互的便利（圖4）。

表2 建筑遺產測繪中與圖像技術相關的研究方向及其應用

5 結語

近年來，在技術層面，基于圖形的建筑遺產測繪受到了圖像技術的沖擊；在概念層面，建筑學與保護科學的不同導向又造成了“建筑遺產測繪”的歧義，二者是建筑遺產測繪實踐與教學中產生的一系列問題的根源。文章從圖學的角度探討了上述問題，結論要點如下：

（1）激光掃描、攝影測量等新興測量技術實質上是輸出圖像的間接技術，圖像到圖形的轉化是目前測繪中的技術瓶頸，技術問題的背后是建筑學缺少針對圖像的圖學方法。

（2）圖形與圖像的偏好反映了建筑學與保護科學對待測繪的不同導向。圖形是建筑學古為今用的中介，在測繪中適用于桿件（如木構建筑）空間信息的表達；圖像技術與保護科學相輔相成，適用于具有豐富紋理與色彩、不規則幾何形體（如磚石建筑表面、雕像、彩畫）的測繪對象。越過輸出圖形、直接從圖像提取保護所需的數據是目前的前沿研究。

（3）建筑遺產測繪面臨的圖學革新是從工程圖學到可視計算。后者不僅可以涵蓋建筑遺產測繪的圖學方法，也順應了從工程測量向傳感器技術轉變的趨勢，符合建筑遺產保護中整合多源數據的需求。下一步，我們需要研究如何將可視計算融入建筑學現有的圖學教育之中。

圖4 傳統的古建筑測繪與保護科學的測繪在知識構成上的差異（圖片來源：孫政繪制）

[14]ANTONOPOULOU S, BRYAN P. BIM for Heritage: Developing a Historic Building Information Model [M]. Swindon: Historic England, 2017: 14-16.

[15]LóPEZ F J, LERONES P M, LLAMAS J, et al. A Review of Heritage Building Information Modeling (H-BIM) [J]. Multimodal Technologies and Interaction, 2018, 2(2): 21.

[16]SUN Z, XIE J T, ZHANG Y Y, et al. As-Built BIM for a Fifteenth-Century Chinese Brick Structure at Various LoDs [J]. ISPRS International Journal of Geo-Information, 2019, 8(12): 577.

[17]劉利剛. 什么是計算機圖形學[EB/OL]. (2013-08-08)[2020-09-20]. http://staff.ustc.edu.cn/～lgliu/Resources/CG/What_is_CG.htm.

[18]BALL P. The Huge Scientific Effort to Study Notre-Dame’s Ashes [J]. Nature, 2020, 577(7789): 153-154.

[19]ACIERNO M, CURSI S, SIMEONE D, et al. Architectural Heritage Knowledge Modelling: An Ontology-Based Framework for Conservation Process [J]. Journal of Cultural Heritage, 2017(24): 124-133.

[20]CACCIOTTI R, BLA?KO M, VALACH J. A Diagnostic Ontological Model for Damages to Historical Constructions [J]. Journal of Cultural Heritage, 2015, 16(1): 40-48.

Synopsis

In the past decades, architectural heritage survey in China has benefited from the wide application of optical measurement technologies such as terrestrial laser scanning (TLS) and photogrammetry. These technologies produce 3D data with high precision and resolution, which is accompanied by new challenges in the field of architectural studies. The methods of processing, representing and spreading these data (images) are beyond the architectural knowledge system of graphics (graph-based).

Graphs are reflections of the human brain. They can either be drawn by hand or in CAD (computer-aided design) software. Both Andrea Palladio’s survey of ancient Roman ruins and a 3D B-rep (boundary representation) model can be regarded as graphs. Images, however, are born from optical sensors. The process leading to images are objective in contrast to that of graphs. No matter how high the resolution of a raster image is, or how dense a 3D point cloud model is, images by their nature are samplings of the measured objects. In the field of representing architectural heritage graphs are boundary-aware, which are good at representing the spatial organisation of timber structures, while images are visually intuitive, which are ideal media for or ganic geometries and texture-abundant surfaces.

From the viewpoint of technological evolution, images are related to indirect measuring technologies. The raw images produced by machines are unstructured. Human operations, such as decimation, segmentation and approximation, are essential to turn them into graphs. The workflow of the image-based survey is different from 16th century’s Andrea Palladio and 1930s’ Liang Sicheng whose surveys were conducted directly (Figure 1). Two issues arise from this workflow: (1) can images be converted to graphs automatically? (2) can images themselves be the result of architectural heritage survey?

Preferences of graph or image reflect the different directions of architecture and conservation science. Surveying ancient ruins is a learning process for architects. Graphs bridge the gap between the past and the present. In the scope of conservation science, survey is considered the pre-work for restoration. The aims of the survey consist of documentation, monitoring and defects detection. Since the objects of conservations tend to be fragile, non-contact measurement is preferable. Imaging tech nologies meet this demand and gradually become standard documentation methods for conservation. The or ganisations, conferences, charters and researches in the second half of the 20th century witnessed this tendency. Thus, survey does not necessarily end up with graphs. Images themselves can be the result of surveys, as the so-called ‘informative preservation’; correspond -ingly, knowledge for conservation can be extracted from images directly. Algorithms emer ging from image processing, computing geometry, computer vision and machin e learning sheds light on this field. In 2018, Intel trained Artificial Intelligence (AI) to detect the defects of the Great Wall from point clouds derived from photogrammetry. Recently a benchmark of architectural heritage point-cloud-segmentation was published. Machinelearning algorithms have been used to automate this process. Recent advances of AI in medical imaging diagnosis might provide a reference for the future development of imaging technologies.

Imaging technologies seem to challe nge the role of architecture discipline in the architectural heritage survey field. It is also an opportunity to redefine the boundary of architecture by integrating emerging technologies. Some new tasks arise, including:

· Modifying the category of architectural heritage survey with reference to imaging technologies in the complete workflow of the survey.

· Renovating graphics methods in representation, management and spreading. CAD and BIM (Building Information Model) have limited inter -operability with images, while GIS (Geographic Information System) platforms lack architectural semantics. API (Application Programming Interface) and open source tools which integrate with such platforms is a trend.

· Evaluating and improving algorithm s from the perspective of architectural heritage survey. Instead of coding, it is more important to optimise the workflow through critical evaluation of algorithms and to tune the threshold of their parameters.

A case study is given to show the innovative application of graphic tools in architectural heritage survey. This surveyed building Stele Pavilion of Remarkable Feats and Sacred Virtues is a 15th-century brick structure in Nanjing, China. Three LoD (Level of Detail) models are proposed based on the combined use of a commercial BIM platform and auxiliary tools: A host model linked with raster images composed using orthoimage and relief maps (LoD 1), an as-built volume with semantic skins (LoD 2), and a brick-by-brick partial model with custom industry foundation class (IFC) parameters (LoD 3). The results reveal that LoD 1 caters to an efficient web-based workflow for brick-damage annotations; as-built dimensions can be extracted from LoD 2; LoD 3 enables attrib utes such as damage types to be attached at the brick level. In future studies, the detection of brick shapes is expected to automate the process of as-built surface mapping.

Up to now, architectural students in China share their graphics education with engineering students (e.g. civil engineering and mechanical engineering). Problems arise in the courses of historic buildings survey into which TLS and photogrammetry have been brought in recent years. On the one hand, survey data is expected to support conservation in such courses; on the other hand, the knowledge constitution of this course is engineering survey, engineering graphics and archi -tectural history. Students lacking knowledge of reverse engineering are facing graphic issues based on images. The graphics education of architecture should be updated to meet the needs of conservation science as well as the social transformation from designing new architectures to adapting existing ones (Figure 4). Thus, the graphics for conservation science is a general discipline named ‘visual computing’ which includes image processing, computer graphics, computer vision and machine learning. Visual computing meets the transforma -tion from engineer ing survey to sensor technolo -gies and encourage s non-destructive analyses and simulations of the conserved objects. The ‘digital twin’ established in the restoration of the Notre Dame Cathedral reveals the trend of graphics for architectural heritage conservation: a visual database composed of graphics and ontology . For the next step, we should investigate how to integrate visual computing into the graphics education of architecture.