基于混合現實與案例推演技術的移動可視化檢修決策支持系統

鄭利龍，李秉展

(西南交通大學土木工程學院，四川成都 610000)

隨著MR(Mixed Reality)技術的興起，移動檢修變得更加直接、有效。傳統建筑維護需要由有經驗的和經過長期訓練的專家來進行，并且維護成本高、效率低。隨著新技術的發展，研究人員逐漸開始整合各項新技術用于建筑維護。據統計，絕大部分有關建筑維護管理研究的文章加入了信息技術的內容，認為該類技術使得研究更有價值和意義，且研究者認為，其中的混合現實技術在設備管理中將會發揮出更大的作用[1]。MR技術是通過將計算機生成的虛擬物體或信息和真實環境實時疊加在一起，給用戶呈現一個感官效果真實、場景信息豐富的情境。這種虛擬零件和真實零件共存的特點，可以為用戶在復雜的建筑維護和檢修中提供一種更靈活、直觀的方法，從而使得非熟練工人也能夠正確地進行建筑維護與檢修，達到縮短建筑維護周期、提高檢修效率、降低維護成本的目標。

MR用于建筑維護的研究已不新穎，然而很少有將其融入BIM和知識管理的研究。本研究提出整合BIM、MR與CBR算法，集成智能的云端決策支持系統。通過基于CBR技術的云端決策支持系統，可提高檢修推薦方案的有效性。CBR作為人工智能發展較為成熟的一個分支，它是一種基于過去的實際經驗或經歷的推理。研究通過多專業整合的BIM知識模型為基礎，打通CBR數據庫與模型底層數據庫的數據接口，通過云端連接MR系統，形成可視化檢修決策支持系統。檢修人員一旦發現建筑設備故障后，可通過開發的MR移動端APP掃描設備二維碼，云端輸入故障描述檢索CBR案例庫，系統通過問題屬性遍歷知識庫按匹配相似程度反饋故障原因，并提供檢修決策支持。維修人員使用后可對系統推薦方案作評價，作為數據回饋，反饋系統自我學習，提高決策推薦的準確性。

1 移動可視化檢修決策支持系統架構

1.1 決策支持算法

1.1.1 CBR案例推理

CBR是人工智能發展較為成熟的一個分支，它是一種基于過去的實際經驗或經歷的推理。對基于案例的推理來說，求解一個問題的結論是從記憶里或案例庫中找到與當前問題最相關的案例，然后對該案例做必要的改動以適合當前需解決的問題。“案例”是指以前的具體情況，累積案件結合適當的組織結構構成案例庫。

CBR的使用是指一組活動，一個循環。CBR循環包括檢索，重用，修訂和保留的四個子階段[2]。遇到新問題時，將新問題通過案例描述輸入CBR系統；系統會檢索出與目標案例最匹配的案例，若有與目標案例情況一致的源案例，則將其解決方案直接提交給用戶；若沒有則根據目標案例的情況對相似案例的解決方案進行調整和修改，若用戶滿意則將新的解決方案提交給用戶，若不滿意則需要繼續對解決方案進行調整和修改；對用戶滿意的解決方案進行評價和學習，并將其保存到案例庫中。從這個意義上講，CBR是一個自我學習的系統[3]。

1.1.2 案例檢索算法

文中描述的案例檢索算法來源于Kolodner[4]，這個算法確定案例之間的相似性和確認案例之間的相似值。

(1)

確定一組合適的權重對檢索結果至關重要。通常簡單地向用戶呈現關鍵因子列表，并要求分配數字權重，該權重反映了它們相對于其他屬性對該屬性的重要性。然后可以在上面的公式中直接使用這些權重來檢索最相似的案例。在該研究中，權重是基于描述原因和故障癥狀之間的相關性的相關矩陣來確定的。假設一個系統有m個原因和n個癥狀，我們構造一個相關矩陣。

(2)

aij代表故障表征j發生故障i的可能性。可能性用1，3和5量化，分別表示低，中和高。為了獲得合理的相關值，同時避免主觀因素的影響，通過模糊評價將專家意見結合起來是獲得這些數值的可行途徑。本文我們使用AHP(層次分析法)算法，利用模糊運算匯集專家意見。

基于相關矩陣，可以定義各種故障類型的權重為：

(3)

這里，加權值根據故障類型而變化。它們根據真實的故障表征描述每個故障的癥狀屬性。

1.2 系統架構

本文中系統數據架構整體分為兩部分：界面端的應用層和后臺數據基礎。數據基礎包括CBR維護知識庫以及BIM的模型數據，其中知識層和模型層的數據串接通過關聯層實現，IFC協議通過給模型添加屬性的方式將維護知識庫綁定在BIM模型對應元件ID上，生成帶知識的BIM模型，又可稱“建筑知識模型”。在數據基礎上，將帶知識的模型通過Vuforia SDK工具在MR應用層中可視化顯示，并通過網絡web連接MR平臺層與CBR知識庫，進行文本的交互。系統架構見圖1。

圖1 系統架構

1.2.1 BIM與CBR的數據聯通

為了將CBR知識模塊添加到BIM模塊上，附加參數用于BIM模型中表示知識案例屬性是必須的(本研究BIM環境為Autodesk Revit)。Revit中表示建筑元素屬性的參數有兩種：實例和類型參數。對于本研究在BIM元件上存儲知識，需添加自定義實例參數。本研究通過在項目中對建筑元件進行族編輯，在族中選擇參數屬性添加實例參數，所涉及參數有5個大類，分別為：Problem description，Symptoms，Fault source，Cause，Solution。

在BIM元件上添加了一組參數，這些參數表示要從維護信息中提取的案例信息。維護案例與構建元素相關聯的參數也包括建筑的細節和分類，其自身定義的建筑屬性也需要成為BIM環境上傳的構建模型的一部分。如圖2所示，CBR模塊允許用戶創建知識案例，在這個過程中，用戶可以將維護案例添加到已存儲的BIM元件中。用戶可以提交一個建筑元素編號以檢索存儲在元素中的詳細信息，同時可以對應插入新知識案例的詳情。在存儲時，BIM元素和維護案例都有各自獨一無二的ID來區分，來保證多個案例存儲在一個元件中時不至于混亂，導致檢索錯誤。IFC作為一個信息交換的標準格式，包含了許多建筑過程的圖紙信息與工程資料信息，它涉及項目元素的層次結構關系、幾何和屬性。系統通過IFC協議在對應元素ID上按照實例參數綁定相應知識后，BIM模塊與CBR模塊就可以進行實時交互，互聯互通。新案例通過前端輸入與CBR案例庫比對學習后，不斷精煉，對于保留的新案例在CBR庫中更新后在BIM模塊也可以相應得更新其屬性參數信息。

圖2 CBR與BIM數據互聯

1.2.2 BIM與MR的數據聯通

實現CBR知識庫與BIM模塊的數據融合后，要想可視化移動顯示模型支持維護決策，需將帶知識的BIM模型與MR模塊的數據交接打通。MR的工作原理為：生成以空間位置為區別的二維碼，其中存有模型相關信息，利用攝像機識別并讀取已知二維碼定位點的相對位置，通過一系列的矩陣計算得到真實環境中參照點與虛擬環境中坐標的映射關系，然后在標記上描繪出3D物體，最終顯示虛擬物體與真實場景的疊加。通過將融入了知識的BIM模型儲存為FBX格式，再導入Unity，利用其中的Vuforia SDK，實現BIM模型的MR顯示。通過在移動端開發對應的APP，維修人員只需通過APP掃描房間內的二維碼，完成簡單的定位操作，便可查看真實尺寸的BIM模型與模型對應的維護知識庫。通過MR系統的聯網功能，可通過Web讓用戶與后臺數據庫進行文本的實時交互。

本研究在MR系統的基礎上集成運用了Unity和SQL技術，系統與SQL數據庫相關聯，能夠做到信息的交互與更新。通過研究集成運用Unity和SQL技術有效實現建筑信息屬性查詢和建筑維護決策支持這兩個功能，方便用戶在建筑維護與檢修中與計算機進行實時交互，達到降低維護過程中的成本、提高維護檢修效率的目的。MR與BIM數據交換架構圖見圖3。

圖3 MR與BIM數據交換架構

2 案例應用

2.1 項目簡介

本研究以某學校新建教學樓為例。該項目位于四川省成都市，用于學校教學與辦公，另外還設有實驗室、計算機機房等。總建筑面積為76 300 m2，其中地上建筑面積59 400 m2，地下建筑面積16 900 m2。建筑高度為75.35 m，為一類公共建筑。

該項目模型使用歐特克平臺Revit軟件進行搭建，模型分為建筑、結構、機電三個部分。模型在搭建過程中將各建筑構件的CBR案例通過實例參數對應融入構件屬性中(圖4)。本研究以空調系統為例來說明研究方法的可行性。

圖4 模型實例屬性錄入

2.2 案例描述

本項目載體采用的空調類型為風管式空調機，研究通過采訪咨詢空調維護專家意見，總結歸納可能的空調故障源有：(1)F1：壓縮機故障；(2)F2：冷凝水排水管故障；(3)F3：過濾網故障；(4)F4：送風百葉故障；(5)F5：加濕器故障；(6)F6：風機故障；(7)F7：風道調節閥故障；(8)F8：加熱器故障。

接下來需要定義故障表征。故障表征的描述通常是不規則的和非結構化的。根據空調工作原理及專家意見，將空調故障表征屬性定義如下：(1)S1：漏水；(2)S2：加濕不良；(3)S3：供冷量不足；(4)S4：噪聲/震動；(5)S5：異物吹出；(6)S6：風量小；(7)S7：不制熱。

將這些相關的異常情況癥狀分為三級0級、1級和2級，分別代表正常、輕微和嚴重。比如現在維護人員發現一個問題：室內溫度降不下來，直接感知是它的供冷量不足，相對風量也較小，所以對應的故障表征供冷量不足應該選擇2級，風量小應該是1級。

案例庫中的每個案例描述一個特定的情況，所有的情況都是相互獨立的。案例結構包括五個主要部分：Problem description，Symptoms，Fault source，Cause，Solution。假設案例庫中有一案例：Case1，Problem description：制冷效果差，風量小；Symptoms：(1)S1：漏水：Normal；(2)S2：加濕不良：Normal；(3)S3：供冷量不足：Critical；(4)S4：噪聲/震動：Slight；(5)S5：異物吹出：Normal；(6)S6：風量小：Slight；(7)S7：不制熱：Normal；Fault Sources：壓縮機；Cause：壓縮機故障；Solution：檢修或更換壓縮機。

現在，維護出現一個新問題。對問題的故障表征的觀察如下，對于感知到的故障表征，并不需要包括所有的表征。這個新問題所觀察到的故障表征是：New Case，Problem description：室內溫度降不下來； Symptoms：(1)S1：漏水：Normal；(2)S2：加濕不良：Normal；(3)S3：供冷量不足：Critical；(4)S4：噪聲/震動：Normal；(5)S5：異物吹出：Normal；(6)S6：風量小：Slight；(7)S7：不制熱：Normal。

2.3 相似度計算

根據前述對于故障發生可能性的定義，將對應故障源發生相關故障表征的可能性用1，3，5三個層級來區分。這個例子的故障相關矩陣為：

各種不同故障源的權重可通過式(3)計算，案例相似度可通過下列公式計算：

表1 案例相似度計算結果

2.4 案例學習

系統將對應案例的解決方法按案例匹配度從高到低提交給用戶。選擇過程和結果最為相似的解決方案，維護人員對新的故障問題進行討論，若所推薦的方案確實解決了該問題，使用后提交反饋意見，系統對用戶滿意的解決方案進行評價和學習，并將解決方案與對應新的問題存儲進案例庫中。

2.5 系統應用

用戶在維護過程中，通過MR移動端APP掃描設備上的二維碼，MR界面將調出設備模型，將移動端朝下重置定位信息，從而精確定義設備位置和零件。并可分別點選故障設備查詢其構建屬性(圖5)。

調閱設備后維修人員可直觀感知設備結構，以輔助檢修決策。基于CBR云端智能決策系統，維護人員即使沒有相關專業知識，也可做到精準檢修，通過點選設備，系統彈框輸入故障描述與對應的故障表征，進行云端(圖6)。系統將遍歷CBR案例庫按相似度推薦檢修方案(圖7)。維修人員根據系統推薦詳細方案檢修后作出使用反饋。系統將對反饋的數據自我學習，提高決策推薦的準確性。

圖5 BIM+MR互動式應用程序

圖6 故障問題描述

圖7 系統案例推薦

3 結束語

本研究探索BIM、MR和CBR算法的數據整合方式，通過打通三者數據接口，集成智能云端決策支持系統。系統以多專業整合的BIM知識模型為基礎，通過IFC協議云端整合BIM數據庫與CBR庫的串接；開發MR移動端應用程序，將BIM模型通過MR的方式可視化呈現；基于云端平臺，實現了MR網頁端與CBR數據庫的數據交流。并以實際案例驗證了系統的可行性。