基于建筑信息模型數(shù)據(jù)驅(qū)動(dòng)的鐵路設(shè)備運(yùn)維多模態(tài)知識(shí)圖譜構(gòu)建

林海香， 胡娜娜， 何 喬， 趙正祥， 白萬勝

（1. 蘭州交通大學(xué) 自動(dòng)化與電氣工程學(xué)院， 甘肅 蘭州 730070；2. 蘭州交通大學(xué) 四電建筑信息模型工程與智能應(yīng)用鐵路行業(yè)重點(diǎn)實(shí)驗(yàn)室， 甘肅 蘭州 730070；3. 貝爾福-蒙貝利亞技術(shù)大學(xué) 信息學(xué)院，貝爾福 法國(guó) 90000）

隨著我國(guó)高速鐵路網(wǎng)的快速發(fā)展［1］，高速鐵路運(yùn)營(yíng)現(xiàn)狀呈大運(yùn)量、高速度、高密度等特點(diǎn)。鐵路信號(hào)設(shè)備作為高速鐵路安全可靠運(yùn)營(yíng)的核心設(shè)備，具有結(jié)構(gòu)復(fù)雜、各設(shè)備內(nèi)部構(gòu)件之間的關(guān)聯(lián)性強(qiáng)等特點(diǎn)，傳統(tǒng)以現(xiàn)場(chǎng)人員密集型作業(yè)為主的運(yùn)維模式逐漸難以適應(yīng)現(xiàn)有復(fù)雜運(yùn)維場(chǎng)景下的故障高效分析與處理。近年來，建筑信息模型（building information model，BIM）在鐵路行業(yè)得到了廣泛應(yīng)用。在運(yùn)維管理階段，BIM 主要用于支持運(yùn)維工作流程的自動(dòng)化，如鐵路四電BIM 工程設(shè)備管理系統(tǒng)構(gòu)建了朔黃鐵路全生命周期管理的基礎(chǔ)設(shè)施智能運(yùn)維技術(shù)體系［2］，有效增強(qiáng)了運(yùn)維信息交互和模數(shù)共享能力。盡管BIM為信號(hào)設(shè)備運(yùn)維信息管理提供了媒介和技術(shù)，通過建模獲得的表征數(shù)據(jù)可反映設(shè)備實(shí)體之間的結(jié)構(gòu)特征，但不能精準(zhǔn)映射其行為規(guī)律和相互之間互饋?zhàn)饔玫臋C(jī)理，尤其是當(dāng)獲得的表征數(shù)據(jù)不夠完備、不夠精細(xì)、不夠準(zhǔn)確、不夠及時(shí)的時(shí)候，須同時(shí)依靠模型知識(shí)進(jìn)行推斷［3］。因此，如何將BIM 可視化三維圖像數(shù)據(jù)和專家經(jīng)驗(yàn)知識(shí)及運(yùn)維文本數(shù)據(jù)有機(jī)集成融合，實(shí)現(xiàn)數(shù)據(jù)的多維呈現(xiàn)，對(duì)提高鐵路信號(hào)設(shè)備運(yùn)營(yíng)維護(hù)效率具有十分重要的意義。

知識(shí)圖譜（knowledge graph，KG）作為表示結(jié)構(gòu)化知識(shí)的描述框架，能夠以簡(jiǎn)潔的形式表達(dá)描述性數(shù)據(jù)和實(shí)例數(shù)據(jù)。目前已被廣泛應(yīng)用于電力［4］、航空［5］、醫(yī)療［6］、金融［7］等各大領(lǐng)域。在鐵路領(lǐng)域，文獻(xiàn)［8-9］以鐵路信號(hào)設(shè)備相關(guān)文本數(shù)據(jù)為研究對(duì)象，研究相關(guān)知識(shí)抽取、知識(shí)融合技術(shù)，為基于知識(shí)圖譜的各類應(yīng)用提供數(shù)據(jù)支撐，但并未將這些知識(shí)進(jìn)行高效的組織管理以服務(wù)于高速鐵路故障診斷、智能運(yùn)維等下游應(yīng)用。文獻(xiàn)［10］構(gòu)建面向列控車載設(shè)備的故障知識(shí)圖譜，為車載設(shè)備故障智能維護(hù)提供支持。文獻(xiàn)［11］使用基于知識(shí)圖譜的拓?fù)浞治鰜硖剿麒F路運(yùn)營(yíng)事故。文獻(xiàn)［12］以英國(guó)鐵路事故報(bào)告為研究對(duì)象，建立面向鐵路安全事故的知識(shí)圖譜進(jìn)而應(yīng)用于鐵路風(fēng)險(xiǎn)評(píng)估。上述研究均為單一文本信息來源的單模態(tài)數(shù)據(jù)驅(qū)動(dòng)的方法，對(duì)鐵路數(shù)據(jù)中可挖掘的信息量存在一定局限性，并不能滿足鐵路設(shè)備運(yùn)維高質(zhì)量需求。 多模態(tài)知識(shí)圖譜（multi-modal knowledge graph，MMKG）可以在傳統(tǒng)知識(shí)圖譜的基礎(chǔ)上嵌入多種模態(tài)的實(shí)體［13］，并構(gòu)建多模態(tài)實(shí)體間的語義關(guān)系，實(shí)現(xiàn)數(shù)據(jù)-模型-知識(shí)的集成融合與可視化。例如Xiong 等［14］針對(duì)甲骨文信息處理構(gòu)建了多模態(tài)知識(shí)圖譜，該MMKG能夠更好地組織和管理基礎(chǔ)數(shù)據(jù)，為甲骨文信息處理研究服務(wù)。Fan等［15］通過本體驅(qū)動(dòng)的方式，構(gòu)建了集音頻、文本、圖像為一體的中國(guó)戲曲多模態(tài)知識(shí)圖譜，為用戶提供多維交互。上述研究說明，通過構(gòu)建多模態(tài)圖譜可實(shí)現(xiàn)多源異構(gòu)數(shù)據(jù)的高效組織管理與應(yīng)用，且能取得比單模態(tài)圖譜更優(yōu)的效果。

綜上，本文從實(shí)際應(yīng)用出發(fā)，提出基于BIM和數(shù)據(jù)驅(qū)動(dòng)的鐵路設(shè)備運(yùn)維多模態(tài)知識(shí)圖譜構(gòu)建方法。首先利用已有的鐵路信號(hào)設(shè)備運(yùn)維文本數(shù)據(jù)，構(gòu)建運(yùn)維文本知識(shí)圖譜；接著以鐵路四電BIM 工程設(shè)備管理系統(tǒng)獲取的圖像模態(tài)數(shù)據(jù)為研究對(duì)象，構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）-團(tuán)組圖卷積神經(jīng)網(wǎng)絡(luò)（clique group graph convolutional neural networks，cgGCN）模型對(duì)BIM圖像數(shù)據(jù)進(jìn)行信息標(biāo)注；最后將圖像信息以視覺模態(tài)嵌入到運(yùn)維文本知識(shí)圖譜中，完成BIM 圖像數(shù)據(jù)與運(yùn)維文本數(shù)據(jù)的集成融合，構(gòu)建鐵路設(shè)備運(yùn)維多模態(tài)知識(shí)圖譜，為后續(xù)現(xiàn)場(chǎng)鐵路運(yùn)維人員實(shí)施安全管理和運(yùn)維決策提供在線服務(wù)和指導(dǎo)。

1 鐵路設(shè)備運(yùn)維多模態(tài)知識(shí)圖譜構(gòu)建總體框架

本文提出的鐵路信號(hào)設(shè)備運(yùn)維多模態(tài)知識(shí)圖譜構(gòu)建總體框架如圖1 所示，主要包括運(yùn)維文本知識(shí)圖譜構(gòu)建、鐵路設(shè)備BIM 圖像模態(tài)知識(shí)抽取以及多模態(tài)知識(shí)圖譜構(gòu)建及可視化展示與應(yīng)用。

圖1 鐵路設(shè)備運(yùn)維多模態(tài)知識(shí)圖譜構(gòu)建總體框架Fig. 1 Overall framework of multimodal knowledge graph construction for railway equipment operation and maintenance

1.1 文本知識(shí)圖譜構(gòu)建

由于鐵路信號(hào)設(shè)備運(yùn)維數(shù)據(jù)具有強(qiáng)專業(yè)性，故采用自頂向下與自底向上相結(jié)合的方法構(gòu)建知識(shí)圖譜。首先根據(jù)不同類型數(shù)據(jù)的結(jié)構(gòu)化特征，自頂向下形成對(duì)應(yīng)的概念節(jié)點(diǎn)和關(guān)聯(lián)關(guān)系，然后自底向上構(gòu)建相應(yīng)的數(shù)據(jù)層，利用知識(shí)源之間的數(shù)據(jù)冗余性進(jìn)行知識(shí)抽取，文本模態(tài)的知識(shí)抽取操作主要包括實(shí)體、關(guān)系抽取和知識(shí)融合。

首先，針對(duì)鐵路信號(hào)設(shè)備非結(jié)構(gòu)化運(yùn)維文本數(shù)據(jù)命名實(shí)體識(shí)別任務(wù)識(shí)別精度低、識(shí)別不全問題，采用 BERT-BiLSTM-CRF （bidirectional encoder representations from transformers-bi-directional long short-term memory-conditional random fields）模型進(jìn)行實(shí)體抽取：由BERT 將文本數(shù)據(jù)轉(zhuǎn)為字符級(jí)嵌入向量，送入BiLSTM 提取上下文特征信息，CRF 學(xué)習(xí)標(biāo)簽之間的內(nèi)部關(guān)系以獲取最優(yōu)標(biāo)簽序列。然后，基于BERT-CNN 模型進(jìn)行關(guān)系抽取，將文本數(shù)據(jù)送入BERT 中進(jìn)行編碼生成詞向量，然后送入CNN 中進(jìn)行訓(xùn)練，最后添加全連接層和softmax 層抽取出目標(biāo)實(shí)體之間的關(guān)系。由于運(yùn)維文本數(shù)據(jù)記錄方式存在差異，對(duì)同一設(shè)備、故障現(xiàn)象、處理措施等內(nèi)容的描述不同，導(dǎo)致知識(shí)重復(fù)抽取，例如“密貼檢查器”和“密檢器”實(shí)際為同一設(shè)備實(shí)體。為避免知識(shí)圖譜中構(gòu)建重復(fù)節(jié)點(diǎn)，本文基于鐵路信號(hào)設(shè)備運(yùn)維數(shù)據(jù)中的實(shí)體構(gòu)建詞典，針對(duì)抽取實(shí)體采用cosine相似度算法在詞典中進(jìn)行實(shí)體匹配，將抽取實(shí)體鏈接到對(duì)應(yīng)實(shí)體上。

最后，將非結(jié)構(gòu)化的源文本數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化的知識(shí)三元組數(shù)據(jù)并存儲(chǔ)至Neo4j 圖數(shù)據(jù)庫(kù)，完成運(yùn)維文本知識(shí)圖譜的構(gòu)建。

1.2 圖像模態(tài)知識(shí)抽取

鐵路領(lǐng)域存在諸多專有名詞，在實(shí)際運(yùn)維環(huán)境中，基于BIM 的鐵路信號(hào)設(shè)備運(yùn)維平臺(tái)可對(duì)信號(hào)設(shè)備進(jìn)行三維幾何信息的可視化。將此類BIM圖像模態(tài)數(shù)據(jù)表征和關(guān)聯(lián)在知識(shí)圖譜中，能更直觀形象地顯示鐵路設(shè)備內(nèi)部的上下游關(guān)系，實(shí)現(xiàn)故障發(fā)生后的快速定位。對(duì)于BIM 圖像模態(tài)數(shù)據(jù)，本文借助計(jì)算機(jī)視覺處理技術(shù)進(jìn)行表征，其流程如下所述。

1.2.1 自適應(yīng)圖的構(gòu)造

為了從輸入的鐵路設(shè)備BIM圖像中自動(dòng)學(xué)習(xí)具有代表性的圖數(shù)據(jù)，將原始圖像送入CNN進(jìn)行自適應(yīng)圖的構(gòu)造，過程如圖2所示，具體工作機(jī)理如下。

圖2 自適應(yīng)圖的構(gòu)造過程Fig. 2 Process of adaptive graph construction

首先給定輸入的鐵路設(shè)備圖像I∈RH×W×3，H和W分別為圖像高度和寬度，采用CNN 網(wǎng)絡(luò)對(duì)其進(jìn)行高維特征的學(xué)習(xí)，由卷積層和池化層生成多通道的特征圖Im∈RH′×W′×C(H′＜＜H和W′＜＜W)，H′和W′分別為特征圖的高度和寬度，C為通道數(shù)。接著將多通道特征圖中相同空間位置的像素拼接起來，形成特征向量，該向量被視為一個(gè)圖節(jié)點(diǎn)，代表原始圖像中的一個(gè)空間區(qū)域。最后將多通道特征映射調(diào)整為節(jié)點(diǎn)嵌入矩陣X∈RN×C，其中N為節(jié)點(diǎn)數(shù)。基于節(jié)點(diǎn)嵌入，由k 近鄰法（k-nearest neighbor，kNN）根據(jù)節(jié)點(diǎn)特征之間的距離生成邊來構(gòu)造圖。

kNN 中評(píng)價(jià)兩個(gè)節(jié)點(diǎn)之間相似度的距離函數(shù)D(·，·)，計(jì)算方式為

其中：vi和vj分別為第i和第j個(gè)節(jié)點(diǎn)嵌入，i，j∈{1，2，···，N}。然后，選擇離每個(gè)節(jié)點(diǎn)最近的k個(gè)節(jié)點(diǎn)作為相鄰節(jié)點(diǎn)。

圖的邊可以計(jì)算為

其中：如果圖中第i和第j個(gè)節(jié)點(diǎn)之間有邊連接，則為eij=1，eij=0則為無邊連接。

由于自適應(yīng)圖的構(gòu)造嵌入到整個(gè)圖像分類模型框架中，因此在訓(xùn)練過程中，節(jié)點(diǎn)特征和邊緣連接都會(huì)隨著整個(gè)網(wǎng)絡(luò)的優(yōu)化而更新。因此，圖可以自適應(yīng)更新和構(gòu)造，隨后圖卷積網(wǎng)絡(luò)可以學(xué)習(xí)更有效的圖表示進(jìn)行分類。

1.2.2 cgGCN

對(duì)構(gòu)建的圖數(shù)據(jù)進(jìn)行圖卷積，進(jìn)一步學(xué)習(xí)鐵路設(shè)備圖像的空間特征。采用cgGCN 替代傳統(tǒng)的GCN，以捕捉節(jié)點(diǎn)間強(qiáng)大的空間相關(guān)性，學(xué)習(xí)有效的空間特征用于分類任務(wù)。

（1） cGCN

cGCN 通過循環(huán)反饋網(wǎng)絡(luò)（Clique Net）最大化信息流，進(jìn)而有效重用高維圖像特征，引導(dǎo)分層特征的細(xì)化。具體過程如圖3 所示。cGCN 有三個(gè)圖卷積層，任意兩層之間都采用反饋和反向連接。特征傳播過程可分為兩個(gè)階段，即階段I和階段II。

圖3 cGCN結(jié)構(gòu)示意圖Fig. 3 Illustration of clique graph convolution structure

在階段I 中，輸入層通過單向連接初始化所有層。更新后的層被串聯(lián)起來以更新下一層。cGCN正向傳播中第i層的圖卷積可以表示為

其中：X0為cGCN 的輸入；為階段I中第i個(gè)圖卷積層的輸出；Wij為連接第i層和第j層的權(quán)值矩陣。

在階段II 中，各層開始交替更新。除了頂層待更新外，所有的圖卷積層都作為底層串聯(lián)，對(duì)應(yīng)的參數(shù)也進(jìn)行串聯(lián)。cGCN的反饋過程可以表示為

其中：表示階段II中第i個(gè)圖卷積層的輸出。

具有f維節(jié)點(diǎn)特征向量的cGCN 輸出圖表示Yout∈RN×F可以表示為

其中“｛｝”表示將向量進(jìn)行拼接。

（2） gGCN

利用gGCN 來減少冗余信息，并在相鄰層之間的特征傳播過程中進(jìn)一步隱式地選擇更優(yōu)的特征表示。其結(jié)構(gòu)如圖4所示。cgGCN中g(shù)GCN的工作原理描述如下。

圖4 gGCN結(jié)構(gòu)示意圖Fig. 4 Illustration of group graph convolution structure

首先，Ginput表示gGCN的輸入，將其分成兩個(gè)子圖G1和G2，分別經(jīng)過圖卷積運(yùn)算后產(chǎn)生線性圖特征G′1和G′2，計(jì)算過程如式（6）所示：

其中：b1和b2分別是圖卷積運(yùn)算過程對(duì)應(yīng)的偏置。

然后，用得到的G′1和G′2計(jì)算經(jīng)BN+ReLU 模塊產(chǎn)生的非線性圖特征G″1和G″2，計(jì)算過程如式（7）所示：

式中：BN 和ReLU 分別表示批量歸一化和ReLU 激活函數(shù)。

接著，由GConv（Group Conv， 分組卷積）和Tanh 激活函數(shù)結(jié)合成門控機(jī)制，輸出G′1g和G′2g，計(jì)算過程如下：

式（8）中：b1g、b2g分別為圖卷積運(yùn)算過程對(duì)應(yīng)的偏置。計(jì)算融合特征Gfu為

其中：“·”表示元素的乘積。逐元素相乘可避免維數(shù)增加，降低后續(xù)計(jì)算的復(fù)雜性，同時(shí)可有效捕捉兩個(gè)子圖之間的復(fù)雜特征交互，以學(xué)習(xí)高級(jí)特征表示。

最后，gGCN的輸出圖表示Goutput計(jì)算為

其中：α，β和γ是可訓(xùn)練的權(quán)重變量。

gGCN 可以簡(jiǎn)化學(xué)習(xí)過程，從而細(xì)化節(jié)點(diǎn)特征的學(xué)習(xí)，增強(qiáng)圖表示固有的多樣性，使學(xué)習(xí)特性更具魯棒性。此外，gGCN 還實(shí)現(xiàn)了對(duì)偶分支中不同信息的選擇和融合，生成豐富的圖表示。

（3） 圖像標(biāo)簽預(yù)測(cè)

將cGCN 和gGCN 學(xué)習(xí)到的特征送入圖池化層，通過全連接層對(duì)輸出進(jìn)行整合，隨后采用softmax實(shí)現(xiàn)圖像標(biāo)簽預(yù)測(cè)。

2 實(shí)驗(yàn)與評(píng)估

2.1 實(shí)驗(yàn)數(shù)據(jù)集及評(píng)價(jià)指標(biāo)

鐵路設(shè)備圖像數(shù)據(jù)集來源于鐵路四電工程BIM設(shè)備管理系統(tǒng)，共計(jì)2 135 張，如圖5 所示為信號(hào)機(jī)BIM圖像。為避免模型出現(xiàn)過擬合問題，對(duì)圖像進(jìn)行旋轉(zhuǎn)、水平翻轉(zhuǎn)等數(shù)據(jù)增強(qiáng)操作，形成包含4 270張圖像的數(shù)據(jù)集，以8：1：1的比例隨機(jī)劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，通過EasyData智能標(biāo)注工具對(duì)訓(xùn)練集數(shù)據(jù)進(jìn)行標(biāo)注。模型性能評(píng)價(jià)指標(biāo)［16］為準(zhǔn)確率、精確率、召回率以及精確率和召回率的調(diào)和平均值F1。

圖5 BIM圖像示例Fig. 5 Example of BIM image

2.2 實(shí)驗(yàn)環(huán)境搭建

本文實(shí)驗(yàn)環(huán)境如表1 所示，經(jīng)多次實(shí)驗(yàn)確定的部分參數(shù)如表2所示。

表1 實(shí)驗(yàn)環(huán)境及配置Tab. 1 Experimental environment and configuration

表2 實(shí)驗(yàn)參數(shù)設(shè)置Tab. 2 Setting of experimental parameters

2.3 對(duì)比實(shí)驗(yàn)與分析

為驗(yàn)證本實(shí)驗(yàn)所提出的模型在鐵路設(shè)備圖像數(shù)據(jù)集上分類的有效性，將CNN-cgGCN 與ResNet50［17］、 CNN-SAGEConv［18］、 CNNGATConv［19］、CNN-tGCN［20］、CNN-cGCN 和CNNgGCN 進(jìn)行比較。由于cgGCN 輸入的圖是基于自適應(yīng)圖構(gòu)造模塊構(gòu)建的，為便于比較，將所有基于圖卷積的算法都嵌入到CNN-GCN 框架中，網(wǎng)絡(luò)層數(shù)與cgGCN相同。實(shí)驗(yàn)結(jié)果如圖6所示。

圖6 不同模型圖像分類結(jié)果Fig. 6 Image classification results of different models

實(shí)驗(yàn)結(jié)果表明，CNN-cgGCN 算法優(yōu)于ResNet50、 CNN-SAGEConv、 CNN-GATConv、CNN-tGCN、CNN-cGCN 和CNN-gGCN 等所有比較算法。下面對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行具體分析：

（1） 基于CNN-GCN 框架的所有算法在所有指標(biāo)上的性能都優(yōu)于基線模型ResNet50，說明CNNGCN框架的有效性，因?yàn)閳D卷積網(wǎng)絡(luò)能夠從相應(yīng)的鐵路信號(hào)設(shè)備BIM 圖像中學(xué)習(xí)各構(gòu)件間的空間信息，從而提高分類性能。

（2） 與CNN-tGCN 相比，CNN-cGCN 在分類準(zhǔn)確率、精確率、召回率和F1 值上分別提高了2.34 %、2.30 %、2.10 %和2.33 %，表明cGCN 中的循環(huán)反饋機(jī)制能夠有效提高圖卷積的性能。與此同時(shí)，CNN-gGCN 的結(jié)果優(yōu)于CNN-tGCN，因?yàn)間GCN 將原始圖劃分為兩個(gè)子組，然后分別提取各分支特征和融合特征，獲取不同的圖信息，同時(shí)還隱式地執(zhí)行特征選擇進(jìn)而減少冗余信息，提高圖卷積的分類性能。

（3） 與CNN-cGCN 相比，CNN-cgGCN 分類準(zhǔn)確率提高了4.04 %，表明cgGCN 中的gGCN 可以通過圖卷積簡(jiǎn)化學(xué)習(xí)過程，從而細(xì)化節(jié)點(diǎn)特征，使學(xué)習(xí)的特性更具魯棒性。此外，gGCN 還可以選擇和融合各分支中的不同信息，生成豐富的圖表示，提高分類性能；與CNN-gGCN相比CNN-cgGCN模型分類準(zhǔn)確率提高了3.03 %，表明cgGCN中的cGCN通過循環(huán)反饋機(jī)制能夠最大化信息流，獲得更優(yōu)的特征表示，提高分類性能。綜上，CNN-cgGCN分類性能最好，證明將cGCN 和gGCN 結(jié)合用于鐵路設(shè)備BIM圖像處理的優(yōu)越性。

3 多模態(tài)知識(shí)圖譜可視化及應(yīng)用

基于所述方法，首先抽取鐵路設(shè)備運(yùn)維文本中的知識(shí)，以三元組形式存入Neo4j圖數(shù)據(jù)庫(kù)，實(shí)現(xiàn)鐵路設(shè)備運(yùn)維文本知識(shí)圖譜的可視化展示。接著通過BIM 圖像模態(tài)知識(shí)抽取獲取對(duì)應(yīng)信號(hào)機(jī)、自動(dòng)開閉器、齒輪組、電動(dòng)機(jī)、鎖閉器等20種鐵路設(shè)備零件圖信息，然后令圖像信息以視覺模態(tài)嵌入到運(yùn)維文本知識(shí)圖譜中，直觀準(zhǔn)確地反映信號(hào)設(shè)備信息之間的內(nèi)在聯(lián)系。另外，考慮在不同環(huán)境下各設(shè)備工作的可靠性和安全性，將轉(zhuǎn)轍機(jī)、信號(hào)機(jī)等設(shè)備零部件實(shí)體節(jié)點(diǎn)所處的自然環(huán)境以及應(yīng)用環(huán)境等相關(guān)信息作為附加屬性添加。部分鐵路設(shè)備運(yùn)維多模態(tài)知識(shí)圖譜可視化展示如圖7所示。

圖7 鐵路設(shè)備運(yùn)維多模態(tài)知識(shí)圖譜Fig. 7 Multimodal knowledge graph for operation and maintenance of railway equipment

鐵路設(shè)備運(yùn)維多模態(tài)知識(shí)圖譜的決策輔助功能包括查詢分析和運(yùn)維決策措施反饋。通過知識(shí)檢索和圖計(jì)算實(shí)現(xiàn)，知識(shí)檢索能夠在知識(shí)圖譜中快速獲取運(yùn)維決策者所需的信息，從而形成結(jié)構(gòu)化的知識(shí)結(jié)果并反饋給運(yùn)維決策者。圖計(jì)算利用圖分析算法對(duì)知識(shí)圖譜進(jìn)行分析，獲得更深層次的設(shè)備運(yùn)維決策規(guī)則。

為進(jìn)一步對(duì)比多模態(tài)數(shù)據(jù)為鐵路信號(hào)設(shè)備運(yùn)維圖譜帶來的跨模態(tài)檢索和查詢能力，將本文構(gòu)建的多模態(tài)知識(shí)圖譜與去除BIM圖像模態(tài)的知識(shí)圖譜進(jìn)行對(duì)比。表3為不同模態(tài)知識(shí)圖譜在運(yùn)維過程中的故障處置表現(xiàn)對(duì)比。

表3 不同模態(tài)圖譜對(duì)比Tab. 3 Comparison of different modal knowledge graphs

由表3 可看出，盡管構(gòu)建多模態(tài)圖譜將花費(fèi)更多的時(shí)間，但在單次知識(shí)檢索耗時(shí)方面并沒有太大差距。在實(shí)際場(chǎng)景中，由于知識(shí)圖譜通常是預(yù)先構(gòu)建完成，并不對(duì)信號(hào)設(shè)備故障處置任務(wù)的執(zhí)行造成較大影響。而從完成故障處置任務(wù)耗時(shí)方面來看，多模態(tài)知識(shí)圖譜將起到較大輔助作用，其跨模態(tài)檢索能力可實(shí)現(xiàn)故障部位的快速定位，有效縮短故障維修耗時(shí)，提升運(yùn)維決策準(zhǔn)確率。

如圖8，以包含多模態(tài)數(shù)據(jù)進(jìn)行知識(shí)檢索和運(yùn)維決策措施反饋為例，介紹運(yùn)維多模態(tài)知識(shí)圖譜的實(shí)際應(yīng)用流程。在運(yùn)營(yíng)過程中信號(hào)設(shè)備發(fā)生故障后，發(fā)出包含圖像和文本模態(tài)數(shù)據(jù)的報(bào)警信息，文本信息為“6號(hào)道岔尖3轉(zhuǎn)轍機(jī)故障”，經(jīng)知識(shí)抽取得到關(guān)鍵實(shí)體｛故障部位：轉(zhuǎn)轍機(jī)｝，對(duì)圖像信息先定位目標(biāo)對(duì)象后提取圖像特征，與鐵路設(shè)備運(yùn)維MMKG中的圖像實(shí)體進(jìn)行相似度計(jì)算，確定圖像對(duì)應(yīng)的實(shí)體名稱為“自動(dòng)開閉器”，由此可快速將故障部位定位到轉(zhuǎn)轍機(jī)內(nèi)部的自動(dòng)開閉器，同時(shí)采用Neo4j Cypher在MMKG中進(jìn)行查詢，返回自動(dòng)開閉器對(duì)應(yīng)相關(guān)實(shí)體的關(guān)聯(lián)屬性信息，得到其對(duì)應(yīng)的歷史故障記錄及維修措施等運(yùn)維知識(shí)。最后，運(yùn)維人員在進(jìn)行故障維修時(shí)，選用檢索推送出的歷史運(yùn)維決策措施作為維修依據(jù)，并結(jié)合現(xiàn)場(chǎng)狀況進(jìn)行維修決策，提高運(yùn)維決策效率和維修效果。

圖8 鐵路設(shè)備運(yùn)維多模態(tài)知識(shí)圖譜的應(yīng)用流程Fig. 8 Application process of multimodal knowledge graph of railway equipment operation and maintenance

4 結(jié)論

（1） 基于非結(jié)構(gòu)化運(yùn)維文本數(shù)據(jù)，首先構(gòu)建BERT-BiLSTM-CRF模型進(jìn)行實(shí)體抽取，由于抽取實(shí)體中存在“多詞一義”問題，故經(jīng)余弦相似度算法進(jìn)行實(shí)體消歧，然后構(gòu)建BERT-CNN模型抽取實(shí)體間的關(guān)系。最終將源數(shù)據(jù)轉(zhuǎn)化為知識(shí)三元組數(shù)據(jù)構(gòu)建運(yùn)維文本知識(shí)圖譜；

（2） 以鐵路設(shè)備BIM 圖像模態(tài)的數(shù)據(jù)為對(duì)象，采用CNN-cgGCN模型對(duì)鐵路設(shè)備BIM圖像進(jìn)行分類，得到20 種鐵路信號(hào)設(shè)備零件圖類別，經(jīng)對(duì)比實(shí)驗(yàn)分析，說明將該模型用于鐵路領(lǐng)域圖像模態(tài)數(shù)據(jù)知識(shí)抽取的有效性；

（3） 將BIM圖像信息以視覺模態(tài)嵌入到運(yùn)維文本知識(shí)圖譜中，最終構(gòu)建鐵路信號(hào)設(shè)備運(yùn)維多模態(tài)知識(shí)圖譜并進(jìn)行可視化展示，完成BIM 圖像數(shù)據(jù)與運(yùn)維文本知識(shí)的集成融合，直觀地映射各設(shè)備的行為規(guī)律和相互之間互饋?zhàn)饔玫臋C(jī)理，同時(shí)通過知識(shí)檢索和圖計(jì)算可快速獲取運(yùn)維決策者所需的信息，輔助運(yùn)維人員進(jìn)行運(yùn)維決策。

本文是從自然語言處理角度出發(fā)，通過構(gòu)建鐵路信號(hào)設(shè)備運(yùn)維多模態(tài)知識(shí)圖譜實(shí)現(xiàn)BIM圖像模態(tài)數(shù)據(jù)與運(yùn)維文本數(shù)據(jù)的多維呈現(xiàn)，實(shí)質(zhì)是知識(shí)圖譜的補(bǔ)全。后續(xù)在本文所構(gòu)建的多模態(tài)圖譜的基礎(chǔ)上會(huì)添加更多如音頻、視頻等模態(tài)的數(shù)據(jù)進(jìn)行擴(kuò)充，并且會(huì)對(duì)多模態(tài)信息融合進(jìn)行研究，將嘗試更多先進(jìn)的方法提高圖譜構(gòu)建質(zhì)量。在圖譜應(yīng)用方面，未來將結(jié)合圖神經(jīng)網(wǎng)絡(luò)以探究運(yùn)維圖譜自動(dòng)補(bǔ)全生成的可行性。

作者貢獻(xiàn)聲明：

林海香：數(shù)據(jù)收集，方案設(shè)計(jì)，建模思路。

胡娜娜：知識(shí)圖譜構(gòu)建，初稿撰寫。

何 喬：數(shù)據(jù)分析，論文修改。

趙正祥：實(shí)驗(yàn)結(jié)果可視化。

白萬勝：數(shù)據(jù)整理。