基于知識推理的紋飾演化關系發現

盧 明，侯小剛，韓曉彤，趙海英，4

1.甘肅讀者動漫科技有限公司，蘭州 730030

2.北京郵電大學 人工智能學院，北京 100876

3.北京郵電大學 數字媒體與設計藝術學院，北京 100876

4.北京郵電大學 世紀學院 移動媒體與文化計算北京市重點實驗室，北京 102101

傳統紋飾是中華優秀文化的重要載體，對傳統紋飾的挖掘與理解是進行中華優秀傳統文化傳承的重要途徑之一[1-2]?，F今對傳統紋飾相關解讀大多由領域專家對數據進行整理以傳統媒介的方式呈現，任務量大且呈現內容有限。如何利用計算機手段輔助實現傳統紋樣的演化分析研究，具有重要的現實意義[3-4]。本文提出一種基于知識推理技術開展對傳統紋飾挖掘與解讀的新方法，首先對從新石器時代到清朝結束各個時期不同地域紋飾的相關知識與特定形態進行分析，然后基于其基本信息構建傳統紋飾語義網，最后使用知識推理相關技術開展對傳統紋飾演化過程的挖掘與解讀。

1 相關工作

目前，關于演化關系發現方法的研究主要集中在如下三個方面的研究：基于邏輯規則的關系推理、基于表示學習的關系推理和基于深度學習的關系推理。下面從這三個方面分別對該領域相關研究工作進行簡要總結。

1.1 基于邏輯規則的關系推理

邏輯規則模型的典型工作主要包括基于馬爾科夫網絡的馬爾科夫邏輯網絡模型[5]和基于貝葉斯網絡的概率關系模型[6]。邏輯規則模型的工作原理是通過將概率模型與人工定義的一階謂詞邏輯規則相結合以實現必要的邏輯推理。該模型雖然在小規模知識庫上具有較好的優越性，但也存在兩方面的不足：首先是算法模型復雜度較高，難以很好地適應于大規模知識圖譜；其次是過于依賴領域專家知識，難以規模化應用。

為解決上述問題，不同學者提出了不同的解決方案。如Schoenmackers等提出了基于統計機器學習的FOIL算法[7]，該算法在小規模數據集上取得了較高的準確率，但由于大規模知識圖譜中的實體和關系復雜多樣，難以窮舉出所有推理模式且計算復雜度過高，推理效率較低，因此FOIL算法同樣難以適應數據規模較大的關系推理任務。為提升以上邏輯規則模型在知識圖譜中的推理效率，Lao等[8]提出了路徑排序算法（path ranking algorithm，PRA），該算法是邏輯規則模型的典型代表性，在一定程度上緩解了傳統邏輯推理算法依賴專家定制邏輯規則以及模型計算復雜度過高的問題。Gardner等發現關系路徑的稀疏性是影響PRA算法推理能力的主要因素，為降低在稀疏圖中時間復雜度，Gardner等提出了SFE算法[9]，該算法在推理準確率和計算效率上都優于PRA算法。Wang等[10]通過挖掘知識圖譜中的頻繁模板來生成規則。Galárrage等[11]基于開放世界假設（open world assumption）的規則提出一種用于模擬負例的新方法，但該方法難以適應大型知識圖譜挖掘。隨后該團隊又提出了修剪策略及查詢重寫技術[12]，以適應對大型知識圖譜規則挖掘的有效性。

1.2 基于表示學習的關系推理

基于表示學習方法的主要原理是首先對知識圖譜中的實體及其關系降維，然后在低維空間計算三元組事實成立的概率。2013年Mikolov等提出的word2vector語言學習模型[13-14]使表示學習方法受到普遍關注，發現實體之間的關系向量可以通過兩個詞向量的偏移量表示。TransE算法[15]是知識表示學習模型的代表之一，該模型實現了將實體及關系在同一空間中進行表示，用r表示關系向量，h表示頭實體向量，t表示尾實體向量，則關系r可以表現為向量h與相鄰t的平移，即h+r=t。但該算法在處理自反關系或對應關系時，會出現不同的實體可能具有相同或相似的向量。為解決這一不足，不同學者提出了不同解決方案。如Wang等提出了TransH模型[16]。Xiao等利用表示學習建模思路提出了TransG模型[17]，該模型采用貝葉斯非參數無線混合模型對關系進行建模。

1.3 基于深度學習的關系推理

基于深度學習的關系推理模型的本質是模仿人類大腦進行感知和認知，通過對輸入數據進行逐層非線性變換，可將數據在原始空間的特征分布轉換到另一個特征空間，從而自動學習提取層次化的特征表示，因此適用于抽象關系推理。

Scoher等[18]最早將神經網絡應用到關系推理領域，利用實體對在特定關系下的語義關聯進行建模，設計了單層感知機模型，但是該模型無法充分挖掘實體與關系之間的語義相關性，且模型的表達能力較弱，計算效率較低。

隨著深度學習的興起，Xie等[19]提出了一種基于描述的知識表示學習方法DKRL，該模型利用知識圖譜中已有實體的描述信息降低數據稀疏性對推理模型性能的影響，提高模型對實體和關系的區分力。Neelakantan等[20]基于PRA算法與RNN提出了組合模型Path-RNN，首先利用PRA算法得到知識圖譜中的關系路徑特征模式，然后根據路徑模式中關系出現的先后順序依次將關系向量作為RNN的輸入，并經過訓練得到實體對之間的潛在關系預測模型。

2 基于知識推理的演化關系發現算法

傳統紋飾種類多樣、形態各異、變化過程復雜，具有豐富的文化底蘊。但目前對紋飾的演化關系的研究工作主要依靠領域專家的先驗知識進行知識發現與推理，任務繁重且艱巨。為了輔助領域專家對傳統紋飾演化過程的挖掘與解讀的效率，本文在前期工作的基礎上[21]，通過構建傳統紋飾語義網，結合知識推理和關系發現方法，提出了一種基于知識推理的演化關系發現算法，其流程框架圖如圖1所示。關系構建是將傳統紋飾的圖像信息和標簽信息按照某種規則構建傳統紋飾語義網。知識推理是根據數據的屬性和數據之間的關系使用適當的規則或算法預測紋飾的演化路徑，圖1（c）綠色線表示該過程挖掘出的演化路徑。關系發現是選擇對可能的演化路徑追蹤紋飾的演化過程。

2.1 傳統紋飾語義網構建

傳統紋飾的圖像信息用于計算紋飾之間的視覺相似度。由于傳統紋飾的形狀復雜多變，再加上本文使用的數據多來源于書籍致使圖像中噪聲過多，使用傳統的特征提取算法效果不佳。為了使得本文算法在工程上應用使用體驗更為良好，本文通過調用目前較為成熟的百度相似度圖片檢索接口來計算紋飾視覺之間的相似度，通過將視覺相似度和文本相似度融合，構建了多特征相似度度量函數，如式（1）所示，以計算視覺P和文本Q之間的相似性。

圖1 傳統紋飾演化關系發現流程圖Fig.1 Flow chart of traditional ornamentation evolution relationship discovery

其中，α、β和λ分別表示圖像相似度、本相似度和圖像相似度的權重。通過在傳統紋樣數據集上進行仿真實驗得出，α、β和λ的取值范圍分別為[0.124 1，0.701 554]、[0.394 286，0.867 919]和[0.30，0.40]，對應的相似度度量函數的取值范圍為[0.255 493，0.988 492]。以相似度度量值為權重，以傳統紋飾為節點，繪制如圖2所示的視覺關系網。

文本信息用于構建傳統紋飾知識網，對傳統紋飾的文本描述主要包括紋飾名稱、紋飾類型、載體名稱、載體類型、出土城市、出土省份、制造時期等屬性。紋飾類型包括動物紋、植物紋、幾何紋和人物紋四種。出土城市表示該文物出土的地點，如貴南市。出土省份表示該文物出土地所在的省份，如青海省。制造時期表示該文物的制造時間，如新石器時代。根據以上描述，由七星紋相關信息形成的紋飾知識結構如圖3所示。多個紋飾之間通過出土地點、制造時期、紋飾類型等共有的屬性建立聯系從而構成傳統紋飾知識網。

2.2 基于知識推理的演化關系發現算法

用G=(Ei,Ri)表示所構建的傳統紋飾知識網，其中Ei用來表示某個紋飾i或某個紋飾i所具有的相關屬性，Ri表示紋飾i與之相鄰的紋飾間的相關關系，長度為k的路徑L的關系序列表示為{R1,R2,…,Rk}或者。例如，三元組數據{（云雷紋，時期，商周），（商周，發展，春秋戰國）}表示的路徑關系是云雷紋時→期商周發→展春秋戰國。依據關系網G=(Ei,Ri)，在PRA算法的基礎上設計基于知識推理的演化關系發現算法。因為PRA算法是基于隨機游走模型的知識推理算法，在基于兩個節點之間的偏序關系這一假設條件，在忽略節點間的偏序關系的情況下，可以最大程度地實現本文紋飾節點間的關系發現。本文基于知識推理的演化關系發現算法的主要步驟如下：

步驟1查找已知推理關系下目標節點對之間所有的連通路徑。遍歷關系網G=(Ei,Ri)的所有點，構建以每個初始點s i為起點在有限步數k之內到達的所有集合Π。

圖2 傳統紋飾視覺關系網Fig.2 Traditional ornamentation visual network

圖3 七星紋知識結構圖Fig.3 Seven-star pattern knowledge structure diagram

步驟2對連通路徑進行特征量化。對Π中的所有路徑π=(E1,E2,…,Ek,Ek+1)，其中E1稱作起始點s,Ek+1稱作終端點e，轉化為關系路徑R=R1,R2,…,Rk，并計算每條關系路徑的權重。從節點s沿著關系路徑R到達節點e的概率p(s,e;π)是以起始點s沿著關系路徑π到達終端點e的概率，p(s,e;π)的計算方式如式（2）所示：

其中，π′表示一條新路徑，是指在關系路徑π中刪除終端關系rl后形成的路徑，range(π′)表示以初始節點s為起點，在關系路徑π′上所有節點形成的集合。如果節點s無法通過路徑π到達節點e，則p(s,e;π)的值為0。

本文采用式（3）計算從節點e′出發沿著關系rl到達節點e的概率P(e|e′;rl)。

其中，rl(e′,e)代表節點e′和節點e之間的關系，1表示節點e′和節點e之間存在關系，0表示節點e′和節點e之間不存在關系。 |rl(e′,·)|表示節點e′的出度。

步驟3計算路徑特征權重。對關系路徑進行排序，從而建立關系推理模型以進行知識推理，在進行知識推理時通過設定兩個紋飾視覺相似度的大小，并進一步提高推理結果的準確性與可靠性。

3 仿真實驗與分析

3.1 實驗數據及環境

為驗證本文提出的算法在傳統紋飾數據集上的效果，本節在傳統紋飾數據進行了實驗。首先對《中國紋樣全集》四冊書進行掃描，然后通過圖文分離、關鍵詞提取、標簽分類等方法構建傳統紋飾知識庫，該庫中主要包含的標簽有圖片信息、載體、出土城市、省份、時期、發展和相似，部分數據還具有寓意、結構、別名、裝飾位置等屬性，最后根據這些屬性及其關系構建傳統紋飾語義網。本文整理的不同時期不同地域的紋飾共有1 500個，紋飾之間形成的關系有13 600個。本文在Windows環境下進行實驗，實驗設備配置：操作系統Win7，處理器i5，內存16 GB，開發環境IDEA2017，JDK1.7。

3.2 實驗結果

使用基于節點之間具有雙向關系假設的路徑排序算法對其進行實驗，因為兩個紋飾之間的相連的最長路徑為6，所以本實驗計算從一個節點出發能夠在6步內到達的所有路徑。k（取值為2～6）步到達的路徑個數如圖4所示，橫坐標代表k的取值，縱坐標代表k步所到達的路徑數量。實驗表明，路徑特征的權重值越高，說明兩個節點之間利用該條路徑作為推理規則的影響力越大，推理出“演化”這個關系的可能性越大。在傳統紋飾演化關系發現的過程中，紋飾的視覺特征也起著一定的作用，所以選擇能夠計算紋飾的相似度的路徑進行推理。

圖4 k步到達的路徑數量Fig.4 Number of paths taken in k steps

基于以上推理規則來挖掘紋飾的演化過程，為了更直觀地展示紋飾的演化過程，本文使用Echarts對忍冬紋的演化過程進行呈現，如圖5所示，綠色帶箭頭的曲線表示紋飾的變化過程。根據挖掘的結果，可以得到以下信息：忍冬紋起源于漢代時期的卷云紋，象征著高升如意；然后發展成北朝的忍冬紋，形成了波狀、二方連續和四方連續的結構形式。隨后，唐代時期忍冬紋演化為纏枝卷草，多出現于織繡中，呈波狀彎曲狀，表達了幸福溫情、生命常駐等美好寓意。最后演化為明代時期的香草紋，又稱為“纏枝花”，這一時期的結構基本穩定，處于成熟期，是益壽與吉祥的象征。而對于一些在演變過程中形狀發生變化太大造成本文算法效果不太效果的紋飾，未來可以考慮依靠領域專家的先驗知識實現。

4 結語

圖5 卷云紋演化過程Fig.5 Evolution of moire

我國傳統紋飾歷史悠久、內容豐富、結構多樣，受時間、地域、歷史環境等諸多因素的影響使紋飾之間具有一定的內在聯系，手動構建紋飾之間的關系任務繁重。本文首先對從新石器時代到清朝結束各個時期不同地域紋飾的相關知識與特定形態進行分析，然后基于其基本信息構建傳統紋飾語義網，最后使用知識推理相關技術開展對傳統紋飾演化過程的挖掘與解讀，從而提出了一種基于知識推理相關技術開展對傳統紋飾的挖掘與解讀的新方法，實現了傳統紋樣演化路徑的發現。最后本文通過可視化呈現的方式驗證了所提方法的可行性。目前本文算法僅在小型知識圖譜上運行效果較好，未來還需進一步進行算法優化以適用于大型知識圖譜。