基于自然語言處理的材料領域知識圖譜構建方法

魏曉王曉鑫陳永琪張惠然

(1.上海大學計算機工程與科學學院,上海200444;2.上海大學材料基因組工程研究院材料信息與數據科學中心,上海200444;3.之江實驗室,浙江杭州311100)

近年來,人工智能技術發展呈現出新態勢,正在從大數據智能向小樣本智能、從數據驅動智能向知識數據混合驅動智能轉換,知識圖譜(knowledge graphs,KGs)在其中發揮著越來越重要的作用,已成為人工智能的核心技術.首先,知識圖譜是一種高效的知識組織模型,對異構知識進行統一表達,并形成一個統一的知識網絡,知識圖譜的構建過程主要采用自然語言處理(natural language processing,NLP)技術從各類文獻中把領域知識自動抽取出來,并采用統一的形式進行表達和組織,這實際上是領域知識的學習、加工、再組織過程;其次,知識圖譜具有強大的知識推理能力,通過圖推理技術實現知識自學習和應用,知識圖譜將知識形式化表示后,能夠更加方便地與機器學習模型結合,為機器學習提供知識指導,降低機器學習對數據的依賴,提升小樣本機器學習能力.

研究組患者中，顯效為22例（48.9%），有效21例（46.7%），無效2例（4.4%），總體有效率為95.6%；對照組患者中，顯效為14例（31.1%），有效17例（37.8%），無效14例（31.1%），總體有效率為68.9%，兩組患者總體有效率比較，研究組患者的治療有效率優于對對照組，差異具有統計學意義（χ2=24.307，P=0.000）。

材料科學領域積累了大量的領域知識,這些知識以文本等形式存在于教材、數據庫、材料手冊、專利、論文等多源異構數據中,知識內容豐富、形式多樣,主要是以自然語言表達的非結構化文本.如何對這些分散的材料領域知識進行收集、組織和管理,并用于支持材料研究,是材料領域亟待解決的問題.目前來說,這項工作主要由相關研究人員手工收集和整理,過程耗時耗力,還可能存在知識缺失問題,對獲取到的知識也缺乏統一的表達和有效的組織方式,難以直接用于材料數據的機器學習之中.另一方面,在材料領域,由于實驗復雜度和成本等問題,實驗數據相對較少,存在小樣本問題,也給材料機器學習帶來了挑戰.因此,將知識圖譜技術應用于材料科學領域,有效利用知識圖譜在領域知識學習、組織和推理上的優勢,有助于解決材料機器學習領域的挑戰性問題.

近年來,知識圖譜技術已經應用于多個領域并取得了顯著成效[1],如智能金融、智能醫療、智能教育、智能電商等[2].然而,在材料科學領域,知識圖譜相關研究還處于初始階段[3],只有少數研究人員在材料知識抽取上開展探索[4],進行了材料實體、關系等通用類型知識的抽取研究,對工藝流程等具有材料領域特點的知識的獲取方法則少有涉及,而建立材料知識圖譜并用于材料機器學習的研究幾乎沒有.因此,本工作聚焦于基于自然語言處理技術的材料領域知識自動獲取方法,根據材料領域文獻知識分布的特征,研究如何結合深度學習方法自動地從非結構化文本中抽取材料領域實體、屬性、關系、工藝等知識,進而研究材料知識圖譜的構建和應用.為了驗證所提出的方法,本工作構建了非調制特殊鋼、鋁基復合材料、熱障陶瓷涂層材料3個材料領域知識圖譜,實驗結果表明,本工作提出的材料知識獲取方法具有較好的精度和召回率,能夠有效提升材料知識圖譜的知識覆蓋度.同時,基于所構建的材料知識圖譜,本工作進行了材料知識檢索、材料類別鑒別、材料性能預測等應用探索,進一步驗證了材料知識圖譜為材料研發提供知識支撐的可能性.

1 相關工作

領域知識圖譜是由特定領域的概念、實體及其關系等知識構成的,能夠實現對該領域知識的抽象、表示和組織.領域知識圖譜構建的關鍵是領域知識自動抽取,主要分為流水線式抽取和聯合抽取.

在流水線式抽取方法中,實體和關系的抽取有先后順序,實體抽取[5]和關系抽取[6]是兩個獨立的子任務,需要在實體識別已經完成的基礎上再進行實體間的關系抽取.盡管流水線式抽取方法更加靈活且易于建模,但仍然存在一些問題[7-8]:①實體識別階段產生的錯誤會傳播到關系抽取階段,進而會影響關系抽取的性能;②將實體識別與關系抽取分開執行,忽略了兩個子任務之間的聯系;③若識別到的實體間不存在語義關系,則無法剔除冗余實體對.

在酒店運行過程中，嚴格按照費用明細計劃執行，日常所有經濟業務開支均實行總經理“一支筆”審批制度，防止了財務開支多頭審批的弊端，堵塞了財務開支上的漏洞，強化了少花錢多辦事的效率、效益觀念，為酒店節省了大量資金。

相比流水線式抽取方法,實體關系聯合抽取方法采用一個聯合模型同時識別出實體和關系類型.一種方式是分別對實體和關系進行建模,通過共享的編碼層進行聯合學習,實現兩個子任務之間的交互.例如,Miwa等[9]將雙向長短期記憶(bidirectional long short term memory,Bi-LSTM)和樹狀LSTM分別用于實體提取和關系分類,利用詞序列信息和依賴樹結構信息提取實體關系,其中的依賴層主要關注依賴樹中兩個實體的最短路徑,但該方法忽略了預測實體時標簽的長期依賴性[10].而Katiyar等[11]提出了一種新穎的基于注意力的循環神經網絡,用于實體和語義關系的聯合抽取,在自動內容提取語料庫(ACE05)上的實驗表明該模型明顯優于基于特征的增量聯合框架[12],而且無需訪問依賴樹、POS標簽等.然而,該類通過共享編碼層進行聯合學習的方法仍存在無法剔除冗余實體信息的問題,因而另外一些研究將實體與關系聯合抽取任務轉換成序列標注問題,基于實體關系的聯合標注策略進行建模來直接得到實體-關系三元組.例如,Zheng等[13]首次提出一種特殊的標注方案,將實體對象的標簽表示成單詞位置、關系類型和關系角色三部分,并通過具有偏置目標函數的LSTM解碼層增強了實體標簽的相關性,在通用領域的知識抽取中取得了較好的效果,但無法解決重疊關系問題.基于Zheng等[13]的標記策略,Huang等[14]在模型中引入一種注意機制,以增強其對文本中關系詞的編碼能力,并在模型訓練過程中采用了對抗性訓練.而Zeng等[15]提出了一種基于復制機制的端到端神經網絡模型,將序列至序列學習與復制機制結合使用,該模型盡管可以提取重疊關系,但未考慮實體對之間存在多種關系的問題.由此可見,使用單一的神經網絡對文本進行建模,難以獲得完整的語義信息,而建模長文本時該問題會變得更加嚴重.此外,模型本身的局限性使得模型在長文本上的性能不如在短文本上的性能好.例如,循環神經網絡(recurrent neural network,RNN)有梯度消失的風險,這使得獲取全文語義變得更加困難.

平樂古鎮，位于成都市西南方位93 km處，因四川省發音“平落”“平樂”相近而得名平樂古鎮，寓意居民平安樂業，是著名的歷史文化名鎮。小鎮坐落在川西平原之上，屬亞熱帶濕潤氣候，丘型地面下水資源豐富、雨量充沛，盛產竹木。

目前為止,材料科學領域已構建成型的知識圖譜少之又少.美國加利福尼亞大學材料科學與工程系主持構建了基于開源Python框架的系統propnet[16],展示出了增強現有材料屬性數據集的能力,即通過連續應用物理關系網絡來計算相關信息,propnet可以連接不同的領域知識;除了立即增加可用的信息外,還允許檢查各種屬性之間的相關性,并指導多功能材料的設計.然而,propnet包含的材料屬性以及關系較少,應用范圍也較為有限,只能實現一些簡單的功能,包括表達各種屬性及其關系、估算材料的折射率、擴展數據集以及相關分析等,還無法滿足材料研發的領域知識需求.

本模型采用25 kW碟式太陽能熱發電系統，有效反射面積為87.67 m2,采用雙軸跟蹤模式。為了簡便計算，假定太陽輻射強度I=1000 W/m2 ,入射角為0，環境溫度T0=300 K，系統的其他參數見表1。

2 材料領域知識圖譜

通用知識圖譜旨在描述真實世界中存在的各種實體或概念及其關系,構成一張巨大的語義網絡圖,節點表示實體或概念,邊則由屬性或關系構成.知識圖譜在邏輯結構上可分為模式層與數據層兩個層次,數據層主要是由一系列事實組成,而知識以事實為單位進行存儲,如用(實體1,關系,實體2)、(實體,屬性,屬性值)這樣的三元組來表達事實;模式層構建在數據層之上,主要是通過本體庫來規范數據層的一系列事實表達.材料知識圖譜屬于領域知識圖譜,與通用領域知識圖譜不同,構建時應充分考慮材料科學領域的特殊性,包括知識的形式、組織方式、使用需求等,在知識圖譜的結構上有適應性地進行調整,從而建立最適合該領域的知識圖譜.

建立材料知識圖譜的目的在于將某個材料領域的組分、工藝、結構、性能以及相互關系等知識統一用知識圖譜來表達和管理,同時借助知識圖譜的推理能力,發現更多顯性及隱性知識,為材料領域研究提供可視化知識顯示,為材料知識學習方法和模型提供形式化知識支持.

POD數據后處理應用程序包由數據輸入模塊、POD數據處理核心模塊和數據輸出模塊等3個功能模塊組成(見圖1)。

通過對非調制特殊鋼、鋁基復合材料、熱障陶瓷涂層材料3類材料的分析,材料領域的知識主要包括各種材料本體、各種材料實體,每個材料實體還可能包括組分、結構、性能等性質、工藝流程等加工過程,同時各種材料本體、實體、組分、工藝、結構、性能之間可能存在某種關系.以特殊鋼為例,非調制機械結構鋼是一種鋼材料類型,F35MnVS、F35VS等是非調制機械結構鋼的兩個具體牌號的鋼材.從知識圖譜的角度來看,非調制機械結構鋼可以抽象為概念,F35MnVS、F35VS是非調制機械結構鋼概念下的兩個具體實體,F35MnVS的組分、結構、性能描述是F35MnVS實體的屬性,工藝流程比較復雜也可以看作是一種特殊的屬性.各種材料知識關系可分為五類:概念-概念關系、概念-實體關系、實體-屬性關系、屬性-屬性關系、實體-實體關系.以特殊鋼領域為例,對以上各類知識關系分析如下.

The Current Situation of Agricultural Products Logistics and the Conception of Logistics Systemin Henan Province: based on the Case of Zhengzhou

概念-概念關系表示了材料類型之間的上下位關系,例如在鋼材料領域的多個概念通過上下位關系形成“鋼—非合金鋼—普通質量非合金鋼—碳素結構鋼”的概念層次,所有鋼領域的概念通過上下位關系形成了該領域的概念樹.

科學家們早已發現可以通過從大氣層中提取二氧化碳來減緩二氧化碳帶來的溫室效應。但已有的解決方案都嚴重受限于實施難度，特別是經濟困難。菱鎂礦可以將二氧化碳固定在體內，從而減少大氣中的二氧化碳含量。一噸自然形成的菱鎂礦可以固定將近半噸的二氧化碳，但這個固化過程非常緩慢?，F在，研究者們有史以來第一次描述了在低溫下合成菱鎂礦的技術，同時闡述了一項可以大幅加快菱鎂礦結晶過程的技術。目前，我們認識到這還只是一個實驗中的解決方案。在我們確定菱鎂礦可以用于碳封存之前，還需要驗證該過程能否被放大到相當的規模。這取決于幾個因素，包括碳的價格和封存技術的改進，但我們現在至少知道是可能有可行性的。

實體-屬性關系表示了材料實體及其屬性的從屬關系,例如F35VS-抗拉強度(590)表示F35VS鋼實體具有一個抗拉強度屬性,屬性值是590.通過實體-屬性關系對該實體的各種性質進行全面表征,通過屬性值的可理解可計算實現對材料實體的理解和計算.

屬性-屬性關系表示了某實體各屬性之間的關系,例如材料組分屬性和性能屬性之間的關系、結構屬性和性能屬性之間的關系、工藝屬性和結構屬性之間的關系、工藝屬性和性能屬性之間的關系等.

實體-實體關系表示了兩類鋼材料實體之間的關系,例如兩類材料之間的相似關系等,通過該類知識把相關鋼實體聯系在一起,支持錯誤知識修正、缺失知識補全、新知識預測等.

概念-實體關系表示了鋼類型和牌號鋼之間的具體映射關系,一般只需要建立概念樹葉子節點和實體之間的關系,通過該類關系可以將鋼實體知識網絡和鋼的概念層次樹互聯在一起,利用概念的知識去推理實體的知識.

通過以上分析可知,材料知識圖譜包含了材料領域的顯性及隱性知識,是由材料領域的概念、實體、屬性及其關系構成,實現了材料領域知識的抽象、表示和組織.本工作建立了材料知識圖譜的抽象結構(見圖1),包括模式層和數據層兩個層次結構,其中模式層由該材料領域的概念樹構建,表達了該領域的材料分類知識;數據層由該領域的實體關系網絡構成,表達了該領域的具體材料實例之間的關系知識.

圖1 材料知識圖譜結構Fig.1 Structure of materials knowledge graphs

材料知識圖譜的構建按照模式層和數據層兩個部分分別構建.對于模式層來說,采用人工方式構建.由于一個材料領域內的概念種類有限,文獻中一般有比較明確的闡述,例如特殊鋼材料手冊中給出了明確的材料類型的分類樹,基于該分類樹可以直接建立特殊鋼知識圖譜模式層的概念樹,即使沒有類似的手冊,也可以由該領域的專家快速人工構建出來.對于數據層來說,由于數據來源多、文獻數量大,必須采用自然語言處理和深度學習等技術自動獲取各類知識,以實現材料知識圖譜數據層的自動構建.根據對3個材料領域的分析,主要需要抽取實體(包括組分、工藝流程及性能等屬性)、關系等知識,下面闡述各類知識的自動獲取方法.

3 材料領域知識獲取方法

3.1 材料實體關系聯合抽取方法

通用知識抽取方法評價更加關注準確率,期望抽取到更加精準的知識.而對領域知識圖譜構建來說,除了需要考慮知識抽取的準確率以外,知識的覆蓋率也是一個關鍵指標.對于給定的一篇包含領域知識的文本,需要盡可能全面地抽取其中包含的領域知識,進而能夠保證基于大量文本所建立的知識圖譜能夠更加全面地包含該領域的知識.目前實體關系抽取任務主要采用基于深度學習的方法,該方法避免了繁瑣的特征工程構建過程,通過神經網絡自動學習文本語義特征,進而實現實體關系抽取.但是該類方法主要針對句內或間隔距離較短的實體間的關系,對文本中遠距離實體之間的關系抽取的效率顯著下降.該類方法用于材料領域知識抽取時,可能導致某些在文本中位于較遠距離的一對實體之間的關系無法被識別.因此,在構建材料知識圖譜時,為了提高圖譜的知識覆蓋率,在保證文本中近距離實體關系抽取準確率的同時,更要考慮提升遠距離實體關系抽取的準確率,從而提升單個文本的實體關系抽取的召回率,進而提升材料知識圖譜的知識覆蓋率.

由于傳統神經網絡往往使用較為單一的網絡模型,無法獲取較為全面的文本語義信息,且難以學習到材料文獻中遠距離實體間的依賴特征.本工作基于雙向門控循環單元-圖神經網絡-條件隨機場(bidirectional-gated recurrent unit-graph neural network-conditional random field,Bi-GRU-GNN-CRF)的遠距離實體關系聯合抽取模型架構(見圖2)[17],提出材料文獻遠距離實體與關系聯合抽取方法.首先,利用基于Transformer的雙向編碼器表示(bidirectional encoder representations from transformers,BERT)預訓練語言模型,對材料文獻文本進行初始語義向量表示.在語義特征獲取模塊,利用Bi-GRU網絡獲取文本的全局序列語義特征,并利用語法分析工具獲取文本的語法依賴,從而生成語法依賴矩陣,隨后將文本的初始向量表示與語法依賴矩陣作為GNN的輸入,學習文本中遠距離實體間的依賴特征.在實體指稱識別部分,將全局序列語義特征和實體遠距離依賴特征進行融合,利用線性層和CRF進一步獲取實體指稱標簽之間的依賴關系,并計算實體指稱識別的損失,實現實體指稱識別.在關系抽取部分,利用兩個映射空間,將實體指稱的結果分別映射到頭實體表示空間和尾實體表示空間,以實現實體指稱的聚合,然后通過前饋神經網絡(feedforward neural network,FFNN)對頭實體和尾實體進行關系預測.

圖2 遠距離實體與關系聯合抽取框架Fig.2 Joint extraction framework of long-distance entities and relationships

下面以非調制特殊鋼專利文本中的遠距離實體關系聯合抽取為例,展示本工作算法抽取實例的效果.某發明專利文本如下.

“本發明采用上述化學成分,通過熱軋后正火處理,經淬火和回火工藝達到高強高韌齒輪鋼要求,具體按以下步驟進行:①鋼坯加熱至1 150～1 250°C,保溫2.5～3.5 h;②保溫后進行熱軋,控制開軋溫度1 100～1 200°C,終軋溫度850～900°C;③熱軋后進行920°C正火處理,經900°C淬火(油冷)及200°C回火(空冷)處理.本發明的優點是:通過合理的合金成分設計和工藝控制,采用熱軋后正火處理,經淬火和回火工藝達到高強高韌齒輪鋼,同時鋼材晶粒細小,齒根彎曲疲勞強度和表面接觸疲勞性能都有較大提高.”

從農村走出來的我，能體會到農村教育資源的相對貧乏，城市教育資源的優越及豐富，這也是我關注教育的一個原因。

材料工藝過程表達了某材料的加工步驟以及每個步驟的關鍵參數,工藝過程對材料結構、材料性能都可能產生影響.精準地獲取材料工藝知識,并集成在材料領域知識圖譜中,有助于發現材料實體-組分-工藝-性能之間的關系.與材料實體關系知識的三元組抽取不同,材料工藝知識信息量大、表示復雜、描述靈活,精準地獲取材料工藝知識難度更大,難以直接使用神經網絡實現對材料工藝知識的抽取.

3.2 材料工藝知識抽取方法

從上述實例可以看出,本算法能夠從非結構化的專利文本中準確識別遠距離實體關系信息,從而提升了材料領域中單個文本實體關系聯合抽取方法的召回率.

材料工藝知識抽取分為兩個主要步驟:①獲取工藝名稱,這一任務可以使用3.1節提出的實體關系抽取方法獲取;②獲取該工藝的工藝流程及工藝關鍵信息.本節主要討論步驟②.TextRank算法是一種有效文本信息抽取算法,但其在對文本信息進行抽取時只考慮句子節點間的相似性,忽視了文本的篇章結構以及文本中句子的位置語義信息.材料工藝描述信息在文本中較為集中、專業名詞較多、篇幅較長,使用傳統TextRank算法進行工藝信息抽取存在信息抽取準確率不高的問題.針對該問題,本工作提出一種基于改進TextRank算法的材料文本工藝信息抽取方法,如圖3所示.

圖3 基于改進TextRank算法的工藝知識抽取Fig.3 Craft knowledge extraction based on improved TextRank algorithm

第一步,對材料工藝相關文本集進行預處理,包括分詞、去停用詞以及詞性標注.第二步,基于合并加權詞頻-逆文檔頻率(term frequency inverse document frequency,TF-IDF)和word2vec對文本進行向量化表示.先利用word2vec計算文本分詞后各個詞語的詞向量,同時計算各個詞語的TF-IDF權值,將權值排名前50%的詞語添加進特征項集合.得到最終的特征項集合后,依次將每條短文本映射為特征向量,特征權值為對應特征項的TF-IDF權值,將對應詞向量和TF-IDF權值相乘,最終得到工藝文本對應向量.第三步,構建相似度矩陣,依次將每條工藝短文本與文本集內所有工藝短文本的余弦夾角距離歸一化,即以該條工藝短文本同另一條工藝短文本的余弦距離除以該條工藝短文本同所有工藝短文本余弦距離之和所得到的值作為相似度值,依次計算工藝短文本間相似度值,輸出相似度矩陣.第四步,利用短文本間相似度矩陣重構TextRank邊權關系,構建TextRank圖模型,迭代計算工藝短文本權重,調節工藝短文本權重并排序,最后利用最大邊界相關(maximal marginal relevance,MMR)算法對排序后的工藝短文本進行冗余度控制并輸出最終工藝流程及工藝關鍵信息.

本算法充分考慮了材料工藝文本的特殊性提取主題詞,然后融合文本主題詞、句間位置關系及語義關系計算TextRank算法中圖模型的頂點得分以及頂點間邊關系,并結合句子和主題詞處理多余信息,選取topK得分的句子作為材料工藝流程的關鍵信息,最終能夠較為精準地獲取材料工藝信息.下面以鋼專利文本中的工藝流程抽取為例,展示本工作算法抽取實例效果.某發明專利文本(僅顯示包含工藝的部分文本)如下.

“本發明的技術方案是這樣實現的:一種提高35鋼輥子鍛后正火硬度的工藝.該工藝包括如下工序.步驟1:EAF+LF/VD精煉,錠身澆注時間控制在8.5～10.5 min,冒口澆注時間≥5.5 min;步驟2:鋼錠加熱溫度,溫度低于900°C時以≤80°C/h升溫,溫度高于900°C時全功率升溫;采用油壓機鐓粗拔長與精鍛機鍛造成形的鍛造方式,鍛后直接水冷;步驟4:鍛后熱處理,水冷結束后進行正火+高溫回火處理,正火后采用霧冷方式進行快冷.”

1.2.2 Northern blot 取5 μg提取的總RNA進行6%變性聚丙烯酰胺凝膠電泳分離，轉印至HybondTM-N+尼龍膜(GE Healthcare) 上，80℃干燥1.5～2 h.使用Hyb雜交緩沖液(Innogent)，55℃預雜交1 h.將合成探針的5’端用[γ-32P]-ATP進行標記.探針序列如表1所示.尼龍膜置于55℃雜交過夜.

抽取的工藝信息結構化表示如下:{“實體”:“35鋼”,“工藝流程”:[“第1步”:“EAF+LF/VD精煉,錠身澆注時間控制在8.5～10.5 min,冒口澆注時間≥5.5 min”,“第2步”:“鋼錠加熱溫度,溫度低于900°C時以≤80°C/h升溫,溫度高于900°C時全功率升溫”,“第3步”:“采用油壓機鐓粗拔長與精鍛機鍛造成形的鍛造方式,鍛后直接水冷”,“第4步”:“鍛后熱處理,水冷結束后進行正火+高溫回火處理,正火后采用霧冷方式進行快冷”]}.

目前，不少城市出臺有養犬規定、條例，對文明養犬作出詳細要求，受到社會歡迎。但這些規定、條例往往出臺時通過運動式辦狗證、全城捕殺無證狗，讓養狗人心驚膽戰，風頭一過，各種無證狗、無主狗又開始滿地撒歡兒，四處便溺。

從樣例結果來看,本工作提出的算法能夠從專利全文中準確識別工藝信息塊,同時不論有沒有步驟編號,算法都能夠對工藝步驟進行識別,實現了非結構工藝抽取和結構化處理.

4 實驗與分析

4.1 材料實體關系聯合抽取實驗

由于材料領域缺乏實體關系抽取的標準數據集,本工作采用人工方法構建了一個材料領域實體關系抽取數據集.具體構建過程如下:①從非調制特殊鋼、鋁基復合材料、熱障陶瓷涂層材料3個材料領域的公開發明專利、研究論文摘要中選取了892篇;②對每一篇文獻標注出所包含的材料實體;③對每一篇文獻標注出的實體進行組合,對存在關系并且文獻有直接或者間接文字支撐的實體對進行關系標注;④將標注完成的文獻數據按照大約8∶1∶1比例分割為訓練集、驗證集和測試集3個部分,每部分數據數量如表1所示.

首先，教師應當明確訓練意志的目標，根據學生的實際學習情況和二胡教學的主要內容，明確教學重點及難點，制訂具有一定個性化的教學方案和策略；其次，教師應當深入了解學生當前的二胡學習情況，分析其與教學目標、教學任務之間的差距；最后，應根據學生的實際情況和需求，制訂科學合理、具有一定針對性的二胡訓練目標，同時訓練學生的主動性和積極性，從而提高二胡教學質量和教學效率。

為了比較本工作提出模型的性能,實驗選擇Bi-GRU模型和GNN模型作為對比,其中Bi-GRU模型只考慮實體全局序列特征,GNN模型只考慮依賴特征.同時,為了消除網絡層數對計算結果的影響,兩個比較模型都采用了兩層結構.實驗使用精度(Precision)、召回率(Recall)和F1(精確率和召回率的調和平均值)3個指標評估模型性能.

對抽取得到的實體和關系進行結構化表示后的結果如下.{“實體”:“高強高韌齒輪鋼”,“性能關系”:[{“head”:“正火”,“tail”:“彎曲疲勞強度”,“relation”:“提升”,“置信度”:“0.80”},{“head”:“淬火”,“tail”:“彎曲疲勞強度”,“relation”:“提升”,“置信度”:“0.79”},{“head”:“回火”,“tail”:“彎曲疲勞強度”,“relation”:“提升”,“置信度”:“0.56”},{“head”:“正火”,“tail”:“表面接觸疲勞性能”,“relation”:“提升”,“置信度”:“0.50”},{“head”:“淬火”,“tail”:“表面接觸疲勞性能”,“relation”:“提升”,“置信度”:“0.68”},{“head”:“回火”,“tail”:“表面接觸疲勞性能”,“relation”:“提升”,“置信度”:“0.42”}]}.

表1 材料實體關系知識抽取數據集Table 1 Datasets of material entity relation knowledge extraction

學生作為學習的主體，在課堂教學活動中要享有一定的自由，這樣他們才能在自由的實踐互動學習活動中得到更多的啟發，對于知識本身的理解也會更加深入。對于一些學科內容的教學，教師可以讓學生都來當一回老師，把教學的內容適當分配給學生，讓學生在課下進行精心的準備。給學生一定的展示機會，這樣他們都能夠在積極的準備過程中開拓視野，提升自己地理學科的知識積累和實踐能力。因此，教師要善于放手，要相信學生，完全可以憑借自己的力量將課程內容準備得非常精彩。尤其在信息技術的輔助之下，學生可以通過上網尋找資料等方式，完成這樣的教學準備工作，這對于學生實踐能力的提升，綜合素質的提高都是非常有價值的。

在實驗過程中,首先在訓練集和驗證集上對3個模型進行訓練,使模型能夠充分學習材料領域中的實體和關系語義特征;然后利用學習到的語義特征在測試集上進行測試,從而判斷各模型的性能.實驗結果如表2所示.

表2 材料實體關系知識抽取方法對比實驗Table 2 Comparative experiment of material entity relation knowledge extraction methods

從表2數據可見,GNN相較于Bi-GRU網絡對材料實體關系抽取性能有明顯提升,結合材料文獻的特點,這表明對于遠距離實體關系抽取任務,GNN可以更好地獲取遠距離依賴特征,從而更準確地抽取實體關系.本工作模型與性能更優的GNN模型相比,在保持相近精度的同時,召回率有顯著提升,主要原因在于本工作模型將實體指稱表示分別映射到頭實體空間和尾實體空間,實現了實體指稱的聚合表示,有效減少了錯誤結果的產生.通過對比F1發現,本工作模型總體性能也是最優的,主要原因在于Bi-GRU只考慮了全局序列語義特征,GNN只考慮了遠距離依賴語義特征,而本工作模型則充分考慮了這兩種特征并進行了融合,因此具有更好的性能表現.

4.2 材料工藝流程知識抽取實驗

通過對各類材料文獻進行分析發現,材料發明專利中包含工藝流程較多并且比較規范,適合作為工藝流程知識抽取的數據源,因此本工作以材料專利文本為例構建數據集,對工藝流程抽取方法進行評價.數據集為人工構建,具體過程如下:①材料專利文本收集,共收集350篇;②對專利文本進行分析,區分是否包括工藝流程信息,其中288個專利包括工藝流程;③對包括工藝流程的專利標注出工藝流程對應的文本塊;④對分步工藝流程標注出每個步驟.材料工藝流程數據集如表3所示.

表3 材料工藝流程數據集Table 3 Datasets of material craft process

實驗過程如下:使用本工作提出的改進TextRank算法進行工藝流程及工藝關鍵信息抽取,并根據人工標注信息計算抽取算法的精度和召回率,結果如表4所示.在該數據集上,工藝流程抽取算法的精度為0.887,召回率為0.875,實現了較好的抽取效果.

表4 材料工藝流程抽取結果Table 4 Results of material craft process extraction

4.3 實驗分析

從上述實驗結果來看,本工作提出的實體關系和工藝流程這兩類材料知識抽取方法在保持了較高精度的前提下,召回率都超過了0.8,該指標對材料領域知識圖譜構建具有實際意義.在提供足夠多的某領域材料文獻前提下,通過本工作提出的知識抽取方法,能夠保證所構建材料領域知識圖譜的知識覆蓋率達到80%,為材料智能應用提供充分的知識支撐.

5 典型材料知識圖譜應用

基于本工作提出的材料知識圖譜架構和材料知識抽取方法,在非調制特殊鋼、鋁基復合材料、熱障陶瓷涂層材料3個材料領域進行了應用驗證,以國家標準、圖書資料、專利文本、科學文獻等為數據源,分別構建了非調制特殊鋼知識圖譜(見圖4)、鋁基復合材料知識圖譜(見圖5)、熱障陶瓷涂層材料知識圖譜(見圖6),并進行材料知識圖譜的知識應用探索.

圖4 非調制特殊鋼知識圖譜Fig.4 Non-modulated special steel KGs

圖5 鋁基復合材料知識圖譜Fig.5 Aluminum matrix composites KGs

圖6 熱障陶瓷涂層材料知識圖譜Fig.6 Thermal barrier ceramic coating materials KGs

5.1 基于知識圖譜的材料知識檢索

知識圖譜的基本功能是對領域知識進行組織、管理和可視化.與傳統數據庫檢索相比,基于知識圖譜的材料知識檢索能夠為用戶提供交互式領域知識檢索和直觀的可視化展示.

以鋁基復合材料知識圖譜檢索為例,用戶輸入材料實體名稱“ZL101”,知識圖譜檢索結果如圖5所示,其中紅色節點是材料實體節點,圖譜中不僅展示了材料“ZL101”的相關信息,同時還展示了與“ZL101”有關系的材料實體“ZL104”和“ZL105”的信息.每個結果實體都以可視化的方式展示了該實體的組分、性能等屬性知識,同時還以知識網絡的方式將相關材料實體之間的相互關系可視化展示出來.由此可見,基于知識圖譜的材料知識檢索方式更加高效直觀,能夠更加有效地實現知識輸出.

5.2 基于知識圖譜的材料類別鑒定

基于知識圖譜的未知材料類別鑒定能夠為新材料設計提供支撐.比如,設計一種新材料時,假設該新材料的組分構成,通過知識圖譜推理可以推薦與該新材料最為相近的若干個已知材料,研究人員可以參考這些相近的已知材料的各種屬性來估算新材料的類別及各種屬性.以非調制特殊鋼材料知識圖譜為例,材料類別鑒定過程如圖7所示.首先,用戶定義未知材料的一個或多個屬性(Cu、Si、C等組分元素)的取值范圍;然后,系統基于非調制特殊鋼知識圖譜中的知識選擇不同的推理算法,判定該材料的所屬材料實體類別;最后,以可視化的方式將推理結果以及相關材料知識進行展示.

圖7 未知材料的類別推理判定Fig.7 Category inference judgment of unknown materials

5.3 基于知識圖譜的材料性能預測

將材料知識圖譜中的領域知識和材料機器學習相結合,可提升小數據集上機器學習的性能.下面以熱障陶瓷涂層材料為例,討論基于知識圖譜的材料性能預測.本工作構建的熱障陶瓷涂層材料知識圖譜如圖6所示,圖中橙色節點表示材料性能參數(如熱膨脹系數、低溫熱導率);紅色節點表示材料工藝參數(如電流、氬氣、氫氣、氧化鋁添加量);藍色節點表示材料微構參數(如晶界密度、氣孔率、氧化鋁相含量、氣孔平均尺寸);綠色節點表示中間隱參數(如熔點、彈性模量);節點間的有向邊表示兩個參數間的二元相關度量(如正相關、負相關).該圖譜表達了熱障陶瓷涂層材料組分-結構-性能之間直接或間接的影響關系.

基于知識圖譜的熱障陶瓷涂層材料性能預測過程如圖8所示.首先,通過一個或多個工藝和微構參數定義某種新材料;然后,系統基于熱障陶瓷涂層材料知識圖譜,采用結合圖路徑搜索和貝葉斯嶺回歸的預測模型進行性能預測分析;最后,預測熱導率和熱膨脹系數兩個性能指標.系統的訓練數據集樣本非常少,只有不到20條數據,與單獨基于機器學習的性能預測方法相比,采用基于知識圖譜的性能預測方法能夠降低性能指標預測的誤差.

圖8 新材料性能預測Fig.8 Prediction of properties for new materials

6 結束語

針對材料科學領域知識存在的自動獲取困難、統一表示困難、高效組織困難、與機器學習結合困難等問題,本工作提出了材料領域知識圖譜結構,研究了基于自然語言處理的材料領域知識自動獲取方法,構建了非調制特殊鋼、鋁基復合材料、熱障陶瓷涂層材料3個材料領域知識圖譜,并探討了材料知識圖譜的典型應用.實驗結果表明,本工作提出的材料知識獲取方法具有較好的精度和召回率,能夠有效提升材料知識圖譜的知識覆蓋度.材料知識圖譜在3個領域的應用也驗證了“知識+數據驅動”的材料研究路線的可行性,對材料研發具有現實意義.