基于相似論文增廣的深度學習專利質量評估

韋 偉，李小娟

（中國科學院計算技術研究所，北京100190）

（?通信作者電子郵箱lixiaojuan@ict.ac.cn）

0 引言

我國一直積極深入實施知識產權戰略保障國家的技術安全，知識產權保護已經成為經濟發展的重要依托。圍繞知識產權的交易已經逐漸變成知識產權保護與服務的重要內容。在知識產權保護不斷完善的過程中，專利交易作為知識產權的交易核心，其對經濟活動的作用也更加突出，它的重要性也日益凸顯。但是，如何確定專利的實際價值一直是研究的重點和難點，長久以來專利交易過程中存在的一個突出問題是如何保證專利的交易價格能夠與專利的實際價值對等。

針對如何評價專利的實際價值的問題，國內和國外專家均進行了廣泛的研究，并取得了一定的效果。文獻［1］使用多個指標的組合來評價專利質量，如專利被引用的次數、專利引文的數量、權利要求的數量和專利維持水平；世界上最大的國際聯機情報檢索系統Dialog 提出了專利強度來評價其質量的方法，專利強度是多個技術指標的綜合，包括專利引證、訴訟數目、權利要求數、審查時間等12 項指標；文獻［2］利用層次分析（Analytic Hierarchy Process，AHP）法構建專利質量評估模型，所構造的模型同時考慮了專利的技術特征、技術市場、成本以及產品市場4 個指標的特征；文獻［3］依據國內專利發展現狀，提出單件發明專利質量評價指標體系，同時使用層次分析法計算相應指標的權重；文獻［4］考慮技術、市場、競爭和法律因素對專利質量的影響，建立專利質量評價模型；文獻［5］研究了4 項專利質量指標與企業市場市值之間的關系，通過回歸分析用企業市場價值和專利質量之間的關系評價專利質量；文獻［6］考慮神經網絡具有強大的學習能力，通過構建神經網絡模型進行高質量專利篩選；文獻［7］針對猶豫模糊軟集能夠更加準確地描述事物本質的特性，提出使用猶豫模糊軟集進行專利技術質量評價的方法；文獻［8］提出運用直覺模糊層次分析法計算各專利指標權重，同時依據模糊評價法對專利質量進行評估的聯合評價方法；文獻［9］采用文獻分析法，通過對現有研究文獻的梳理和分析，從專利的技術性、法定性和商業性對專利質量作出預測，提出專利技術質量評價綜合指標體系；文獻［10］從法律、技術和市場三個角度出發構建專利質量評價模型，同時組合AdaBoost 算法構建的多個決策樹模型，最終得到專利質量評價模型。

在實際操作中，一個專利的實際價值評估過程通常需要考慮市場、法律、技術等多方面的因素，不同的質量評價方法對不同因素的考量也不盡相同。但無一例外，專利本身的技術質量都是各個評價方法中的重要一環。目前，針對專利質量評價的方法多采用專家打分或者采用行業領域專家所設計的打分及評價體系。然而，這種方法受到專家個人主觀因素的限制較多，難以客觀地描述專利的技術質量。上述文獻所述方法雖然提出了客觀質量評價方法，但在技術質量評價時，考慮的因素仍然沒有擺脫傳統評價體系，忽略了一個重要的因素，即論文與專利的關系，論文與專利具有很大的相似性，可以利用與專利相似的多篇論文間接地映射專利的技術質量。而現階段，論文質量評估方法相對健全，客觀評價指標已被廣泛接受，論文質量的評估是學術界一直關注與探討的核心問題之一。文獻［11］通過分析科技論文的質量評價體系和評價準則，選擇論文被引頻次、評價指標指數、影響因子作為評價指標，并利用鏈接分析法和引文分析法進行論文質量的評價。文獻［12］依據層次分析法和模糊數學理論的評價方法，將論文質量的評價進行定性分析到定量分析的轉化，利用論文質量評價指標建立判決矩陣，同時進行一致性檢驗，計算各個指標的單層權重值和合成權重值，最終實現論文質量評估。文獻［13］主要對反映學術型碩士學位論文質量的5 個指標，即論文選題、論文創新、論文寫作、論文成果及論文評閱和答辯進行綜合考量，然后基于模糊綜合評判模型提出判定論文質量的模糊綜合評價方法。文獻［14］考慮以下6 個維度的因素:論文選題來源、文獻收集能力、專業知識水平、指導教師水平、知識創新能力和論文寫作質量，構造科學、客觀的論文質量評價模型，使用離散Hopfield 神經網絡進行論文質量評估。經過多年的發展，論文質量的評估的多種判定方法已經被大家廣泛接收。目前，主要的評價參數包括論文的引用數量及論文引用H-index，期刊、會議影響因子，作者影響因子等，這些參數已被認為能夠廣泛客觀地反映論文質量。

雖然已有成熟的論文質量評價已經能夠反映專利的質量，但是如何建立專利和論文之間的聯系，是關乎專利質量評價的關鍵問題。本文提出使用文檔相似度計算來構建專利與相似論文的集合，通過計算文檔距離，篩選出最相似論文集合，作為專利技術質量評估的增廣數據集，并利用該數據集合構建專利質量評估模型，用于評估專利質量。

在此基礎上，通過團隊在多年知識產權服務工作中積累的大量被廣泛認可專利質量評估數據作為樣本。本文進一步使用了神經網絡作為訓練方法，實現利用論文相似性與專利技術質量評價之間的映射。深度神經網絡（Deep Neural Network，DNN）［15］通過加深網絡的層次，使其性能進一步增強，通過建立含有大量節點的深度網絡模型，完成各種分類和預測任務，能夠完全勝任專利或論文的質量評估工作。

綜上，本文提出了一種結合論文質量評估的針對專利技術質量評價的方法，所提方法在文檔相似度計算和深度神經網絡的基礎上，通過論文客觀質量來評價專利的技術質量。

1 專利質量評估方法設計

1.1 專利質量評估架構

本文所提出的專利質量評估的架構如圖1 所示，該方法首先從專利出發，以專利核心關鍵詞及所屬領域為出發點，獲取與專利相關的論文集合，并以論文與專利之間的相似性計算為篩選方法，篩選相似論文作為專利評估的增廣數據集。然后將論文數據集中的相似性計算結果與論文的引用情況、論文發表時間、論文發表期刊、論文作者等多個因素輸入深度神經網絡進行訓練，形成論文與待評估專利間的質量評估模型。在形成上述質量評估模型后，在實際專利質量評估時，通過對所測試專利最相似的論文分別應用該質量評估模型，計算出每篇論文對專利的質量評估指數，并最后計算評估質量指數的算術平均為最后的專利質量評估結果。

論文與專利的相似性計算主要通過關鍵詞匹配的方法，采用詞移距離（Word Mover's Distance，WMD）算法［16-17］，用來度量文檔距離，而最相近論文的篩選規則是取文檔相似度值大于0.8的文檔（0.8為實際測試所得閾值）。

論文的質量特征指標包括論文的發表時間、論文發表期刊的影響因子、論文的引用因子、論文的作者因子，其中，如果是同作者的論文則沒有論文的作者因子這個指標。

圖1 專利質量評估的架構Fig. 1 Patent quality evaluation framework

1.2 論文與專利相似度計算

本文通過專利與論文間的文檔相似性計算來篩選相似論文，從而構成論文集合。本文使用的文檔相似度計算主要通過WMD 算法計算文檔距離，WMD 算法核心思想是將EMD（Earth Mover's Distance）和詞嵌入（word2vec）相結合。EMD算法實際上解決線性規劃中運輸問題的最優路線問題，用來測量某分布之間的距離。而將EMD 算法應用于自然語言處理領域與詞嵌入技術相結合，通過詞嵌入，可以得到詞語的分布式低維實數向量表示，可以計算詞語之間的距離，即可完成文檔相似度的計算。

文檔相似度計算流程如圖2 所示。首先需要使用初始關鍵詞檢索與專利相關的論文，組成初始論文集。然后，為了對整篇文檔進行文檔相似度計算，需要統計出文檔中的關鍵詞，關鍵詞的統計采用兩步進行提取:首先，通過專利所屬領域方向提取核心技術關鍵詞，相關核心專業關鍵詞根據領域標引數據生成，相關生成方法超出本文討論范圍，不在此具體討論；其次，對非核心專業關鍵詞通過文檔詞頻的統計方法，由于停用詞的詞頻會更多，所以在統計文檔詞頻時，需要去除停用詞。文檔的相似度計算核心采用word2vec，通過word2vec，將所有關鍵詞轉換為一定維度的向量，向量中元素的初始值通過領域專業詞庫結合詞頻進行確認。在生成向量的基礎上，進而通過式（1）計算不同文檔關鍵詞間的歐氏距離來計算關鍵詞i到關鍵詞j的相似度:

得到不同文檔的關鍵詞間的距離后，即可得到兩個文檔間的距離:

在這里定義轉換矩陣Rij（Rij≥0），表示文檔1 中的詞i有多少轉化為了文檔2中的詞j。

因此，需要將累計的代價最小化，即求如下公式:

為了保證文檔1 能轉化為文檔2，需要保證詞i 轉化為文檔2 中所有詞語的量之和為di，同理，也應該滿足文檔1 中轉化到文檔2中的詞j的總量為d′j。

由于需要使用語料來訓練詞向量，而不同領域的語料訓練出的詞向量能夠側重于在不同的領域使用，為了提高文本相似度計算的效果，使用不同領域的語料來訓練詞向量。

最終計算出所有與專利距離最近的論文（而最相近論文的篩選規則是取文檔相似度值大于0.8 的文檔），組成專利評估的增廣論文數據集，經過篩選后的論文質量評價被用于反映專利技術質量。

圖2 文檔相似度計算流程Fig. 2 Process of document similarity calculation

1.3 專利質量評估模型

專利質量評估模型主要是映射專利相似論文的質量特征指標與論文質量之間的關系，此模型的構建使用深度神經網絡，構建模型后主要進行模型的訓練。模型訓練的目的為獲得單篇論文與目標評估專利之間的質量評估模型。

設定訓練專利集合為Γ，訓練專利評估模型的過程如圖3所示。圖3 中所示訓練過程，根據論文屬性，將增廣論文集劃分為兩個不同的集合:與專利作者同相似論文集合Pa，以及非專利作者的相似論文集合Pna。對于任意專利T ∈Γ，獲得其相似的論文集合，獲取方法為:首先檢索與目標專利具有相同作者或者是同一單位的論文，構成論文集合Pa；其次，獲取專利T 的關鍵詞集合Kt，利用關鍵詞檢索論文，獲得其他作者的其他論文，所得到的論文集合為Pna。對于論文集合Pa和Pna分別進行不同操作。

圖3 訓練專利評估模型流程Fig. 3 Process of training patent assessment model

針對上述兩個論文集合Pa和Pna，分別利用圖4 和圖5 中所示的深度神經網絡進行訓練。深度神經網絡具有輸入層、多個隱藏層和輸出層，主要特點是內部各層節點間的連接是全聯接的，網絡通過不斷學習，逐漸調節網絡各權重值，調節網絡的最終輸出逐漸接近期望輸出，最終輸出質量評估模型。深度神經網絡的詳細介紹可參考文獻［13］。

圖4 同作者論文深度神經網絡結構Fig. 4 Structure of deep neural network of papers with same author

圖5 其他作者論文深度神經網絡結構Fig. 5 Structure of deep neural network of papers with other authors

圖6 專利質量評估流程Fig. 6 Process of patent quality assessment

2 仿真實驗

選取中國期刊全文數據庫（China National Knowledge Infrastructure，CNKI）作為論文數據源，它包含中國學術期刊總數據庫、中國博士及碩士學位論文數據庫、中國重要學術會議論文數據庫等數據資源，完全滿足本文所提方法的需求。

所采用的專利質量打分取值為（0，100］，該分值越高，表明待檢測專利質量越好。與專利相似的論文質量特征指標分別為:論文的發表時間t、論文發表期刊的影響因子r、論文的引用因子h、論文的作者因子a（如果是同作者的論文則沒有論文的作者因子這個特征指標）。

根據團隊積累的專利評價數據，分別選取機械工程、物理、電學、化學4 個領域的專利，各自形成1 000 組訓練數據集和100 組測試數據集，并給出每組樣本的專利質量專家定性評價分數。首先分別使用4 個領域的語料訓練各自領域的詞向量，然后使用各自的1 000 組訓練數據集分別對上述4 個領域的專利質量評價模型進行網絡模型訓練，分別生成4 個領域的專利質量評價模型，再分別使用各自的100 組測試數據進行專利質量模型的測試，并將測試結果與專家定性評價結果進行比較，所得誤差對比結果如表1所示。

表1 專利質量評估模型測試誤差對比Tab. 1 Test error comparison results of patent quality evaluation model

從表1 可以看出，本文提出的專利質量評價模型已經具有較好的學習能力，對于機械工程、物理、電學和化學4 個不同領域的專利，模型評估結果的誤差均值分別為3.204 805、3.247 298、3.781 234 和3.516 674，能對專利質量和評分產生較好的反映，可以適用于專利質量評估。不同領域的專利質量評價結果誤差最小值均能控制在1 以下。4 個不同領域的專利均能夠得到與專家定性評價結果相一致的質量評分，說明本文方法已具有專利質量評價能力，且能較好地評價專利質量；同時，本文方法能夠實現不同類型的專利的質量評價。

為了進一步驗證本文方法的有效性，將本文方法與基于AHP 法構建的模型、基于反向傳播神經網絡模型構建的模型和基于猶豫模糊軟集構建的模型進行對比。對比方法均采用直接對專利進行質量評價，使用的專利特征為專利的技術特征、技術市場、成本以及產品市場4 個指標，分別針對機械工程、物理、電學、化學四個領域的專利，各自100 組測試專利的質量評價和專家定性評價的對比結果如圖7～10所示。

從圖7～10 可以看出，所選測試專利的質量不等，本文方法和對比方法均能對機械工程、物理、電學、化學4 個領域的專利進行有效的質量評價，并且能夠將不同質量的專利進行有效地區分。本文方法對某些專利的質量評價誤差較大，如機械工程領域的編號為66 的專利，誤差達到18.929 777，物理領域編號為34 的專利，誤差達到19.013 115，而對比方法在處理這些專利時誤差較小。造成這種現象的原因是由于專利質量和論文質量存在一定的差異，根本原因是待評價的專利并不一定能找到完全匹配的論文。但是，對比算法在處理某些專利時也存在誤差較大的情況，比如使用AHP 模型處理機械工程領域的61 號專利時的誤差達到了27.553 747，使用反向傳播神經網絡模型處理化學領域的98 號專利時誤差達到17.025 602，使用猶豫模糊軟集模型進行機械工程18 號專利的質量評價時誤差達到16.831 319，而本文方法在處理這些專利時誤差均較小。

為了能夠更直觀地分析不同算法的專利質量評價結果，使用平均絕對誤差對圖7～10所示結果進行分析，得到圖11所示統計結果。使用反方向傳播神經網絡模型進行專利質量評價的結果誤差較大，平均絕對誤差基本在4 以上，使用猶豫模糊軟集模型進行專利質量評價的結果誤差小于AHP 模型得到的誤差，而本文方法的結果誤差相對較小。可見本文方法能夠綜合利用與專利質量相似的多篇論文進行專利質量計算的優勢，這種機制為專利質量評價提供更有效的質量分析依據。

圖7 機械工程領域專利質量評價對比Fig. 7 Comparison of patent quality evaluation in mechanical engineering field

圖8 物理領域專利質量評價對比Fig. 8 Comparison of patent quality evaluation in physical field

圖9 電學領域專利質量評價對比Fig. 9 Comparison of patent quality evaluation in electricity field

3 結語

本文通過分析現有國內外專利質量研究方法，考慮專利和論文之間的相似性，通過文檔相似度計算篩選出相似論文組成論文集，為專利質量計算提供可靠基礎；同時，考慮深度神經網絡擁有的較強的非線性映射性能，提出了一種以文檔相似度計算和深度神經網絡的使用論文質量來估計專利質量的評估方法。仿真結果表明，本文方法能夠對不同領域的專利進行較好的質量評估。最后需要說明的是，本文所提評價方法可能具有一定的片面性，需要不斷進行探討和研究。但本文所提方法對專利質量評價技術的研究具有一定的啟迪性。

此外，本文在進行文檔相似度計算時依賴于提取的關鍵詞的準確性，目前采用的通過詞頻提取關鍵詞的方法存在不確定性的因素，比如，提取的關鍵詞并不一定是論文核心關鍵詞，因此，在接下來的工作中，需要解決提取關鍵詞時的不確定性。

圖10 化學領域專利質量評價對比Fig. 10 Comparison of patent quality evaluation in chemical field

圖11 專利質量平均絕對誤差對比分析Fig. 11 Comparison and analysis of mean absolute error of patent quality