機器學習視域下新興技術主題識別研究
——基于技術特征相似性

宋博文 欒春娟,2 梁丹妮

(1.大連理工大學人文與社會科學學部，遼寧 大連 116024；2.大連理工大學知識產權學院，遼寧 盤錦 124221)

隨著新一輪科技革命和產業變革的加速興起，世界性的科技競爭愈演愈烈，深化對技術創新的理解，加強對未來趨勢的把控，對我國加速實施創新驅動戰略部署以及創新體系建設至關重要。習近平總書記多次強調要將“因勢而謀、應勢而動、順勢而為”作為把握工作切入點和著力點的關鍵。在科技發展的歷程中，新興技術是未來科技的“萌芽”，新興技術主題則反映出科技創新的趨勢及方向。因此，高效且準確地挖掘新興技術主題，對國家科技產業前瞻性布局以及企業發展態勢的預見具有重要意義。

從定義上看，新興技術是建立在科學基礎上的革新，可能建立一個新行業或改造某個舊行業[1]。新興技術主題與新興技術由于名稱相似，在研究中常被混淆，但兩者在概念和特征上都存在顯著的差異。依照Reardon S等提出的觀點[2-4]，新興技術與新興技術主題之間的差異一般歸納為3種：①新興技術主題是對新穎特征的歸納，代表一類新興技術；②新興技術主題清晰明確，不存在新興技術的模糊性與不確定特征；③不同于新興技術的突顯，新興技術主題的凝練需要時間的積累，主題形成后會引導后續技術的發展。結合已有觀點，本研究將新興技術主題定義為能夠概括歸納一段時期內新興技術中具有新穎性的共性特征的關鍵詞或短語。

從主題的產生路徑上看，新概念的形成既包括顛覆式創新模式下新涌現的技術屬性，也包括延續性發展模式下新的技術突破、性能提升與應用拓展。過往研究中，新興技術主題的識別研究主要集中于對新技術名詞或術語的探索，常采用時序分析、引文分析以及指標分析等方法對新近出現的關鍵詞進行挖掘。然而，分析方法對探知應用方式改變或技術領域變遷等情況下的新興技術主題缺乏敏感性，直接影響最終的識別結果。

綜上，本研究針對發展模式變化帶來的潛在新興技術主題，提出一種基于技術特征相似性的新興技術主題識別方法，嘗試通過Word2Vec詞嵌入模型對現有技術特征進行建模，在充分識別現有技術特征的基礎上，采用K-means聚類分析與技術特征向量模型相融合的方式，構建基于技術特征相似性的新興技術主題識別模型。在對新興技術術語挖掘的同時，實現對潛在語義關系的探測，提升結果的解釋性和準確性。

1 相關研究概述

新興技術主題識別研究的目的在于挖掘技術發展過程中正在形成或已經形成但正發生轉變的技術主題信息。研究者常采用專利、文獻以及專家意見等作為數據源，挖掘其中潛在新興技術主題信息，根據研究方法的區別可大致分為兩類[5]：科學計量學方法與文本挖掘方法。

1.1 科學計量學方法

科學計量學方法是以專利、文獻、新聞等文本的外部特征作為研究對象，采用數理統計來描述、分析、預測技術的現狀與發展趨勢，主要包括引文分析、共被引分析、知識圖譜可視化、趨勢分析等。2002年，Kleinberg J提出利用詞頻突顯識別新興趨勢，通過識別某種主題詞或關鍵詞在短時間內的快速變化來進行新興主題的識別[6]。2004年，Chen C M在Kleinberg J的研究的基礎上[7]，提出運用漸進知識領域可視化的方式識別新興主題，并開發了Citespace文獻計量學可視化軟件，被廣泛應用于文獻計量學的研究當中。2011年J?rvenp?? H M等考慮到以往的研究多采用單一的數據，不能夠全面認識新興技術主題的發展，于是他在研究中通過技術生命周期曲線分別描述了文獻、專利以及社會媒體在主題發展過程中的數量變化，并對這三者間的關系進行了闡釋[8]。2012年，Abercrombie R K等利用文獻、專利、網絡信息、新聞等多方面數據構建新興技術演進模型(TEM)[9]，該模型將新興技術主題的演進過程分為9個里程碑式的標記點，更大程度上從技術角度分析了新興技術主題的變化過程。近年來，新興技術主題研究指標不斷豐富，研究內容也呈現多元化特點。

1.2 文本挖掘方法

隨著機器學習的快速興起，基于專利內容的文本挖掘法成為更高效的技術主題識別途徑。黃魯成等以精密技術為例[10]，利用SAO(Subject—Action—Object)語義結構間的相似性挖掘新興技術主題。Chen L F等提出動態隱含狄利克雷分布模型(Latent Dirichlet Allocation，LDA)[11]，實現對新興趨勢時序性變化的動態監測。劉自強等以基因編輯技術為例[12]，通過PWLR模型抽取更具新穎性與時效性的技術趨勢。Kreuchauff F等以服務機器人為例[13]，結合機器學習與SVM模型分析新興領域信息。Hassan S U等利用64維指標的樣本數據[14]，提出結合引文分析與深度學習的新興主題識別模型。研究者將全部重心集中在對新興詞匯的發現與探測上，不斷對新興技術新穎性特征的識別機制進行完善，忽略了對新興特征內部信息的探索，新興技術主題不僅是領域內出現的新技術術語，也是對新近技術結構、特征、用途等發生轉變的一系列技術動態的概括。

因此，為獲得明確清晰的技術主題，本研究首先剔除數據中噪音信息，選擇具有代表性的技術特征信息；其次，為保證主題中不僅涵蓋新興詞語還包含特征及用途轉變，選用Word2vec模型對領域中全部現有技術特征進行訓練；第三，為保證主題詞具有代表性，先通過機器學習模型加權新近技術特征，再利用K-means聚類對不同屬性技術主題加以區分，并結合專家意見調整模型參數，提煉新興技術主題；最后，以生物技術領域為研究目標挖掘新興技術主題，并與其他模型的識別結果進行比對，從而幫助完善新興技術主題識別理論，同時為我國生物技術領域的前沿技術發展提供決策支持。

2 新興技術主題識別模型構建

新興技術主題識別不僅是對新技術術語的挖掘，也是對創新路徑中潛在技術結構與知識組合的探索。因此，識別模型需要兼顧全面性與差異性，在對技術特征的選取上盡可能保證結果中新穎性信息的全面性，在技術主題的識別上最大程度地提升識別結果中新興技術主題與已有技術主題間的差異性。

針對已有研究的不足，本研究綜合運用自然語言處理、機器學習以及文本挖掘，提出一套基于技術特征相似性的新興技術主題識別方法，如圖1所示。具體分析過程包括4個模塊：①特征抽取與預處理；②機器學習模型訓練；③技術特征聚類分析；④技術主題提取與識別，如圖1所示。首先，檢索收集相關專利，并通過特征工程提取專利數據中的專利標題、新穎性、專利用途、專利優勢信息構建技術特征集；其次，利用Word2Vec詞嵌入模型對技術特征集進行訓練；第三，根據時間切片區分新近涌現技術成果，并利用預訓練模型對新近涌現技術成果進行技術特征向量化處理，再通過K-means聚類進行特征區分；最后，根據聚類結果獲取技術關鍵詞，將識別結果交給相關領域專家小組，通過專家意見判斷聚類結果是否收斂，結合專家知識明確最終識別結果。

圖1 新興技術主題識別模型

2.1 特征工程與預處理

特征工程的目的在于最大程度地從原始數據中抽取有價值的技術特征信息，以滿足模型及算法的需求，抽取結果直接決定著機器學習模型的效率與效果。每條德溫特專利數據中都包含發明號(PN)、專利標題(TI)、發明人信息(AU)、專利權人信息或代碼(AE)、德溫特主入藏號(GA)、摘要(AB)、德溫特分類代碼(DC)、手工代碼(MC)以及國際分類號(IP)等字段。其中，專利標題由德溫特編輯團隊的主題專家編寫，目的是揭示專利的發明內容及其新穎性；專利摘要中包含新穎性、用途及優勢3個部分的內容，分別概括了專利的應用背景、技術目的以及所屬領域，技術性能的優化提升狀況等信息，如表1所示。其中，專利標題項目中包括新的技術術語與應用途徑；新穎性項目與用途項目中詳細解讀專利中的新術語、技術結構、特征及用途；優勢項目對技術性能的提升程度進行說明。這4個部分著錄項目包含不同創新路徑下的新興技術主題，能夠準確全面地反映創新技術特征[15]。因此，本研究通過自然語言處理工具提取專利數據文本中的專利標題及摘要信息中的新穎性、用途以及優勢4個字段，作為技術特征的來源。

在確定特征內容后，利用Python自然語言處理工具包NLTK(Natural Language Toolkit)對德溫特專利數據進行處理。應用NLTK工具包提取專利文本中標題(TI)、新穎性(NOVELTY)、用途(USE)以及優勢(ADVANTAGE)4個字段中的文本信息，剔除專利文本中的低頻詞、停用詞、無關詞匯，通過詞形還原整理文章中的技術名詞及相關應用信息，最終獲得規范化的技術特征信息。

2.2 Word2Vec詞嵌入模型

“現有技術”是衡量發明創造是否具有新興特征的客觀參照物[16]。本研究采用機器學習的目的在于通過對大量現有技術特征中語義知識的識別訓練，實現對目標領域中全部技術關鍵詞的整體把控，將每一個技術關鍵詞及其之間的關系構建成一個詞向量模型[17-18]，從而成為客觀區分新穎性特征的參照物。

表1 技術特征字段及含義

Word2Vec詞嵌入模型是由Mikolov T等提出的輕量級的神經網絡語言訓練模型[19]，模型結構主要包含輸入層、隱藏層以及輸出層。相較于傳統獨熱表示模型(One-Hot Representation)不包含語義關系測度的詞語符號化功能，Word2vec能夠通過訓練文本中的詞語，將其映射為低維度的實數向量，構成一個詞向量空間，進一步實現了對詞語之間語法、語義關系的相似性測度[20]，極大地滿足了對新興技術主題識別中準確區分不同特征的要求。

Word2Vec模型主要包括CBOW和Skip-gram兩個模型[21]，如圖2所示。CBOW模型是在學習詞語W(t)的前后語序W(t-2)、W(t-1)、W(t+1)、W(t+2)的條件下，對W(t)的語義語法關系進行預測；Skip-gram與之相反，是在明確W(t)的語義關系的前提下，預測W(t)的前后語序內容。本研究考慮到所選技術特征信息的內容與規模，采用Word2Vec模型中的CBOW作為技術特征的訓練模型。

圖2 CBOW與Skip-gram模型對比

2.3 技術特征聚類分析

技術特征聚類結果直接影響新興技術主題識別的準確性。考慮到新興技術主題既產生自新技術發展過程的快速興起，也來源于技術開發過程中應用環境的轉變[22]，聚類算法必須在滿足對非結構化數據聚類的同時，凝聚表達相同屬性的技術特征。因此，本研究采用“技術特征向量化+特征聚類”的方式實現對不同屬性技術特征的區分。

2.3.1 新近涌現技術特征提取

新興技術主題主要來自新近出現的專利數據中，Porter團隊從專利運營數據發現，新興技術主題的形成需要歷經技術自身完善、配套技術發展、市場商業認可等多個階段，這一過程大致需要3～5年時間[23-25]。因此，檢索數據庫中近3年目標主題相關的專利數據，按照特征工程流程進行數據處理，提取其中所包含的新近涌現的技術特征。

2.3.2 技術特征向量化

技術特征向量化是對每條專利信息中所包含的技術特征進行向量化處理的過程，利用前述機器學習得到的詞向量模型，對每條技術特征中的全部詞語取加權均值，從而生成新近技術特征的句向量。

首先，本研究采用TF-IDF(Term Frequency-Inverse Document Frequency，詞頻逆文檔頻率)算法測度技術特征中每個詞語的權重，用以凸顯代表性術語在技術特征中的重要程度。詞語權重隨其在技術特征中的出現頻率呈正比增加，隨詞袋模型中的出現頻率呈反比下降，計算公式如式(1)。其中，ni,j通過詞頻矩陣計算，表示詞語在文本中出現的頻次；∑knk,j表示詞袋模型中所有詞語數量；|D|表示技術特征數量，|j:ti∈dj|表示包含詞語的技術特征數量。

(1)

(2)

然后，對技術特征中的全部詞語向量取加權均值，結合前述中獲得的詞語權重，生成技術特征向量，計算公式如式(2)。其中，TC_vec表示技術特征向量；veci表示詞向量；m表示技術特征中包含的詞語的數量；weight(i)表示通過TF-IDF算法獲得的詞語的權重。

2.3.3 技術特征聚類

技術特征聚類是將向量化的技術特征集合劃分成若干簇，盡可能聚集表達相似屬性的特征，擴大不同簇類間的差異性。因此，本研究采用K-means算法實現這一過程[26]，算法將通過不斷迭代和反復計算聚類中心直至聚類結果收斂，從而實現對表達相近含義技術特征信息的集合。

(3)

(4)

將2.3.2獲得的技術特征進行K-means聚類，多維向量空間中技術特征間的相似性關系采用余弦相似度進行測度，計算公式如式(3)。K值的選擇采用輪廓系數法，計算公式如式(4)所示。其中，ai表示i特征與同類型技術特征的平均距離；bi表示i特征與其他類型技術特征間的平均距離；Si表示輪廓系數，輪廓系數的取值在[-1,1]之間，且越趨近于1表示聚類的結果越清晰。通過對聚類系數K值的反復調整，選取輪廓系數最大時所對應的最優聚類系數。然后，采用該聚類系數對新近涌現技術特征進行聚類，最終得到不同類別的技術特征。

2.4 技術主題提取與識別

技術主題的提取與識別方法決定著主題識別模型最終結果的合理性。常用的文本主題抽取工具包括TF-IDF模型、TextRank模型[27]、LDA主題模型以及其他融合模型等[28]。本研究采用特征關鍵詞結合專家意見的方式來實現主題識別。聚類分析將大量具有相同屬性的技術特征構成特征集，每個特征集中包含大量反應集合屬性特征的關鍵詞，通過對詞語重要性進行排序，提取出具有代表性的技術特征關鍵詞。

技術主題聚類結果在考慮算法準確性的同時也需要兼顧專業性，引入領域專家參與新興技術主題的最終判斷，提升識別結果的專業性及應用價值。輪廓系數能夠在算法層面反映聚類模型的效果，在應用層面則需要后驗知識對模型進行修正和檢驗。將識別結果交給相關領域專家小組，通過專家意見判斷聚類結果是否收斂，并由專家確定最終的新興技術主題識別結果。

3 生物技術領域新興技術主題識別

3.1 樣本選取與預處理

生物技術(Biotechnology)是引領未來經濟社會發展的重要學科領域，這一概念最初是由匈牙利工程師Karl Ereky提出，其影響力隨著基因工程技術等現代生物技術的發展而逐漸加深。在美國商務部聯合國家科學基金會等多家機構提出的“NBIC會聚技術”理念中，生物技術被視為實現未來技術應用的核心技術領域。因此，本研究將生物技術領域作為研究的重點，選擇生物技術相關專利作為新興技術主題識別實證研究的對象。

本研究以德溫特創新索引為數據源，檢索并收集2010—2020年間生物技術相關專利數據作為分析數據集。德溫特創新索引(Derwent Innovation Index，DII)是世界最大的專利數據庫之一，數據來源包括50余家專利授予機構，數據內容涵蓋全球96%的專利數據信息，能夠保證數據檢索的全面性與準確性。檢索式選擇世界經濟合作與發展組織(OECD)發布的生物技術相關專利檢索式：IP*=(A01H-001/00 OR A01H-004/00 OR A61K-038/00 OR A61K-039/00 OR A61K-048/00 OR C02F-003/34 OR C07G-011/00 OR C07G-013/00 OR C07G-015/00 OR C07K-004/00 OR C07K-014/00 OR C07K-016/00 OR C07K-017/00 OR C07K-019/00 OR C12M OR C12N OR C12P OR C12Q OR C12S OR G01N-027/327 OR G01N-033/(53*,54*,55*,57*,68,74,76,78,88,92))。檢索結果中2011—2020年發布的專利數據共計108 585件，用以進行專利詞篇模型的構建。研究中新近涌現專利數據集，選擇2018—2020年生物技術相關專利數據共計36 748件。

相關專利的特征分布情況如表2所示，從時間分布來看，2011—2020年間的專利數量呈現平穩上漲趨勢，年均專利數量在1萬件左右，2018—2020年的年均專利數量達到12 249件。在學科分類上，排在前3位的學科分別為化學、生物學以及藥學，涉及化學專業的專利數量最高為100 893件，占專利總量的92.9%。IPC分類號是國際通用的技術分類工具，從生物技術的IPC分類情況看，抗原醫藥制劑、抗腫瘤藥物、基因治療藥物是研究的熱點方向。德溫特分類代碼是從技術應用角度提出的技術分類工具，生物技術的應用主要涉及發酵產業、天然聚合物生產以及生物制劑3個方向。

表2 生物技術專利特征統計(2011—2020年)

3.2 面向生物技術領域的新興技術主題識別

3.2.1 技術特征模型構建

依照前述特征工程與機器學習訓練模型的構建流程，首先抽取108 585條生物技術專利中的標題、新穎性、用途以及優勢4個字段的數據信息；對數據進行清洗，將字段中的停用詞與無關詞匯去除，采用詞型還原的方式處理剩余詞語，構建生物技術特征集，采用相同流程處理新近涌現的36 748條生物技術專利數據，生成新近技術特征集。采用Word2Vec中的CBOW模型訓練生物技術特征數據，參數設置為特征向量，維度選擇默認值200；考慮到每條生物技術技術特征的詞語數量不超過15，設置上下文窗口長度為7；主題詞的選取需要保證所選術語的代表性，設置詞頻閾值為5；迭代次數選擇6次，最終得到技術特征詞向量模型。

3.2.2 基于技術特征的K-Means聚類

首先，將新近技術特征集中的詞語轉換為詞頻矩陣，結合前述技術特征詞向量模型中的詞頻信息,統計新近技術特征集中詞語的權重。然后，對每條技術特征中詞語取加權均值，生成新近技術特征向量。再將技術特征向量進行序列化處理，計算不同特征間的余弦相似性。

完成前期數據處理后，為新近技術特征集搭建一個包含k個隨機質心的集合，以新近技術特征為節點，特征間的余弦相似度作為節點距離，設定聚類系數k的取值范圍[2,11]進行迭代運算。通過k值的調整觀察輪廓系數的變化情況，如圖3所示。當聚類系數取值為2時，輪廓系數的結果為0.1119，隨著聚類系數的提升，輪廓系數不斷趨近于1，取值為6時輪廓系數達到峰值的0.3558，其后隨著系數增長而下降，當聚類系數取值為11時，輪廓系數為0.0513。因此根據輪廓系數評價結果，聚類系數k取值為6時，生物技術的新近技術特征分類最為清晰。

圖3 K-Means聚類系數選取

3.2.3 新興技術主題識別

根據新近技術特征的聚類結果，2018—2020年新興生物技術可以分為6個大類，抽取每個聚類中的核心關鍵詞信息，如表3所示。其中C1類中的技術術語主要涉及各類氨基酸制備工藝及其用途，其中包括：抗原決定基、納米抗體、門冬氨酸、亮氨酸、苯丙氨酸、精氨酸、酪氨酸酶、組氨酸等；C2類中的技術術語主要涉及分子克隆及基因編輯技術，其中包括離心法、外顯子、反義技術、DNA聚合酶、RNA干擾、核酸適配體等；C3類中的技術術語涉及免疫性疾病及病灶，其中包括超純、免疫血清、白血病、接種體、腫瘤、感覺官能、固定化等；C4類中的技術術語涉及環境工程與廢物處理技術，其中包括沉積作用、廢物處理、人造物、提純、濕地、廢水、微生物、凈化、厭氧菌、分解、植物等；C5類中的技術術語涉及重組疫苗及反向疫苗相關技術，其中包括淋巴細胞、載體、暗盒、激酶、病毒衣殼、白細胞介素、突變、腺病毒、芯片、免疫球蛋白、質粒、腺病毒、T細胞受體等；C6類中的技術術語涉及農作物增產抗病基因改良技術，其中包括未成熟體、孢子、吲哚、體細胞、再生、氯化物、農桿菌、土豆、短葶植物、外植體、瓊脂等。

表3 生物技術相關新興技術主題

最終的識別環節，通過兩位生物技術專業教授對聚類識別結果的反復討論，認為聚類結果已達到收斂，表述相同或相近生產工藝的技術關鍵詞處于同一聚類。通過對技術關鍵詞的解讀分析，專家認為可根據聚類中的核心技術關鍵詞分布情況，將上述技術關鍵詞總結為新近興起的6類生物技術主題：分別為氨基酸制備技術、分子生物技術、生物免疫治療技術、生物凈化/修復技術、疫苗制備技術、農業轉基因技術。

3.3 對比分析與結果討論

考慮到專家解讀存在主觀性，本研究引入LDA主題模型進行對比分析。將應用LDA主題模型提取新近生物技術領域專利中的技術主題結果作為對照組ETT-control，基于技術特征相似性的新興技術主題模型的識別結果作為實驗組ETT-experiment，將識別結果降維至三維空間進行可視化，并引入主題連貫性驗證主題識別效果，聚類結果對比如圖4所示。

圖4 新興技術主題聚類結果對比

主題連貫性(Coherence，CV)是用于衡量同一主題內的詞語間是否連貫的測量指標。本文采用Newman提出的UCI測度方法，基于滑動窗口對主題詞進行分割，通過對特定主題詞中所有單詞對的點態互信息進行計算，得到模型的主題連貫性。主題連貫性的取值范圍為[0,1]，數值越接近于1說明效果越明顯。通過計算，得出實驗組的連貫性系數為0.512，對照組的連貫性系數為0.471。說明對于同一技術主題內的技術關鍵詞，融合Word2Vec與K-means聚類的新興技術主題識別模型具有更好的組內連貫性，能夠更加清晰準確地反映主題信息。通過對照組與實驗組在正視圖、左側視圖以及右側視圖的對比，能夠清晰地發現LDA主題模型提取出的5類技術主題之間存在大量的交叉，簇類之間界限模糊；相較之下，實驗組提取的6類技術主題中，關鍵詞凝聚在相應的技術主題之下，不同主題下的技術關鍵詞之間少有重疊，簇類之間界限明顯。

對比分析結果顯示，融合Word2Vec與K-means聚類的新興技術主題識別模型，相較于一般主題識別模型，能夠更加準確地凝練，技術主題間的區分度更加明顯。同時，由于模型中采用機器學習對大量現有技術進行訓練識別，從而能夠清晰區分技術特征的新穎性，能夠更好地實現對領域中新興技術主題的識別。

4 結 語

深刻認識前沿趨勢，盡早識別新興技術主題，對創新資源優化部署及提升國際競爭優勢具有重要意義。當前，新興技術主題識別大多采用單一指標或單一屬性，缺乏基于多種演化路徑的多維度主題挖掘分析。鑒于此，本文提出了基于技術特征相似性的新興技術主題識別模型，模型通過抽取專利數據中包含的新技術屬性構建技術特征集，并利用機器學習對現有技術特征進行建模，充分識別現有技術中的特征信息，再融合聚類分析算法與技術特征向量模型，對新近涌現技術特征進行主題識別，最后結合專家意見對新興技術主題進行解讀。以生物技術為例的主題識別結果顯示，基于技術特征相似性的新興技術主題識別模型相較于一般主題識別模型能夠更加清晰準確地挖掘目標領域中的新興技術主題。因此，本研究為新興技術主題識別研究提供了新的研究方法及思路。