國際深度學習領域科研主題演化研究

田亞丹

（中共廣東省委黨校（廣東行政學院）圖書館，廣東 廣州 510053）

0 引言

深度學習一詞最早是在教育領域被提出的，1976 年，瑞典哥特堡大學的Marton 等［1］在研究學生學習過程時發現不同學習策略下的學習效果不同，由此提出深度學習的概念，指出深度學習是知識遷移的過程，有助于學習者解決問題及進行決策。而深度學習作為機器學習領域中一個新的研究方向，其首次被提出是在2006 年，多倫多大學的Hinton 等［2］提出深度學習的概念，最初的應用主要是在圖像和語音識別領域，如今則拓展到自然語言處理［3］、故障診斷［4］、目標檢測［5］等領域，其應用更為廣泛，影響愈加深遠。2020 年是深度學習技術發展的第15 個年頭，利用科學計量學方法梳理該領域研究內容與演化進程，可幫助研究人員理清發展脈絡、把握研究方向，從而為深度學習研究提供參考，推動機器學習技術的進步與發展。

目前，利用計量學方法分析深度學習領域的文獻大多是基于Citespace 進行的，通過繪制知識圖譜、分析相關題錄信息分布情況，并結合高頻詞分析、引文分析、聚類分析等方法挖掘研究熱點［6］。如張海等［7］使用Citespace 描繪國際深度學習領域的知識圖譜，得到主流算法、多模態識別、教育應用場景3 個研究熱點，并對深度學習在教育領域的應用趨勢進行分析；何曉萍等［8］使用Citespace 研究深度學習領域的核心期刊分布、核心文獻分布、核心著者分布等；莊詩夢等［9］運用CiteSpace 對深度學習研究領域的國家及機構、關鍵詞、突變詞、共被引等進行可視化分析，探尋相關研究熱點。但這些研究更多側重于教育背景下的深度學習技術，針對主題隨時間的動態演化研究較少，只是單純地找到研究熱點，分析研究現狀，而無法呈現出研究主題的全周期發展歷程，也缺少對科研主題演化規律的挖掘。

格拉納達大學開發的SciMAT 是一款新的開源知識圖譜工具，其基于Cobo 等［10］2011 年提出的科學圖譜分析方法，可探測連續時間內一個研究領域的知識演化情況，把復雜的領域知識演化進程通過可視化方法直觀、清晰地展示出來，在表現主題演進方面獨具特色，相較于傳統基于詞頻的熱點統計或基于關鍵詞網絡的聚類分析更具優勢［11］。如劉艷華等［12］利用SciMAT 對國際青少年閱讀領域進行主題演化分析，探測出兩條重要的演化路徑；趙蓉英等［13］利用SciMAT 探究Altmetrics（替代計量學）領域的主題演進動態，并總結研究現狀。鑒于此，本文擬從主題動態演進的角度出發，利用SciMat 軟件對深度學習領域的研究主題及其演化過程進行動態分析，以更大體量的數據綜合呈現各時期研究主題分布情況及主題間演化關系，探尋領域發展脈絡，梳理深度學習領域研究現狀，以期為今后的研究提供參考，為科技決策提供依據。

1 研究思路與數據收集

1.1 研究思路

本文研究思路分為3 個階段，分別是數據收集階段、數據處理階段及分析與研究階段。數據收集階段主要包括文獻檢索、下載與整理；數據處理階段主要對文獻題錄信息進行預處理、時區劃分，配置相應參數，為分析工作作準備；最后的分析與研究階段主要從關鍵詞總體變化、主題分布、主題演進3 方面對深度學習領域進行研究，總結其演化規律，探討未來發展方向。

1.2 數據收集

以核心數據庫（Web of Science，WoS）2006-2019 年深度學習領域相關文獻作為研究對象，檢索主題詞為“deep learning”，文獻類型為article，并于2020 年4 月27 日進行檢索。由于2020 年的數據不完整，而后續分析需使用完整年份的數據，故將檢索年限設置為2006-2019 年，共獲得14 641 篇文獻。對深度學習領域文獻進行信息計量統計，有助于從宏觀上把握國際深度學習領域發展態勢，了解該領域研究基本情況。從圖1 可以看出，深度學習領域發文量在2014 年后開始激增，增長速率均超過2 倍。這是深度學習領域的快速發展期，受到了學者們的廣泛關注。雖然在機器學習領域，“深度學習”一詞于2006 年才正式提出，但在很大程度上彌補了神經網絡的不足與缺陷。隨著深度學習相關理論與方法研究的不斷深入，該領域體現出很高的研究與應用價值，研究熱度逐年攀升，值得研究人員尤其是情報學研究人員的重視。

Fig.1 The changes in the number of papers published in the field of deep learning圖1 深度學習領域發文量變化情況

2 數據處理與參數設置

2.1 數據處理

數據處理階段主要是對作者關鍵詞進行預處理，先利用SciMat 中的關鍵詞自動清洗功能合并單復數形式的關鍵詞，再手動合并縮寫與全稱，剔除檢索詞deep learning，以及如model、algorithm、tool 等意義寬泛的高頻詞，防止極端數據對結果的影響。

在SciMat 軟件中，選擇作者關鍵詞作為分析單元，分析時期為2006-2019 年，根據各時期文獻數量，將2006-2008、2009-2011、2012-2014 年分別合并為一個時期，2015-2019年每一年單獨作為一個時期，共得到8 個時期。

2.2 參數設置

數據精簡閾值與網絡精簡閾值控制著聚類網絡中的主題數量，閾值越大時，主題數量越少，具體參數設置參考文獻［14-15］。為使生成的圖譜更加清晰，經過多次實驗發現，當本研究中每個時期的數據精簡閾值為（1，1，2，2，2，2，3，4）、網絡精簡閾值為（1，1，1，1，1，2，3，4）時，各時期聚類主題數量在合理范圍內，主題間關聯清晰。本文選擇聚類網絡最大值為10、最小值為1 來限制網絡大小，相似度指標為E 指數。聚類算法為簡單中心算法，將文檔數量與h 指數作為評估指標，之后使用共現矩陣建立網絡，選擇Jaccard 系數作為演化圖與重疊圖的相似度指標。

3 分析與發現

3.1 關鍵詞總體變化分析

圖2 是使用相似性度量構建的2006-2019 年深度學習領域的關鍵詞重疊圖。

Fig.2 The overlapping map of keywords圖2 關鍵詞重疊圖

在圖2 中，圓圈代表各個時期，圈內的數字代表各時期的關鍵詞數量，水平箭頭上的數字代表兩個時間段共享的關鍵詞數量。括號中的數字為重疊系數，重疊系數的高低也從側面反映了相鄰時期重疊關鍵詞的多少。上方進入的箭頭代表該時期新出現的關鍵詞數量，輸出的箭頭代表該時期存在而下個時期消失的關鍵詞數量。

從不同時期的進入箭頭和輸出箭頭來看，各時期新輸入關鍵詞的數量總是比流失的關鍵詞多，且關鍵詞總數也逐年遞增。這在一定程度上反映了深度學習領域不斷出現新舊研究的交替，總體研究內容日趨豐富，研究范圍逐漸拓寬。從各個時期的水平箭頭來看，該領域共享關鍵詞數量逐年增加，前期穩定性波動上升，2016 年后呈緩慢上升趨勢，說明有越來越多關鍵詞得到了持續且深入的研究。

3.2 主題分布分析

為探究深度學習領域的研究主題分布情況，本文對該領域的主題戰略圖進行分析，如圖3 所示（彩圖掃OSID 碼可見，下同）。

主題戰略圖在一個二維空間展示了主題聚類的中心度和密度，圓圈中的數字代表每個時期聚類主題的H 指數，圓圈大小與H 指數成正比。SciMat 根據每個聚類的密度和中心度把主題分成4 類，分別是：①位于第一象限的引擎區，具有高中心度和高密度，對應的主題聚類發展較好且較為重要；②位于第二象限的專業區，具有低中心度和高密度，對應的主題聚類一般為專業性或外圍性的主題；③位于第三象限的新興/衰退區，具有低中心度和低密度，對應的主題聚類如果年代較新，則可能是新出現的主題，如果年代較為久遠，可能是即將消亡的主題；④位于第四象限的基本區，具有高中心度和低密度，對應的主題聚類是橫向廣義且基本的［13，16］。通過該分類方法可識別出歷年來支撐該領域發展的技術基礎與應用專業領域，以及引領深度學習領域發展的主要研究及新興技術。將得到的77 個主題聚類按不同戰略區域進行劃分，如表1 所示。

Fig.3 The topic strategic diagram of eight periods圖3 8 個時期主題戰略圖

結合圖3 與表1，綜合考慮聚類節點體積和數量。主題節點體積反映主題的H 指數，球體體積越大，H 指數越大，說明該主題的影響力越大。2016 年以前，影響力大的主題在各個區域都有分布，主題分布的區域性特征不明顯。2016 年之后，影響力大的主題全部位于第四象限，說明很多技術和算法開始趨于成熟與穩定，其中2016-2018 年影響力最大的主題為卷積神經網絡，2019 年影響力最大的主題為機器學習。

對于節點數量，2012 年以前，深度學習在教育領域研究較多，相關主題包括教學方法、概念地圖和主動學習等。經過幾年的發展，到2016 年主題數量增多，進入發展成熟期，研究主題更多地轉移到計算機領域，且主要分布在第二象限和第四象限，這兩個區域的主題占全部主題的66%。其中第四象限主要是一些基礎算法，如卷積神經網絡、機器學習和特征提取算法等，第二象限則是應用于不同領域的相關技術，如涉及生物醫學領域的核磁共振成像與光學相干斷層掃描技術，涉及智慧城市領域的行人重識別與物聯網技術，涉及航空航天領域的視覺導航技術等。

Table 1 The topic clustering area表1 主題聚類區域

對比同一時期的四大聚類區域可以發現，第一象限和第三象限的主題聚類數量明顯少于第二象限與第四象限，說明深度學習領域每個子時期引領發展的技術及新興算法不是很多，整體研究處于穩步前進的態式。

3.3 主題演進分析

主題演化圖通過展示不同時間段內的關鍵詞關聯狀態幫助人們探測主題的演化與起源。如圖4 所示，球體節點表示各時期的主題聚類，球體體積表示聚類的H 指數。節點間的連線表示聚類主題具有持續性，實線表示主題間有繼承關系，虛線表示次一級主題的繼承關系，線的厚度與杰卡德相似度（Jaccard’s index）成正比。連線越粗，表明兩個主題的相似度越高，演化關系越強。如果節點沒有鏈接到下一個周期的主題，則該節點是一個即將消失的主題；如果節點與前一時期的主題沒有關聯，則該節點是一個新興主題［17］。

對深度學習領域的主題演化圖進行梳理，觀察主題間的實線連接關系，本文定義跨越4 個及以上時期的主題演化為長期演化，跨越4 個時期以下的主題演化為短期演化，共得到50 條長期演化路徑和8 條短期演化路徑。將長期演化路徑按照演化終點進行分類，可得到特征提取、機器學習、遷移學習和遙感4 個研究方向，且4 個研究方向中最長的線路最后都與深度置信網絡有關聯，說明深度置信網絡是很多持續演化研究的基礎。

Fig.4 The topic evolution map圖4 主題演化圖

8 條短期演化路徑分別為：①腦機接口→腦機接口→腦電描記法。腦機接口是腦科學與計算機科學交叉領域的前沿技術，一般通過腦電描記法采集腦電信號，并利用深度學習方法對腦電信號進行特征提取或分類，被廣泛應用于康復醫學和神經科學等領域［18］；②視覺導航→機器人與自動化的深度學習。機器人通過視覺感知周圍環境，規劃自身行為軌跡，完成一系列自動化動作，這些都需要與深度學習技術相融合［19］；③物聯網→智慧城市→物聯網。完整的物聯網體系是智慧城市建設的基礎，大數據、云計算、深度學習等技術的進步也推動著智慧城市的發展，智能物聯時代已經到來；④生成對抗網絡→生成對抗網絡。生成對抗網絡是非監督學習中的重要方法之一，具有能充分擬合數據、生成樣本更銳利、速度更快等優點，在超分辨圖像生成、視頻預測等方面有著廣泛應用，有學者稱生成對抗網絡突破了深度學習的發展瓶頸，是深度學習領域未來的發展方向［20］；⑤老年癡呆癥→老年癡呆癥和光學相干斷層掃描→光學相干斷層掃描［21］兩條演化路徑都屬于深度學習技術在臨床醫學領域的應用，使用深度學習方法分析醫學圖像，實現對老年癡呆癥［22］、眼病等疾病的篩查與診斷，可提高臨床診斷水平，具有較高應用價值；⑥自然語言處理→ML。深度學習技術在自然語言處理中有顯著效果，可實現機器翻譯、情感分析等；⑦合成孔徑雷達圖像→遙感。深度學習是圖像識別領域重要的技術手段之一，在合成孔徑雷達圖像分割［23］、遙感圖像變化檢測［24］等方面都有應用。

將主題戰略圖與主題演化圖結合起來進行分析，總結出深度學習領域的主題演化規律如下：

（1）大部分長期演化主題間連線較細，而短期演化主題間連線較粗，說明該領域具有長期演化主題間關聯性弱、短期演化主題間關聯性強的特點。主要原因為該領域在早期發展階段相關研究較少，大部分屬于探索性研究，關注點較為分散，所以主題演化關聯性較弱。關聯性強的短期演化主要發生在近3 年，說明近年來該領域學者的關注點較為集中，大家著力攻克重點及難點，重視關鍵領域的前沿技術應用。

（2）在長期演化過程中，與其他主題產生關聯最多的主題是卷積神經網絡，演化圖中球體體積最大的3 個節點也是卷積神經網絡，與戰略圖分析一致，足以證明其是深度學習領域的代表性算法，廣泛應用于圖像與文本特征提取等方面［25-26］。

（3）在長期演化過程中，第四象限的基本類主題最多，占69%，其次是第一象限的引擎類主題占18%、第二象限的專業類主題占9%、第三象限的新興/衰退類主題占4%。在近3 年的長期演化路徑中，聚類主題全部屬于第四象限的基本類，說明長期演化越到后期越趨于穩定，這些長期演化主題已發展成熟。另外，64%的基本類主題是由引擎類主題演化而來，74%的引擎類主題由專業類主題演化而來，說明區域之間也存在一定的演化規律。由專業、外圍的第二象限演化到發展較好的第一象限，之后進入較為穩定、基本的第四象限。

（4）對于演化圖中無連線的孤立主題，其大部分屬于第二象限的專業類，如2006-2009 年的概念地圖、地球系統科學和教學方法，2010-2012 年的學習方法和主動學習等。這些主題沒有形成很大的研究聚類，也沒有與其他主題產生關聯，說明如果外圍、專業型的研究主題沒有與其他主題產生合作，會隨著時間慢慢消亡。

4 結語

本文利用SciMat 得到深度學習領域的主題戰略分布與主題演化脈絡，實現了對深度學習領域主題的動態分析。從時間上看，深度學習領域研究已取得長足發展，整體研究數量呈上升趨勢。2016 年之后，隨著人工智能技術的興起，針對深度學習領域的研究也大幅增加，且研究內容日趨豐富，最具代表性的算法為卷積神經網絡與機器學習，其他基礎算法還包括神經網絡和特征提取算法等，涉及的應用領域包括生物醫學、智慧城市和航空航天等。在演化方面，本文共識別出4 類長期演化路徑和8 條短期演化路徑，發現在該領域早期發展階段，研究主題較少，主題演化的關聯性較弱。2017 年之后，出現了關聯性強的短期演化，智慧城市、生物醫學等領域的研究主題得到了廣泛重視。不同類型主題之間也存在一定的演化規律，一般是由外圍、專業類主題演化為重要、發展較好的引擎類主題，經過一段時間的發展最終趨于穩定，演化為基本類主題。

領域發展規律帶給研究者很多啟示：應扎實掌握深度學習領域的主流技術和算法，從長期演化規律中追溯關鍵性的基礎算法；重點關注近年來的新興主題，從近幾年的短期演化過程中找到新的研究方向，在智慧城市、生物醫學、數據分析、機器人自動化等領域加大研究力度；掌握不同主題所處戰略位置，適當調整研究布局，對于專業性較強的研究主題，可嘗試不同領域間的交叉融合，從而促進深度學習領域持續、健康發展。