基于神經網絡的深度學習專利分析

摘要：深度學習是基于神經網絡發展起來的技術。深度學習以神經網絡為主要模型，一開始用來解決機器學習中的表示學習問題。由于其強大的能力，深度學習越來越多地用來解決一些通用人工智能問題，比如推理、決策等。目前，深度學習技術在學術界和工業界取得了廣泛的成功，受到高度重視，并掀起新一輪的人工智能熱潮。本文利用incopat平臺對利用神經網絡的深度學習進行了專利檢索，并對申請趨勢、申請地域分布、重要申請人及其專利價值度等維度進行分析。

關鍵詞：神經網絡;深度學習;專利分析

引言

深度學習算法模型從應用層面來講，主要分為卷積神經網絡（Convolutional Neural Network，CNN）、循環神經網絡（Recurrent Neural Network， RNN）和生成式對抗網絡[1][2]。卷積神經網絡[3]是一種前饋神經網絡，它由若干卷積層和池化層組成，尤其在圖像處理方面CNN的表現十分出色，例如：圖像分類、目標檢測及人臉識別等。循環神經網絡[4]的獨特價值在于：它能有效的處理序列數據。比如：文章內容、語音音頻、股票價格走勢等。之所以他能處理序列數據，是因為在序列中前面的輸入也會影響到后面的輸出，相當于有了“記憶功能”。但是循環神經網絡存在嚴重的短期記憶問題，長期的數據影響很小。于是基于循環神經網絡出現了長短期記憶網絡（long short-term memory， LSTM）和門控循環神經網絡（Gate Recurrent Unit， GRU）等變種算法。生成對抗網絡（Generative Adversarial Network，簡稱GAN）[5]是無監督學習的一種方法，通過讓兩個神經網絡相互博弈的方式進行學習。生成式對抗網絡由生成器和判別器構成。生成對抗網絡的核心目的是訓練生成器。生成器的目的是生成與真實樣本盡可能相似的“假樣本”，判別器的目的是盡可能區分出給定樣本是真實樣本還是生成的“假樣本”。二者目的相悖，在不斷博弈的過程中相互提高，最終在判別器判別能力足夠可靠的前提下仍無法區分給定樣本是真實樣本還是生成樣本。生成式對抗網絡主要應用為：提高原始圖像的分辨率，生成高畫質的影像等。除此之外，深度學習網絡還包括圖神經網絡、強化學習、元學習、自動化積極學習方面的算法和模型。本文僅對深度學習算法模型中的卷積神經網絡、循環神經網絡和生成式對抗網絡進行檢索，并對檢索結果進行分析。

1申請量分析

圖1中是對國內外神經網絡深度學習技術年增量的統計，從圖1中可以看出，在2014年以前該技術的申請量一直緩慢增長，從2014-2019年之間增長量呈“J”型，并于2019年達到頂峰，年申請量為20742件。從2020年-2021年申請量出現了斷崖式下跌，2021年的申請量僅為10104，比2019年的申請量減少了一半多。

深度學習的申請量大增，這與市場需求以及數據量、計算機的計算能力是分不開的。目前，我們已經進入數字化時代，可以采集到更多的數據，計算機軟硬件的快速發展，使得計算機的計算能力大幅度提高，這為深度學習的發展奠定了基礎。市場需求方面：例如語音識別、自動駕駛、自動機器翻譯、即時視覺翻譯、調用遺傳變異、癌癥檢測、X 射線 CT 重建、機器人、對話智能體、視頻動作識別等，并取得了顯著成果。

市場需求促使科研人員的投入，從而使得學術研究重點發生了轉移：近年來計算機相關的各大學術會議在制定學術方向時，已然偏向了神經網絡深度學習領域，例如：國際表示學習會議（International Conference on Learning Representations， ICLR） ：主要聚焦于深度學習。國際機器學習會議（International Conference on Machine Learning，ICML）：機器學習頂級會議，深度學習作為近年來的熱點，也占據了 ICML的 很大比例。美國人工智能協會年會3（AAAI Conference on Artificial Intelligence，AAAI）：人工智能領域的頂級會議，近年來和深度學習相關的論文也越來越多。

國內的研究方向一般與國際相吻合，從2015-2017年在有關深度學習的國家自然基金項目的扶持下，使各大高校紛紛投入到深度學習的研究中，這些國家自然基金的項目的周期均在2-3年之間，這也就解釋全球的深度學習的專利申請會什么會在2019年達到頂峰。

在政策以及市場一片大好的情況下，2020年關于深度學習的申請量為什么會下降，這與深度學習發展的成熟度及遇到的技術瓶頸是分不開的。

在2010年計算機視覺奠基者之一，約翰霍普金斯大學教授Alan Yuille指出深度學習在計算機視覺領域的瓶頸已至，Yuille指出，深度學習雖然優于其他技術，但它不是通用的，經過數年的發展，它的瓶頸已經凸顯出來，主要有三個：需要大量標注數據;過度擬合基準數據;對圖像過度敏感。

2申請地域分布及申請人排行榜

由圖2.1為神經網絡深度學習國際申請量分布情況，從圖中可以看出截止2021年，中國在神經網絡深度學習領域的申請量位居第一，美國的申請量位居第二，中國在神經網絡深度學習方面的申請量遠大于美國，是美國申請量的4倍之多。世界知識產權組織在神經網絡深度學習方面的申請量位居第三，韓國的申請量排名第四。

從前十五名的申請人可以看出，中國的大專院校占了9個;其中電子科技大學和華南理工大學分別位于第一和二位。中國科學院自動化研究所位于第十五位。前十五名中只有五個公司，其中中國的公司占了兩個，分別是平安科技（深圳）有限公司和騰訊科技（深圳）有限公司。其余三個公司為韓國的三星電子公司，位居第9位，專利申請量為519件;美國的IBM公司和谷歌公司分別位于第十二和十三位。

國內的研究方向一般與國際相吻合，近年來在有關深度學習的國家自然基金項目的扶持下，使各大高校紛紛投入到深度學習的研究中，并產出了大量的科研成果。

3專利成果轉化

專利轉化為成果可以通過專利出資、專利融資、專利實施許可、專利權轉讓方式進行。本文統計了專利實施許可和專利權轉讓數量。

從圖1和圖3.1可知專利轉讓量與專利申請量的變化趨勢相吻合，并隨著專利申請量的大增，專利轉讓量也呈現了“J”型增長趨勢。專利轉讓量并于2019年達到頂峰，專利轉讓量為3037件，到2021年的專利轉讓量下降到1595件。

從圖3.2中可以看出轉讓人前十名中，中國的申請人只用兩個，分別是阿里巴巴和先進創新技術有限公司，其余均為國外的公司。圖3.2轉讓人排名與圖2.2申請人排行榜形成了鮮明的對比。圖2.2中申請人排名前十中中國的大專院校占了七個，但專利轉讓人排名的前十中，居然沒有中國大專院校的身影。足以說明中國大專院校的專利申請量之大，但專利成果轉化率之低。

從圖3.4可知，從2015-2018年之間專利許可量僅為3件，從2018-2021年雖然呈現增長趨勢，但專利許可的增長量顯著，但專利許可量有限，2021年的專利許可量僅為48件，截至到2021年專利許可量的總件數為100件。

通過專利轉讓進行專利轉化的成果還是很顯然的，通過專利許可進行專利轉化的成果雖然不高，但是依然是上升的趨勢。在神經網絡深度學習領域，中國的大專院校的申請量在中國是很多的，但是沒有很好的進行成果轉化。

專利成果轉化有助于將技術滲透到產品制造及產業運行的各個環節，可以整體提升產業運行效率及產業競爭力，國家也認識到這一問題，先后頒布了促進專利成果轉化的政策。希望國家和政府能落實好政策，鼓勵和促進企業及高校的專利進行成果轉化。

5結語

本文從神經網絡深度學習的三個網絡模型入手，進行了專利檢索和分析，通過分析可知，全球都致力于神經網絡深度學習的研究中，中國的對于神經網絡深度學習的申請量是很大的。但是成果轉化率卻很低，希望中國的高校和企業重視專利成果的轉化。

參考文獻

[1]余凱，賈磊，陳雨強，等. 深度學習的昨天，今天和明天[J].計算機研究與發展，2013，50（ 9） ： 1799 - 1804.

[2]Goodfellow I，Bengio Y，Courville A. Deep learning[M].Cambridge，USA： MIT Press，2016.

[3] 周飛燕，金林鵬，董軍.卷積神經網絡研究綜述[J].計算機學報，2017，40（ 6） ： 1229-1251.Zhou F Y，Jin L P，Dong J.Review of convolutional neural network[J].Chinese Journal of Computers，2017，40（ 6） ： 1229-1251.

[4]劉禮文;俞弦;循環神經網絡（RNN）及應用研究[J];、科技世界;2019年第32期.

[5]FashionGAN： Display your fashion design using Conditional Generative Adversarial Nets[J] . Y. R. Cui，Q. Liu，C. Y. Gao，Z. Su. ?Computer Graphics Forum . 2018 （7）.

姓名：趙翠翠，工作單位：國家知識產權局專利局專利審查協作天津中心，天津 300304，出生年月：1988年3月14日，學歷：碩士研究生，職稱：中級職稱，研究方向：模式識別。