基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)專(zhuān)利分析

摘要：深度學(xué)習(xí)是基于神經(jīng)網(wǎng)絡(luò)發(fā)展起來(lái)的技術(shù)。深度學(xué)習(xí)以神經(jīng)網(wǎng)絡(luò)為主要模型，一開(kāi)始用來(lái)解決機(jī)器學(xué)習(xí)中的表示學(xué)習(xí)問(wèn)題。由于其強(qiáng)大的能力，深度學(xué)習(xí)越來(lái)越多地用來(lái)解決一些通用人工智能問(wèn)題，比如推理、決策等。目前，深度學(xué)習(xí)技術(shù)在學(xué)術(shù)界和工業(yè)界取得了廣泛的成功，受到高度重視，并掀起新一輪的人工智能熱潮。本文利用incopat平臺(tái)對(duì)利用神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)進(jìn)行了專(zhuān)利檢索，并對(duì)申請(qǐng)趨勢(shì)、申請(qǐng)地域分布、重要申請(qǐng)人及其專(zhuān)利價(jià)值度等維度進(jìn)行分析。

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò);深度學(xué)習(xí);專(zhuān)利分析

引言

深度學(xué)習(xí)算法模型從應(yīng)用層面來(lái)講，主要分為卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network， RNN）和生成式對(duì)抗網(wǎng)絡(luò)[1][2]。卷積神經(jīng)網(wǎng)絡(luò)[3]是一種前饋神經(jīng)網(wǎng)絡(luò)，它由若干卷積層和池化層組成，尤其在圖像處理方面CNN的表現(xiàn)十分出色，例如：圖像分類(lèi)、目標(biāo)檢測(cè)及人臉識(shí)別等。循環(huán)神經(jīng)網(wǎng)絡(luò)[4]的獨(dú)特價(jià)值在于：它能有效的處理序列數(shù)據(jù)。比如：文章內(nèi)容、語(yǔ)音音頻、股票價(jià)格走勢(shì)等。之所以他能處理序列數(shù)據(jù)，是因?yàn)樵谛蛄兄星懊娴妮斎胍矔?huì)影響到后面的輸出，相當(dāng)于有了“記憶功能”。但是循環(huán)神經(jīng)網(wǎng)絡(luò)存在嚴(yán)重的短期記憶問(wèn)題，長(zhǎng)期的數(shù)據(jù)影響很小。于是基于循環(huán)神經(jīng)網(wǎng)絡(luò)出現(xiàn)了長(zhǎng)短期記憶網(wǎng)絡(luò)（long short-term memory， LSTM）和門(mén)控循環(huán)神經(jīng)網(wǎng)絡(luò)（Gate Recurrent Unit， GRU）等變種算法。生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，簡(jiǎn)稱(chēng)GAN）[5]是無(wú)監(jiān)督學(xué)習(xí)的一種方法，通過(guò)讓兩個(gè)神經(jīng)網(wǎng)絡(luò)相互博弈的方式進(jìn)行學(xué)習(xí)。生成式對(duì)抗網(wǎng)絡(luò)由生成器和判別器構(gòu)成。生成對(duì)抗網(wǎng)絡(luò)的核心目的是訓(xùn)練生成器。生成器的目的是生成與真實(shí)樣本盡可能相似的“假樣本”，判別器的目的是盡可能區(qū)分出給定樣本是真實(shí)樣本還是生成的“假樣本”。二者目的相悖，在不斷博弈的過(guò)程中相互提高，最終在判別器判別能力足夠可靠的前提下仍無(wú)法區(qū)分給定樣本是真實(shí)樣本還是生成樣本。生成式對(duì)抗網(wǎng)絡(luò)主要應(yīng)用為：提高原始圖像的分辨率，生成高畫(huà)質(zhì)的影像等。除此之外，深度學(xué)習(xí)網(wǎng)絡(luò)還包括圖神經(jīng)網(wǎng)絡(luò)、強(qiáng)化學(xué)習(xí)、元學(xué)習(xí)、自動(dòng)化積極學(xué)習(xí)方面的算法和模型。本文僅對(duì)深度學(xué)習(xí)算法模型中的卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)和生成式對(duì)抗網(wǎng)絡(luò)進(jìn)行檢索，并對(duì)檢索結(jié)果進(jìn)行分析。

1申請(qǐng)量分析

圖1中是對(duì)國(guó)內(nèi)外神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)技術(shù)年增量的統(tǒng)計(jì)，從圖1中可以看出，在2014年以前該技術(shù)的申請(qǐng)量一直緩慢增長(zhǎng)，從2014-2019年之間增長(zhǎng)量呈“J”型，并于2019年達(dá)到頂峰，年申請(qǐng)量為20742件。從2020年-2021年申請(qǐng)量出現(xiàn)了斷崖式下跌，2021年的申請(qǐng)量?jī)H為10104，比2019年的申請(qǐng)量減少了一半多。

深度學(xué)習(xí)的申請(qǐng)量大增，這與市場(chǎng)需求以及數(shù)據(jù)量、計(jì)算機(jī)的計(jì)算能力是分不開(kāi)的。目前，我們已經(jīng)進(jìn)入數(shù)字化時(shí)代，可以采集到更多的數(shù)據(jù)，計(jì)算機(jī)軟硬件的快速發(fā)展，使得計(jì)算機(jī)的計(jì)算能力大幅度提高，這為深度學(xué)習(xí)的發(fā)展奠定了基礎(chǔ)。市場(chǎng)需求方面：例如語(yǔ)音識(shí)別、自動(dòng)駕駛、自動(dòng)機(jī)器翻譯、即時(shí)視覺(jué)翻譯、調(diào)用遺傳變異、癌癥檢測(cè)、X 射線 CT 重建、機(jī)器人、對(duì)話智能體、視頻動(dòng)作識(shí)別等，并取得了顯著成果。

市場(chǎng)需求促使科研人員的投入，從而使得學(xué)術(shù)研究重點(diǎn)發(fā)生了轉(zhuǎn)移：近年來(lái)計(jì)算機(jī)相關(guān)的各大學(xué)術(shù)會(huì)議在制定學(xué)術(shù)方向時(shí)，已然偏向了神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)領(lǐng)域，例如：國(guó)際表示學(xué)習(xí)會(huì)議（International Conference on Learning Representations， ICLR） ：主要聚焦于深度學(xué)習(xí)。國(guó)際機(jī)器學(xué)習(xí)會(huì)議（International Conference on Machine Learning，ICML）：機(jī)器學(xué)習(xí)頂級(jí)會(huì)議，深度學(xué)習(xí)作為近年來(lái)的熱點(diǎn)，也占據(jù)了 ICML的 很大比例。美國(guó)人工智能協(xié)會(huì)年會(huì)3（AAAI Conference on Artificial Intelligence，AAAI）：人工智能領(lǐng)域的頂級(jí)會(huì)議，近年來(lái)和深度學(xué)習(xí)相關(guān)的論文也越來(lái)越多。

國(guó)內(nèi)的研究方向一般與國(guó)際相吻合，從2015-2017年在有關(guān)深度學(xué)習(xí)的國(guó)家自然基金項(xiàng)目的扶持下，使各大高校紛紛投入到深度學(xué)習(xí)的研究中，這些國(guó)家自然基金的項(xiàng)目的周期均在2-3年之間，這也就解釋全球的深度學(xué)習(xí)的專(zhuān)利申請(qǐng)會(huì)什么會(huì)在2019年達(dá)到頂峰。

在政策以及市場(chǎng)一片大好的情況下，2020年關(guān)于深度學(xué)習(xí)的申請(qǐng)量為什么會(huì)下降，這與深度學(xué)習(xí)發(fā)展的成熟度及遇到的技術(shù)瓶頸是分不開(kāi)的。

在2010年計(jì)算機(jī)視覺(jué)奠基者之一，約翰霍普金斯大學(xué)教授Alan Yuille指出深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域的瓶頸已至，Yuille指出，深度學(xué)習(xí)雖然優(yōu)于其他技術(shù)，但它不是通用的，經(jīng)過(guò)數(shù)年的發(fā)展，它的瓶頸已經(jīng)凸顯出來(lái)，主要有三個(gè)：需要大量標(biāo)注數(shù)據(jù);過(guò)度擬合基準(zhǔn)數(shù)據(jù);對(duì)圖像過(guò)度敏感。

2申請(qǐng)地域分布及申請(qǐng)人排行榜

由圖2.1為神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)國(guó)際申請(qǐng)量分布情況，從圖中可以看出截止2021年，中國(guó)在神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)領(lǐng)域的申請(qǐng)量位居第一，美國(guó)的申請(qǐng)量位居第二，中國(guó)在神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)方面的申請(qǐng)量遠(yuǎn)大于美國(guó)，是美國(guó)申請(qǐng)量的4倍之多。世界知識(shí)產(chǎn)權(quán)組織在神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)方面的申請(qǐng)量位居第三，韓國(guó)的申請(qǐng)量排名第四。

從前十五名的申請(qǐng)人可以看出，中國(guó)的大專(zhuān)院校占了9個(gè);其中電子科技大學(xué)和華南理工大學(xué)分別位于第一和二位。中國(guó)科學(xué)院自動(dòng)化研究所位于第十五位。前十五名中只有五個(gè)公司，其中中國(guó)的公司占了兩個(gè)，分別是平安科技（深圳）有限公司和騰訊科技（深圳）有限公司。其余三個(gè)公司為韓國(guó)的三星電子公司，位居第9位，專(zhuān)利申請(qǐng)量為519件;美國(guó)的IBM公司和谷歌公司分別位于第十二和十三位。

國(guó)內(nèi)的研究方向一般與國(guó)際相吻合，近年來(lái)在有關(guān)深度學(xué)習(xí)的國(guó)家自然基金項(xiàng)目的扶持下，使各大高校紛紛投入到深度學(xué)習(xí)的研究中，并產(chǎn)出了大量的科研成果。

3專(zhuān)利成果轉(zhuǎn)化

專(zhuān)利轉(zhuǎn)化為成果可以通過(guò)專(zhuān)利出資、專(zhuān)利融資、專(zhuān)利實(shí)施許可、專(zhuān)利權(quán)轉(zhuǎn)讓方式進(jìn)行。本文統(tǒng)計(jì)了專(zhuān)利實(shí)施許可和專(zhuān)利權(quán)轉(zhuǎn)讓數(shù)量。

從圖1和圖3.1可知專(zhuān)利轉(zhuǎn)讓量與專(zhuān)利申請(qǐng)量的變化趨勢(shì)相吻合，并隨著專(zhuān)利申請(qǐng)量的大增，專(zhuān)利轉(zhuǎn)讓量也呈現(xiàn)了“J”型增長(zhǎng)趨勢(shì)。專(zhuān)利轉(zhuǎn)讓量并于2019年達(dá)到頂峰，專(zhuān)利轉(zhuǎn)讓量為3037件，到2021年的專(zhuān)利轉(zhuǎn)讓量下降到1595件。

從圖3.2中可以看出轉(zhuǎn)讓人前十名中，中國(guó)的申請(qǐng)人只用兩個(gè)，分別是阿里巴巴和先進(jìn)創(chuàng)新技術(shù)有限公司，其余均為國(guó)外的公司。圖3.2轉(zhuǎn)讓人排名與圖2.2申請(qǐng)人排行榜形成了鮮明的對(duì)比。圖2.2中申請(qǐng)人排名前十中中國(guó)的大專(zhuān)院校占了七個(gè)，但專(zhuān)利轉(zhuǎn)讓人排名的前十中，居然沒(méi)有中國(guó)大專(zhuān)院校的身影。足以說(shuō)明中國(guó)大專(zhuān)院校的專(zhuān)利申請(qǐng)量之大，但專(zhuān)利成果轉(zhuǎn)化率之低。

從圖3.4可知，從2015-2018年之間專(zhuān)利許可量?jī)H為3件，從2018-2021年雖然呈現(xiàn)增長(zhǎng)趨勢(shì)，但專(zhuān)利許可的增長(zhǎng)量顯著，但專(zhuān)利許可量有限，2021年的專(zhuān)利許可量?jī)H為48件，截至到2021年專(zhuān)利許可量的總件數(shù)為100件。

通過(guò)專(zhuān)利轉(zhuǎn)讓進(jìn)行專(zhuān)利轉(zhuǎn)化的成果還是很顯然的，通過(guò)專(zhuān)利許可進(jìn)行專(zhuān)利轉(zhuǎn)化的成果雖然不高，但是依然是上升的趨勢(shì)。在神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)領(lǐng)域，中國(guó)的大專(zhuān)院校的申請(qǐng)量在中國(guó)是很多的，但是沒(méi)有很好的進(jìn)行成果轉(zhuǎn)化。

專(zhuān)利成果轉(zhuǎn)化有助于將技術(shù)滲透到產(chǎn)品制造及產(chǎn)業(yè)運(yùn)行的各個(gè)環(huán)節(jié)，可以整體提升產(chǎn)業(yè)運(yùn)行效率及產(chǎn)業(yè)競(jìng)爭(zhēng)力，國(guó)家也認(rèn)識(shí)到這一問(wèn)題，先后頒布了促進(jìn)專(zhuān)利成果轉(zhuǎn)化的政策。希望國(guó)家和政府能落實(shí)好政策，鼓勵(lì)和促進(jìn)企業(yè)及高校的專(zhuān)利進(jìn)行成果轉(zhuǎn)化。

5結(jié)語(yǔ)

本文從神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的三個(gè)網(wǎng)絡(luò)模型入手，進(jìn)行了專(zhuān)利檢索和分析，通過(guò)分析可知，全球都致力于神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的研究中，中國(guó)的對(duì)于神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的申請(qǐng)量是很大的。但是成果轉(zhuǎn)化率卻很低，希望中國(guó)的高校和企業(yè)重視專(zhuān)利成果的轉(zhuǎn)化。

參考文獻(xiàn)

[1]余凱，賈磊，陳雨強(qiáng)，等. 深度學(xué)習(xí)的昨天，今天和明天[J].計(jì)算機(jī)研究與發(fā)展，2013，50（ 9） ： 1799 - 1804.

[2]Goodfellow I，Bengio Y，Courville A. Deep learning[M].Cambridge，USA： MIT Press，2016.

[3] 周飛燕，金林鵬，董軍.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計(jì)算機(jī)學(xué)報(bào)，2017，40（ 6） ： 1229-1251.Zhou F Y，Jin L P，Dong J.Review of convolutional neural network[J].Chinese Journal of Computers，2017，40（ 6） ： 1229-1251.

[4]劉禮文;俞弦;循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）及應(yīng)用研究[J];、科技世界;2019年第32期.

[5]FashionGAN： Display your fashion design using Conditional Generative Adversarial Nets[J] . Y. R. Cui，Q. Liu，C. Y. Gao，Z. Su. ?Computer Graphics Forum . 2018 （7）.

姓名：趙翠翠，工作單位：國(guó)家知識(shí)產(chǎn)權(quán)局專(zhuān)利局專(zhuān)利審查協(xié)作天津中心，天津 300304，出生年月：1988年3月14日，學(xué)歷：碩士研究生，職稱(chēng)：中級(jí)職稱(chēng)，研究方向：模式識(shí)別。