脈沖神經網絡專利技術分析

國家知識產權局專利局專利審查協(xié)作天津中心 李紳龍 陳 辰

脈沖神經網絡是人工智能領域的關鍵技術之一。本文站位專利視角，基于脈沖神經網絡技術全球申請狀況，針對該技術全球專利申請趨勢、區(qū)域分布、主要申請人、主要發(fā)明人、各技術分支核心專利等進行分析，通過分析發(fā)現(xiàn)美國在該領域一直處于技術領先地位，且核心技術掌握在產品轉化能力強的大型科技公司，中國近年來雖然不斷發(fā)展和追趕，但發(fā)展速度以及核心專利數(shù)量仍有很大差距，需要加快追趕步伐及時補足短板。

神經網絡在當今人工智能領域的地位毋庸置疑，其技術發(fā)展經歷了第一階段的感知機以及第二階段的多層人工神經網絡（ANN），隨著研究工作的不斷深入已經取得了很大進展，其在模式識別、自動控制、預測估計、智能機器人、生物、醫(yī)學等領域有著廣泛的應用。近年來，由于ANN缺少神經內部動力學機制而不能準確的模仿生物大腦神經元的運作機制，而使得起源于腦科學的脈沖神經網絡（SNN-Spiking Neuron Networks）發(fā)展迅猛。SNN與ANN最大的差別就是，對于人工神經網絡每一個神經元接收與發(fā)送的是同一時刻到達/發(fā)送的一批數(shù)據(jù)，而對于脈沖神經網絡接收的是脈沖信號，信號改變電位后再根據(jù)自身電位同樣發(fā)出脈沖信號。由于SNN更接近實際地模擬神經元并把時間信息的影響考慮在內的特性，而被譽為第三代人工神經網絡。與ANN領域的繁榮發(fā)展相比，SNN領域的研究仍然處于快速發(fā)展階段，其當前的研究主要圍繞神經元模型、訓練算法、編程框架、數(shù)據(jù)集、硬件芯片加速等幾個重要技術方向。

1 脈沖神經網絡技術專利分析

本文選取Incopat專利分析軟件進行檢索，檢索范圍為2020年11月之前公開的全球專利文獻。下面針對脈沖神經網絡技術領域全球專利申請情況進行分析。

1.1 全球專利申請分析

SNN技術全球專利申請趨勢如圖1所示，圖1同時一并描述出了SNN技術各重點研究方向的全球專利申請趨勢。2010年之前各技術分支申請量均比較少，申請最多的年份也不足20件，而2010年申請量開始逐年增加，申請量主要集中在神經元模型、訓練算法、編程框架這幾個方向。神經元模型和訓練算法的改進一直是近幾年的研究熱門，其主要關注于網絡規(guī)模和學習性能的提升。而編程框架的申請量一直處于領先地位，且近幾年有進一步增長趨勢，表明了在SNN相關技術逐步發(fā)展的同時對編程工具的模擬效率及友好性不斷提出更高的創(chuàng)新需求。而對于數(shù)據(jù)集和硬件芯片加速方面的申請一直較少，主要是由于當前已有的如MNIST、CIFAR-10等各類規(guī)模的數(shù)據(jù)集已經發(fā)展比較成熟，現(xiàn)有數(shù)據(jù)集已經能夠適應當前應用需求，缺乏創(chuàng)新動力；而硬件芯片加速方面，由于早期開展SNN相關研究的IBM、英特爾、清華大學等研究團隊已經開發(fā)出較為成熟的低能耗、高運速TrueNorth、Loihi、Tianjic等芯片，后續(xù)的SNN技術研發(fā)多為基于已有芯片進行。

圖1 SNN技術全球專利申請趨勢

1.2 全球專利申請區(qū)域分布

圖2 SNN技術全球專利申請區(qū)域分布

圖3 SNN技術全球主要申請人

全球專利申請區(qū)域分布情況如圖2所示。美國全球專利申請量在各個技術分支均位居首位，在全球申請總量中占比53%，占據(jù)了全球SNN技術申請量的半壁江山；中國近年來SNN技術方面發(fā)展迅速，目前全球申請量已居第二位，與美國的技術差距在逐步縮小。提交PCT的申請量占比12%，表明SNN技術保護價值高，申請人在本國申請保護的同時也很重視在其它目標國家的專利保護布局。而對于歐、日、韓、印、英、俄等國家申請量很小，其在該領域的技術實力也比較薄弱。

1.3 全球主要申請人分析

SNN技術全球主要申請人如圖3所示。全球專利申請量排名前十位的申請人中包括五家美國企業(yè)、一家韓國企業(yè)，而另外四家均來自中國的大學或研究所。可見美國企業(yè)在SNN技術方面的研究處于世界前列，并且專利申請主要集中在世界知名的大型科技公司，這些公司科研經費充足且技術轉化力強，創(chuàng)新動力十分強勁。中國的電子科技大學、清華大學、天津大學及中科院自動化研究所雖然有一定數(shù)量的申請，但其申請量僅為排名前三位美國公司一半。目前中國缺少行業(yè)龍頭企業(yè)，且由于高校專利技術的產品轉化能力較弱，雖然近幾年一直在逐步追趕，但與美國公司的差距仍然很大。

1.4 SNN技術全球主要發(fā)明人

SNN技術全球主要發(fā)明人如圖4所示。在全球專利申請排名前十位的發(fā)明人中，來自英特爾的發(fā)明人數(shù)量最多，包括narayan在內共有4人，并且有兩人排名在前三位，IBM雖然前十位發(fā)明人僅占兩位，但第一位的dharmendra申請量45件，遠遠領先第二、三名的15件，英特爾和IBM兩家公司各有優(yōu)勢，強大的研發(fā)隊伍和資金實力是二者在行業(yè)內占據(jù)領先地位的堅實保障。其它主要國外發(fā)明人還包括高通的jason。而我國的主要發(fā)明人為清華大學的施路平、裴京以及電子科技大學的屈鴻。中國的SNN技術領軍人物有一定的技術實力，但是還需要進一步加強優(yōu)勢和政策激勵，加快追趕世界領先企業(yè)。

圖4 SNN技術全球主要發(fā)明人

1.5 SNN技術各技術分支核心專利

SNN技術各技術分支核心專利如圖5所示。圖中按時間段查找SNN技術各技術分支中占據(jù)核心地位的專利申請，各技術分支在2010年前技術發(fā)展比較緩慢，核心專利較少，而2010至2015年間是技術增長的主要階段，核心專利申請較多，近幾年由于技術發(fā)展已經相對成熟，多數(shù)專利申請是圍繞核心技術性能或轉化應用等方面的改進，核心專利申請量較少。各個分支的核心專利申請主要掌握在國外申請人手中，少量核心專利集中在國內的重點申請人/發(fā)明人手中。我國在SNN技術方面處于專利申請總量以及核心專利擁有量的雙重弱勢之下，需要加快追趕步伐，及時補足短板。

圖5 SNN技術各技術分支核心專利

2 總結

近年來，對于仿生學的逐漸重視使得SNN技術得以迅速發(fā)展，其對大腦神經元更好的模仿機制，使得未來必然成為人工智能領域的研究重點。通過針對全球SNN技術的專利申請現(xiàn)狀進行分析，發(fā)現(xiàn)美國一直處于領先優(yōu)勢，且美國發(fā)明人占有重要地位，而我國在SNN技術方面要實現(xiàn)趕超不僅需要研發(fā)上的大力投入，還需要產品轉化及創(chuàng)新驅動強的科技公司參與進來，并且在政策上給予一定的扶持，以帶動行業(yè)更快更好的發(fā)展。