融合認知計算的方法與原理

摘 要：在數據智能技術產業化的過程中，一個重要的發展趨勢是由計算智能、感知智能向認知智能技術升級。作為這一趨勢在日常生活工作場景中的實際呈現，由美國人工智能研究公司OpenAI推出的產品ChatGPT在近日廣受追捧。這項技術的本質是將海量數據與表達能力極強的Transformer模型結合，從而對自然語言進行深度建模，最終呈現為ChatGPT在上述模型參數的作用下對輸入指令生成回復。然而，理想的認知智能技術遠比現有的ChatGPT更加強大，該技術需要對信息化社會中由互聯網、移動互聯網和移動智能設備所產生的數據進行解讀，這些數據包含語音、圖像、視頻、文本以及情緒等各類紛繁復雜的內容。本文所介紹的多源多模態融合認知計算（以下簡稱融合認知計算），就是我國自主研發的已場景化應用的認知智能技術，該技術以分詞矩陣構建中文語義的技術核心，探索像人腦一樣分析“機器大腦”無法理解的數據。本文將詳細介紹融合認知計算的技術和特征，揭示其技術本質和核心邏輯，對促進認知智能技術進步，完成人工智能從“量變”到“智變”的跨越具有深刻意義。

關鍵詞：融合認知計算；認知智能；人工智能

一、融合認知計算的技術內涵

（一）融合認知計算的背景

人工智能發展之初，得益于大數據的紅利。大數據的海量標注樣本以及超強計算能力為人工智能的發展提供了強大支撐，從而出現了人工智能的熱潮。人工智能的進化依賴于大量數據“喂養”，因而，首先需要大數據爆發性的增長，人工智能才能夠實現真正的突破，人工智能在得到大量且廣泛應用的同時，能夠反哺大數據平臺，使其獲得更多“新鮮”數據，人工智能再通過對這些“新鮮”數據進行深度學習和反復訓練，就可以實現其智慧程度持續提高及應用賦能發展。

然而，以深度學習為代表的人工智能由于嚴重依賴大數據大樣本，導致其盡管從表面效果看已具備極高智能，但于內在邏輯而言，這種所謂的智能仍然只是單一場景內數據量堆砌的最優算法。以深度學習算法為例，其基本思想是分層模式識別，如若改變其擅長領域內的任何一個因子，就會導致整個系統發生崩潰。憑借感知智能，機器只能具備感知世界和簡單的預設邏輯交互能力，而不能像人腦一樣理解、推理和決策，且無法幫助或替代人處理較為復雜的工作。因此，人工智能的發展仍需尋求新的思路和方向進行突破。

探索一種新的技術范式，將精力投入具有真正智能的AI設計，同時引入知識特別是符號化知識，是人工智能發展的必要條件。實現AI推理及其背后的識別邏輯，必須是在大數據的基礎上，開展全新的數據、知識與語義的構建，也就是將感知智能與認知智能打通，完成大數據與認知計算的融合，形成真正的認知智能生產力和服務力。融合認知計算，就是在大數據紅利消失殆盡和以深度學習為代表的感知智能水平日益接近其“天花板”的大背景下形成的。

（二）融合認知計算的本質

由于互聯網、移動互聯網、移動智能設備的不斷繁榮，數據的爆發已勢不可擋。數據的類型也發生了巨大變化，原來機器可以理解的數據，變成了包含語音、圖像、視頻以及其他各類紛繁復雜的內容，甚至包括情緒和體征等計算技術無法解讀的數據，并且這部分數據占據了80%的份額。機器需要像人的大腦一樣來分析這些全新的數字技術，從而實現對這些數據的解讀，由此產生的計算技術就是認知計算。認知計算采用與人類相同的方式處理自然語言和非結構化數據，并從經驗中進行學習，根據最佳的可用數據，幫助人類做出更有效的決策。

人類的思維過程，可以被理解為符號處理的計算過程；人類的語言理解過程，可以被理解為一種在知識表示上的計算過程。讓計算機理解自然語言，在技術理論層面是可能且可行的。在大數據時代，由于數據來自不同的源頭、不同的領域，因此數據呈現出不同的模態。把這些數據背后隱藏的知識挖掘出來，實現數據智能被認知，從而賦能業務，實現智能化生活服務，這種將多源多模態數據進行融合，并通過認知計算技術實現的類腦智能，就是融合認知計算，其本質既是一種技術也是一種方法。

（三）融合認知計算的基本技術特征

語言信息處理已經成為信息科學技術長期發展的新戰略制高點， 語言是信息最重要的載體，計算機只有具備處理自然語言的能力，才可能產生認知，實現人工智能。自然語言處理技術和知識符號化表示，才是認知計算技術的真正基石。例如，語音識別與語義分析在人工智能技術層次上是不同的，語義分析在智商上比語音識別高出若干層次，領先一大步。此外，以人體器官為例，可以更直觀地感受語義識別和語音識別的區別：語音技術相當于人的嘴巴和耳朵，負責表達和獲取，而語義技術相當于人的大腦，負責思考和信息處理。通過對語義識別和語音識別的差異探究，可以更加清晰地反映出融合認知計算的技術特征，即人工知識點編輯+分詞+關鍵詞匹配。其中，分詞是實現大數據信息挖掘認知計算的另一個關鍵技術。因為，語言（特別是漢語）一般是以字為基本書寫單位，詞語之間沒有明顯的區分標記。自然語言處理通常是先將文本中的字符串切分成合理的詞語序列，然后進行歸一化和標準化處理，繼而轉化成一種空間向量或者符號，并進行計算。因此，把語言特別是漢語語言作為一種符號，把多源多模態數據轉化成一種計算機能夠理解和轉換的文本知識（分詞）矩陣（就像人留下記憶痕跡一樣），再通過研制表示漢語能力和應用的模型，建立語言分詞（語義）計算框架，才是實現大數據（多源多模態）新的認知和洞察的最佳途徑之一，并能更好地賦能大數據應用。北京中潤普達和武漢東湖大數據研究團隊獨創并發布了中文分詞矩陣式認知計算技術，其研發具體步驟包括：第一，將不同行業、不同領域且清洗干凈的高質量數據連接起來，線上線下數據打通，不斷完善數據維度；第二，利用知識與語言計算技術，把數據連接到一起，包括語音、圖像、文本、結構化數據等多源異構數據融合，并對這些數據進行分析、挖掘、研判，完成邏輯推理及復雜運算；第三，把人類大腦里的核心知識、算法部署到計算引擎里去，并讓計算機自動做決策，完成向行業大腦的認知智能輸出，從而形成閉環，實現人工智能。綜上所述，融合認知和分詞技術是融合認知計算的基本技術特征。

二、融合認知計算的核心邏輯

（一）融合認知計算的技術原理和實現方法

1.分詞矩陣模型

從語言（漢語、短句）語義入手，通過融合通用本體分詞（意群、短句）矩陣、行業本體分詞（意群、短句）矩陣和領域知識文本分詞（意群、短句）矩陣，加上具體業務（場景）分詞（意群、短句）矩陣，構建一個支持分詞矩陣技術的知識發現、理解、交互、搜索智能類腦系統。該模型能夠為各機器、設備、終端裝上一個在專屬場景中進行語言交流、溝通的大腦系統。

2.多模態話語識別技術

通過自主研發的多模態話語識別模型和技術， 可以發現不同模態的話語之間相互關聯的方式，共同實現講話者要表達的意義。因為一種模態不足以表達清楚交際者的意義，從而利用另一者來進行強化、補充、調節、協同，實現盡可能充分地表達意義，讓聽眾理解話語的目的。基于此項技術，用戶可以制定擬人化的話語交互模型和對話策略。

3.機器學習融合人類知識

可通過機器類腦系統，自主學習用戶喜好和習慣，為人類提供行程規劃、酒店預定等在內的 30多項功能與服務，打造一個能讀懂、看懂、聽懂、有記憶、自學習、真正懂人類需求的人工智能伴侶。同時，支持快速接入手機、App、網站、IoT、智能設備等終端，從而將人類與全世界緊密相連。

4.擴展場景小知識，獲得行業大知識

基于分詞矩陣相乘技術，類似于語義的量子糾纏，可以生成新的句子和知識，由此來擴展場景小知識，從而得到行業大知識，乃至未知新知識。同時，通過大知識語音交互引擎，可以彌補和擴展人工智能的不足，使類腦智能成為一種可解釋的人工智能（如圖1所示）。

5.語義類腦計算方法

知識表示。將業務場景中積累的人類知識和經驗，以可梳理可計算的形式化方式進行描述、表示和存儲，用語義本體作為基本單元來進行知識計算。

知識獲取。從業務場景中海量的非結構化文本中抽取成千上萬的知識點，形成分詞（意群）矩陣，開展深度語義理解，結合深度學習來獲得高效率、高精度的知識庫，以此作為機器智能交流和溝通的語言基礎（如圖2所示）。

知識推理。基于不同場景的知識關聯、業務關聯、邏輯關聯等，形成事實要素和結果要素間的邏輯推理，打造高級人工智能伴侶。

在上述技術實現方法中，分詞矩陣認知計算是融合認知計算的核心。分詞矩陣的核心思想是將漢語NLP處理的基本單元“分詞”（意群或叫短文本）看作實體，并將一組相互關聯的分詞（意群）組織為矩陣形式，形成分詞矩陣，分詞矩陣之間又可以用關系矩陣建立連接，從而組成更大的矩陣。這樣從分詞到分詞矩陣，再到更大規模的分詞矩陣，逐漸包羅萬象，并在整體上表現為智能特征，就構成了基于分詞計算技術的類腦認知計算系統的核心。

（二）融合認知計算的步驟

融合認知計算的一般步驟為：加載多源數據集>把數據轉換成文本集>分詞與去停詞>生成詞匯表>生成word_index>加載預訓練詞向量模型>生成詞向量矩陣>矩陣分解>分詞矩陣式計算>深度學習+自學習模型。

具體實現方法包括以下步驟：一是把多源多模態數據轉化成一種計算機能夠理解和轉換的知識（認知）矩陣（就像人留下記憶痕跡一樣）；二是通過知識（認知）矩陣找出場景的基本規律，構建出一套適合本場景的語義計算模型，再通過強化訓練，讓其成為長期記憶的過程，從而形成一個有用的“知識大腦”（就像人記憶痕跡強化過程一樣）；三是通過自我檢測，不斷“倒逼”機器把矩陣知識聯系形成一個“檢索鏈”（標記記憶痕跡）；四是使用深度學習技術，把數據背后的知識挖掘出來，從而賦能業務，實現智能化的生活服務（如圖3和圖4所示）。

（三）多源多模態數據融合認知計算的技術突破

多源多模態數據融合認知計算技術可為各類場景業務賦能，在實際應用中，至少實現了以下六個方面的突破：

1.突破知識圖譜的局限性

知識圖譜是有局限性的，而分詞矩陣是無限的。以金融知識圖譜為例，一般常識中，銀行、股票、期貨、黃金、白銀、上市公司等與金融均有密切的關系，但是，這并不代表其他因素——比如自然災害或者人類的某些活動，與金融就沒有密切關系。在實際生活和生產應用中，幾乎萬事萬物在某種意義下都與金融知識和金融業務有關系。比如某地發生了一起龍卷風事件，它不僅會影響到農作物產量，且會影響農業機械銷售量和農機發動機產量，甚至會影響到發動機上市公司的股價。知識是普遍關聯的，按照傳統的金融知識圖譜無法解決類似龍卷風事件的問題，因為它已經超出了任何專家系統預先設定的知識圖譜邊界。

2.實現數據智能可解釋性

即使是最先進的人工智能系統，仍然難以掌握常識。現有的機器學習和機器判別方法常常只給出預測和判別結果，而不提供解釋與判別依據，因而人們往往對機器的判決無法完全信服。如果將知識驅動和數據驅動結合起來，通過分詞矩陣這個橋梁，建立語義的向量空間，把符號變成向量，把特征變成分詞或者語義，那么通過認知計算，完全可以解決這個問題。而且這一范式可以使用所有數學工具，例如回答“劉翔為什么那么牛？”這一問題，可以通過知識庫中的“劉翔是中國體育田徑史上也是亞洲田徑史上第一個集奧運會冠軍、室內室外世錦賽冠軍、國際田聯大獎賽總決賽冠軍、世界紀錄保持者多項榮譽于一身的運動員”這幾條關系來解釋這一問題，這一過程的本質就是將知識庫中的知識或者數據加以關聯。顯而易見，機器完全可以通過分詞矩陣重現我們的這種理解與解釋的過程。

3.與人工智能深度學習方法不排斥

機器學習、深度學習能夠讓感知智能不斷突破，但卻不擅長使用邏輯。因為深度學習是基于數學與數據的方法，屬于歸納的范疇，并不具有認知推理和可解釋性，特別是在發展到一定階段后具有明顯的瓶頸所以，從感知智能走向認知智能，僅僅依靠深度學習是遠遠不夠的，還需要有更多突破，而中文分詞矩陣式認知計算技術，就是一種典型的突破性技術。在處理如何基于病因認知模型來解決頸椎病中醫辨證論治的問題時，中文分詞矩陣式認知計算技術按如下步驟進行：首先，獲取多個頸椎病患者中醫癥狀進行預處理，并提取頸椎病患者樣本癥狀的特征信息以及辨證施治的中藥配方和方劑；其次，對上述患者樣本癥狀的特征信息進行篩選和病因（病機）分類，構建頸椎病病因樣本特征信息分類以及辨證施治的中藥配方和方劑數據集；然后，利用AdaBoost算法分別對上述樣本數據集進行訓練，組建基于病因的頸椎病辨證論治認知系統模型；最后，通過頸椎病認知系統模型，對待識別的頸椎病患者癥狀進行病因和病機分析，提供辨證施治的中藥配方和方劑。這類實踐，不僅運用了分詞矩陣及語義計算技術，同時還應用了深度學習的算法——AdaBoost算法（如圖5所示）。

4.實現數據認知推理

倘若采用傳統方法或深度學習如BIDAF、BERT、XLNet等算法，則需要構建一個冗長的預訓練上下文，然后進行推理匹配。這樣做具有很多弊端：一方面，它是一個黑盒子，缺乏可解釋性；另一方面，缺乏在知識層面的推理能力，所以未必會得出最終結果。多源多模態融合認知計算，致力通過知識表示、推理和決策，包括人的認知來解決上述問題。可以使用具體場景多源數據為原始數據，通過從中提取具體場景業務特征和知識特征作為構建具體場景知識和業務庫的基礎數據，隨后進行特征與知識的融合，使人們能夠更好地從海量、復雜的多源數據中獲得更多洞察，從而實現在具體場景下多源數據的智能認知和自動分析，并且為各類場景業務賦能。

5.解決多源多模態數據融合的盲目性

認知是與需求和條件相關聯的，而不是漫無目的胡亂聯想。多源多模態數據融合認知計算，是以具體場景下多源多模態數據為原始數據，通過集成不同類型數據的語義特征（包括知識和規則），并把它們投影到一個共享的語義子空間中，建立起目標任務認知語義網絡模型，再進行有條件的認知計算。

6.實現小算力計算

分詞矩陣式認知計算是一種交叉科學，類似于量子認知計算。通過對認知科學中的現象進行建模，并應用語言計算理論的計算方法來研究和描述人的認知及其決策。在傳統的常規認知計算中，信息的存儲和計算基于傳統電腦的比特單位1和0，而分詞矩陣式認知計算不使用這種邏輯，它使用的是被稱為分詞比特的東西來存儲和計算信息，每個分詞比特可以被設置為1或0。無論在日常生活里，還是在政治、經濟、軍事等活動中，總要面對各種認知與抉擇，而在決策的背后，往往又存在著眾多需要考量的因素。而利用分詞矩陣式認知計算來解決問題，分詞比特的設置類似于創建了多個并行世界，其中每個分詞比特代表著不同的值，每個并行世界則代表著一個潛在的解決方案。由此，在應用過程中，分詞矩陣式認知計算是同時在所有并行世界中進行計算，而不是按順序遍歷每一種可能的解決方案。通過這種方法，分詞矩陣式認知計算可以在幾毫秒內找到許多復雜計算的最佳解決方案，從而實現小算力計算。

三、融合認知計算發展的意義

（一）融合認知計算對下一代人工智能研究方法提出了新的探索，是一種方法論創新。該方法以人類認知過程為基礎，利用多模態數據進行語義理解和推理，將語言、視覺、聽覺等多個感知通道進行融合，從而實現智能化的人機交互，為人工智能的進一步深入研究提供了新的路徑。

（二）融合認知計算從語言語義入手，通過融合通用本體分詞矩陣、行業本體分詞矩陣和領域知識文本分詞矩陣，再加上具體業務場景的分詞矩陣，構建出一個支持分詞矩陣技術的知識發現、理解、交互、搜索智能類腦系統。這一技術的突破，大大促進了認知智能技術的進步，對完成人工智能從“量變”到“智變”的技術性跨越具有深刻的意義。

（三）融合認知計算已經在智能駕駛、智能診療、健康管理、產業鏈招商等多個場景中得到驗證和應用。展望未來，融合認知計算將對新型產業的智能化發展、傳統產業的數字化轉型、跨界融合、國際競爭甚至人類社會轉型發展，均有重大意義。

參考文獻

[1]劉奕群，王小川，張敏，陳煒鵬，馬少平，許靜芳，毛佳昕，王蟒，馬為.中國中文信息學會2020年“錢偉長中文信息處理科學技術獎”之——認知計算模型驅動的互聯網搜索技術及其應用[J].中文信息學報，2021，35（06）：141.

[2]吳麗華，龍海俠，馮建平.智能機器的認知學習機理及計算模型研究[J].電子技術與軟件工程，2021（21）：106-109.

[3]劉爰媛，郭順利，房旭輝.國內外認知計算研究現狀及其在圖情領域應用研究[J].情報科學，2022，40（09）：137-146.DOI：10.13833/ j.issn.1007-7634.2022.09.019.

[4]陳浩，李嘉祥，黃健，王菖，劉權，張中杰.融合認知行為模型的深度強化學習框架及算法[J/OL].控制與決策：1-9[2022-11-17]. DOI：10.13195/j.kzyjc.2022.0281.

[5]徐翔宇.基于空間表示學習的多源數據分類算法研究[D].南京航空航天大學，2021. DOI：10.27239/d.cnki.gnhhu.2021.001754.

[6]王國胤，于洪.多粒度認知計算——一種大數據智能計算的新模型[J].數據與計算發展前沿，2019，1（06）：75-85.

[7]魏秀卓，趙慧南.基于Mapreduce的多源多模態大數據檢索方法研究[J].計算機仿真，2021，38（04）：422-426.

[8]梁如娥.認知語言學發展的交叉與融合——《勞特里奇認知語言學手冊》述評[J].語言、翻譯與認知，2021（02）：124-134+138.

（作者單位：全國科技振興城市經濟研究會，北京師范大學-香港浸會大學聯合國際學院，亞馬遜公司）