從IB方法的角度試談機器學習與人類學習之關聯

婁錚錚 張朝陽

信息是海量的，信息的載體是數據。當我們首次面臨海量的信息數據時，在無任何先驗知識的情況下，是無法駕馭這些信息的。此時，海量的信息對于我們來說是無形的、不可控的。人們期望將這些無形的信息變成有形，不可控的信息變成可駕馭的，以便更好地理解、認知數據。IB的英文全稱是Information Bottleneck，中文直譯則是“信息瓶頸”。瓶頸一般是指在整體中的關鍵限制因素。因此，在我們首次看到“信息瓶頸”一詞時，大多數人可能認為該詞是貶義的，有信息不對稱之嫌。實則不然，IB方法的初衷是將一些無形的信息通過一個“瓶頸”使其變成有形的，從而使我們更好地駕馭這些信息、更好地理解數據。因此，IB方法中的“瓶頸”是褒義的。

一、IB方法的壓縮認知與人類認知之關聯

IB方法通過將數據對象壓縮到一個“瓶頸”變量中來學習數據中所蘊含的內在模式，其學習模型如圖所示。在圖中，變量X代表載有海量信息的大數據，Y是描述數據對象的特征變量，而T則是壓縮的“瓶頸”變量。變量X中載有海量的信息，在無任何先驗知識的情況下，這些信息對人類來說是不可駕馭的。然而，“瓶頸”變量T的規模遠小于X的規模，相對容易被掌控。變量X到T的壓縮過程中所產生壓縮編碼P（t|x）則為IB方法所發現的壓縮模式，若一些數據對象被壓縮到了同一個t中，這些數據對象則被劃分到同一個類中。為使IB方法所得的壓縮編碼P（t|x）可放映數據中所蘊含的真實類別，IB方法在對大數據進行壓縮的同時，還要求“瓶頸”變量T盡可能的最大化保存特征變量Y中所載有的信息量。在對數據進行壓縮時，我們不可能平白無故地對數據進行分類，需要依據數據對象自身的特征來對數據進行劃分，只有將具有相似特征的數據壓縮到同一個類中，所得的壓縮模式才具有意義。特征變量Y客觀地描述了數據對象，因此IB方法將特征變量Y作為數據壓縮的依據。

中國古圣先賢老子曾說過：“無名，天地之始。有名，萬物之母。”IB方法在將數據對象壓縮到“瓶頸”變量的過程有為萬物命名之意。當人類還沒有給這個世界的事物命名之時，在人類的認知中這個世界里的一切事物本身與自然是渾然一體的，處在一種人類認知意義上的混沌狀態中。但一旦我們對事物進行確切的命名之后，即使它們并沒有完全與自然脫離其成為整體的狀態，但在人類的視角里已有了獨立認知的意義，即石頭、山、水、河流、花鳥蟲魚、太陽、月亮……人們可以將某一事物從他原來的混沌狀態中抽離出來，在人類的世界里建構對它的獨特認知。這時候原來的混沌狀態似乎就一下子瓦解了，整個世界由無數獨立存在的事物井然有序地構成一個統一的整體。由于海量的信息數據對我們來說在一定意義上也是混沌的，因此IB方法的思想與上述思想如出一轍。IB方法從混沌的海量信息中壓縮得到的每一個類是對數據的一個總結，是數據中的一些共性特征，是對數據化繁為簡的結果，是無形信息的有形化結果。IB方法的壓縮分類就如同對萬物的命名，人類對萬物的命名過程也是一個壓縮認知的過程。

二、順序IB算法學習過程與人類學習過程之共性

IB方法通過壓縮來認知數據，屬于機器學習領域中的一個無監督學習方法。機器學習是研究計算機怎樣模擬或實現人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構使之不斷改善自身的性能。不少機器學習領域專家給出了機器學習的定義。蘭利（P. Langley）認為：“機器學習是一門人工智能的科學，該領域的主要研究對象是人工智能，特別是如何在經驗學習中改善具體算法的性能。”米切爾（T. M. Mitchell）在其著作《機器學習》中談到“機器學習”關注的問題是“計算機程序如何隨著經驗積累自動提高自身的性能”，也就是主要指的歸納學習。機器學習的功能是知識發現，知識發現是通過學習算法實現的。下面結合一個典型的順序IB算法，來闡述IB方法的壓縮認知過程與人類的學習過程之間的關聯性。

對于計算機來說，信息就是數據，因此IB算法以數據對象作為輸入，從中學習有價值的模式。順序IB算法的主要學習過程為：在某一隨機劃分的基礎上，計算機依次讀取每一個數據對象，在IB方法目標函數的指導下將其指派到一個與該數據對象擬合度最強的一個劃分中，重復迭代該步驟，直到劃分指派不再有新的變換為止。

根據米切爾對機器學習的定義，順序IB算法中的經驗便是我們能觀測到的數據集。在順序IB算法的主循環中，依次考慮每一個數據對象的迭代過程便是從經驗中不斷修復當前所得壓縮模式的過程，從而提高自身識別數據的性能，最終達到“物以類聚，人以群分”的目的。試想一下，當我們人類面臨著海量的數據時，也需要通過讀取每一條數據對象，得到數據中的一些大概劃分模式，然后再綜合考慮每一個數據對象與當前劃分模式之間的匹配程度，對所得的劃分模式進行修復。因此順序IB算法的學習過程也可認為是一個循序漸進、歸納總結、溫故而知新的過程。這和人類的學習過程有著異曲同工之處。

另外，在順序IB算法中第一步要求對數據做一個隨機初始劃分，在此基礎上， IB算法再循序漸進地從數據中學習數據對象間所蘊含的內在模式。初始化是一個隨機的過程，一個好的初始劃分往往會得到一個好的壓縮結果。順序IB算法中的隨機初始劃分就如同人的出身，出身在一定程度上決定人的命運。一個人若出身在一個經濟基礎、周邊環境及家風較好的家庭中，這個人成才的概率往往就會比較高。當然境遇不好，但經過自身努力拼搏最終成才的人也大有人在。順序IB算法的知識發現過程是一個隨機性與確定性的辯證統一。

三、機器學習與人類學習之不同

雖然順序IB算法的學習過程與人類的學習過程有著異曲同工之處，但機器的學習能力是無法完全模擬人類的學習能力的，其最根本的原因是計算機無法像人類那樣既具有意向性又具有主觀性。塞爾認為：“計算機程序永遠不可能代替人心，其理由很簡單：計算機程序只是語法的，而心不僅僅是語法的。心是語義的，就是說，人心不僅僅是一個形式結構，它是有內容的。”計算機程序只是以一種形式化、語法化的特征，這種形式化的符號是不具有任何語義的。

“枯藤老樹昏鴉，小橋流水人家，古道西風瘦馬，夕陽西下，斷腸人在天涯。”這是元朝馬致遠的經典小令《天凈沙·秋思》，對于中國稍通文墨的人來說都能夠背誦。整個散曲描寫的是一個秋天的下午，一個遠離家鄉的孤獨的旅人，懷念故鄉和親人的那種淡淡的惆悵的情感。這首曲里所點出的一切意象全部都是自然的存在，但這些自然的存在在人類的世界具備豐富的情感意義，并且這些物象的類別即與某一類別的人類情感有效地銜接，當這些物象在詩人的筆下娓娓地敘出時，讀到這類物象的人們就自然生發出與此相應的內在情感，從而與詩人、詩中的旅人的內在情感強烈地一致！

然而，當計算機程序在讀《天凈沙·秋思》時，所獲取的知識只是枯藤、老樹、昏鴉這類客觀存在的自然界物體，卻無法像人類那樣理解其中的情感。盡管一些人工智能研究者也力圖將某些語義信息融入到機器的學習中，然而人對語義的解讀遠遠勝于任何帶有智能的機器。

雖然機器的學習能力不能完全模擬人類的學習能力，但計算機的特點決定了機器學習也有其自身的特點。例如，計算機的記憶力（存儲能力）勝于人腦，計算機在特定領域的計算能力勝于人腦。這些特點可以使機器學習方法作為一個輔助的手段來幫助人類學習認知世界。例如，海量數據的模式分析對于人類來說往往是一件枯燥無味、費時費力的事情，并且在無任何先驗知識、無任何工具的幫助下，對海量數據模式的提取并不是輕而易舉的事。此時，可以借助機器學習方法，如IB方法，來從數據中提取數據的模式特征。正是得力于計算機的出色存儲能力、出色計算能力，機器學習算法可以在較短的時間內為人類提供一個對數據的初步認知模式。另外，得益于計算機無情感的特點，計算機在做這些事時才不會像人類那樣感覺枯燥無味。由于機器學習的特點與人類學習的特點不同，機器學習方法或許還會為人類帶來一些意想不到的學習結果，從而幫助人類提高對世界的認知程度。

此時，想起蘇軾的詩：“不識廬山真面目，只緣身在此山中。”當數據是海量，我們無從下手的時候，或許機器學習方法，如IB方法，可以引領我們從廬山中走出去。

四、人類學習的研究對機器學習研究的指導意義

人類在做事情的時候，自身往往都具備一些先驗知識，并且我們人類還可將自身已有的知識應用到對新事物的學習中。我們用一個典故來闡述人類學習能力的一個特點。

乾隆曾問紀曉嵐，傳說關羽忠義，朕且問你，他老婆是何等樣人？這是存心刁難，史書上根本沒有關夫人的詳細記載，讓人如何回答？可紀曉嵐立刻答道，生何年，歿何月，皆無從考；夫盡忠，子盡孝，豈不謂賢？乾隆大笑，說愛卿真有你的！

在無任何有關關夫人的先驗知識下，紀曉嵐的回答則是將有關關羽的認知遷移到對關夫人的評價上。

在現有圖靈機的模式下，計算機對數據的語義理解能力遠遠不如人類，因此，計算機所學習到的模式劃分往往會與我們人類的認知有偏差。此時，我們期望將人類的學習模式平移到機器學習中，來提高機器的學習能力。機器學習中的一些熱門研究領域，如監督學習、深度學習、遷移學習、多視角學習、終身學習等，都有與人類學習的基本思想一致之處。

人類的學習思想可以指導機器的學習過程，然而在實施中還需從具體的領域問題中來抽象具體的領域知識，對這些知識進行建模，將人的學習思想融入到模型中，并設計具體的實施算法在計算機上運行。

（作者婁錚錚的單位為鄭州大學信息工程學院，張朝陽的單位為鄭州大學軟件與應用科技學院）