基于信息融合的閱讀過程識別

劉英梅

〔摘 要〕本文在分析閱讀過程與信息融合的基礎上，提出了基于信息融合的讀者閱讀過程識別的新思路。重點構建了閱讀過程信息融合功能模型，介紹了融合算法、閱讀過程融合分類、閱讀信息獲取的一些方法。

〔關鍵詞〕信息融合；閱讀過程；識別

ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１００８－０８２１．２０１２．０１．０１２

〔中圖分類號〕Ｇ２０３ 〔文獻標識碼〕Ａ 〔文章編號〕１００８－０８２１（２０１２）０１－００５２－０４

Reading Process Recognition Based on Information FusionLiu Yingmei

（Library，Zhaoqing University，Zhaoqing 526061，China）

〔Ａｂｓｔｒａｃｔ〕On the basis of analyzing reading process and informantion fusion,the new viewpoint of reading process recognition based on informantion fusion was proposed in the paper.Reading process information fusion function model was constructed,and some methods of fusion algorithm,reading process fusion and classification,reading information acquisition were introduced.

〔Ｋｅｙ ｗｏｒｄｓ〕informantion fusion;reading process;recognition

信息融合一詞首先來源于美國，它的研究起源于軍事系統(tǒng)建設的需求。20世紀90年代，隨著智能機器人、圖像處理和計算機多媒體技術的發(fā)展，迎來了信息融合研究的世界性熱潮［１］。信息融合的概念在不同的學科有不同的表述，在信息智能系統(tǒng)研究領域中，信息融合是由多種信息源（如傳感器、數(shù)據庫、知識庫和人類本身等）獲取信息，并進行濾波、相關和集成，從而形成一個適合信息選擇達到統(tǒng)一目的（如目標識別跟蹤、傳感器管理和系統(tǒng)控制等）的表示構架［２］。

閱讀活動是讀者從記錄知識的載體中獲得信息與知識的社會實踐過程、生理過程與心理過程［３］。讀者閱讀過程中的特征參數(shù)，表現(xiàn)為非線性、時變性、復雜性、多樣性和隨意性。對閱讀過程中的知識載體信息、人體表面肌電信息以及運動圖像解析等有關參數(shù)需要借助多種數(shù)學工具，進行了全方位的深入研究，以期提高對閱讀過程的精準解析，讀者閱讀過程識別為研究讀者心理、指導閱讀和合理構建知識載體采購系統(tǒng)打下基礎。

１ 信息融合的處理過程

按照融合過程中信息抽象的層次，可以將信息融合過程分為：數(shù)據融合、特征融合、融合決策3個層次［３］。數(shù)據層融合直接對原始數(shù)據進行配準和關聯(lián)，特征層融合對特征向量進行配準和關聯(lián)，然后再進行識別，而決策層融合則是先進行識別，再對各個決策結果進行關聯(lián)，得到融合的判決結果。

輸入數(shù)據融合特征融合融合決策輸出圖１ 信息融合的處理過程

信息融合處理總是面向具體應用的，針對一個確定的具體決策任務設計融合處理流程。圖２是針對閱讀過程的信息融合功能模型。

從圖２可以看出，整個閱讀融合處理過程是以閱讀信息的獲取與處理為基礎的，無論是閱讀模型的建立還是閱讀狀態(tài)的評判，最終都是基于對閱讀過程中所獲得的多源信息綜合分析的基礎之上的，因此，閱讀信息獲取是基礎。圖２ 針對閱讀過程的信息融合功能模型

２ 閱讀過程分析

閱讀是指從文字、聲音、圖像及其三位一體的表達方式中提取信息的過程。也就是說，通過視覺、聽覺器官接受文字、聲音、圖像的信息，再經過大腦的編碼加工，從而理解閱讀信息的意義。對閱讀的研究是一個廣泛而復雜的領域［４］。

閱讀過程可以分為3個層次：

（1）物理學層次：閱讀過程中的行為姿態(tài)和面部表情，包括身體的移動、翻書的動作、鼠標的移動以及眼部、面部和口部肌肉的變化等。

（2）生理學層次：讀者閱讀過程中的神經沖動，如人的皮質醇水平、心率、血壓、呼吸、皮膚電活動、掌汗、瞳孔直徑等。

（3）心理學層次：閱讀過程中讀者對信息的接受、編碼，貯存、提取和使用，這一過程可以歸納為4種模式：即感知、記憶、控制和反應。讀者已有的知識和知識結構對其行為和當前的閱讀活動起決定作用。

２０１２年１月第３２卷第１期基于信息融合的閱讀過程識別Ｊａｎ.，２０１２Ｖｏｌ.３２ Ｎｏ.１２.１ 閱讀過程模式識別方法

閱讀過程模式識別就是根據閱讀者和閱讀對象的某些特征把它們歸到一定的類別［５］，是對感知數(shù)據的解釋過程。

閱讀過程行為識別大體可以劃分為3層：從閱讀背景中發(fā)現(xiàn)目標，通常稱為目標檢測；區(qū)分閱讀目標的類型，通常稱為目標分類；個體目標的確認，通常稱為目標確認。這3個層次因其分類任務和內涵的不同，對目標表述的精細程度的需求不一樣。3個層次是互相聯(lián)系的，目標檢測是基礎的層次，目標分類一般建立在目標檢測的基礎上，對目標表述的精細程度需求要求高些，目標確認一般建立在目標分類層次上，對目標表述的精細程度需求更高。

２.２ 閱讀過程行為特性分析

閱讀過程行為特性分析是目標識別的基礎，包括不同類別目標及其背景的特征屬性和影響因素。測量和分析目標特性需要考慮目標可能存在的變化模式，相關背景的變化模式和傳感器感知過程會出現(xiàn)的多種模式等。

２.３ 閱讀過程行為識別模型的建立

閱讀過程行為模型的建立是目標識別的關鍵部分。目標識別模型有3種方法：第一種是目標模板表述模型，直接使用目標識別相關的典型目標數(shù)據建立模型，采用相似性度量的模板匹配進行識別；第二種是基于數(shù)據層的特征矢量表述模型，使用單層結構的多特征屬性組合建立模型，在特征矢量表述模型基礎上可以建立形形色色的識別分類方法；第三種是基于元特征的層次結構表述。通過對目標數(shù)據的分析，可以提取以基礎單元的特征，還可以將相連的具有同樣屬性的特征集合成特征集，即形成所謂的元特征。建立目標識別模型從本質上說，是用智能計算過程來實現(xiàn)人們識別處理過程。

３ 融合算法

早在20世紀80年代，Hall和Llinas考察了30個信息融合系統(tǒng)，并歸納了使用的75種融合算法。目前信息融合算法有上百種，按概念分類，目標識別的融合算法主要有：物理模型算法、 參數(shù)分類算法、基于認識模型的算法［６］。

３.１ 物理模型算法

這種算法根據物理模型直接計算實體特征。預測一個實體特征的物理模型必須以被識別物體的物理特征為基礎，而實際物理模型往往相當復雜，建立起來非常困難。盡管實際中很少使用這種方法，但在基礎研究工作中卻使用它。常用的技術包括仿真(Simulation)、估計以及依照句法(Syntactic)的方法。其中估計方法有卡爾曼濾波、最大似然和最小均方估計等。

３.２ 參數(shù)分類算法

這種算法尋求一個標識說明使之依賴于參數(shù)數(shù)據而不是物理模型，在參數(shù)數(shù)據和一個標識說明間建立一個直接的映像。這種方法可進一步分為基于統(tǒng)計的算法和基于信息的算法［７］。

基于統(tǒng)計的算法：統(tǒng)計算法包括：經典推理、Bayes推理和D-S證據理論。

基于信息的算法：依賴于觀測參數(shù)與目標身份之間的映射關系來對目標進行標識。信息論方法包括參數(shù)化模板、人工神經網絡、聚類算法、優(yōu)化圖解(FiguresofMerit)和相關性度量。

３.３ 基于認識模型的算法

基于認識模型的信息融合算法是通過模仿人類辨別實體的識別過程模型，解決證據不確定性或決策中的不準確性等問題。也就是說，信息融合過程中存在的不確定性可以直接用模糊邏輯表示，然后使用多值邏輯推理，根據各種模糊演算對各種命題(即各傳感器提供的數(shù)據)進行合并，從而實現(xiàn)信息融合［７］。基于認識模型的算法主要包括邏輯模板、知識(專家)系統(tǒng)和模糊集合論。

４ 讀者閱讀過程的融合分類

數(shù)據分類是將原始感知的數(shù)據劃分為具有相同特征屬性的不同子集，也就是賦予其具有一定語義特性的標記。讀者閱讀過程的融合分類分為數(shù)據層融合分類、特征層融合分類和決策層融合分類。由于成像傳感器的應用，以圖像為中心的融合分類研究應用比較廣泛。

４.１ 數(shù)據層融合分類

基本處理方法就是多源圖像數(shù)據的直接加權融合和多源圖像的變換融合。前者通過對多源圖像數(shù)據相對應位置的圖像灰度值加權形成一幅新的融合圖像，以后在這基礎上進行分類。后者是將多源圖像數(shù)據變換成一個新的圖像集，常見方法有：變換為彩色圖像進行分類，經過PCA變換進行分類，經過ICA變換進行分類。

４.２ 特征層融合分類

（1）多源信息的特征提取，如線段、區(qū)域、輪廓以及指紋、人臉、聲音等。特征的提取和具體應用與使用的傳感器有關。

（2）分類器設計與選擇，如距離、神經網絡方法、SVM等分類器形式和決策樹的層次處理結構等。

（3）應用特征分類的其他形式，如采用心理學中視覺競爭機理的圖像顯著性局部區(qū)域的快速提取。

４.３ 決策層融合分類

決策層融合分類在很大程度上是指多分類器融合分類。根據實際應用常常使用不同類型的傳感器，如語音和圖像融合識別說話人的系統(tǒng)，其數(shù)據具有固有的不同步、不完全對應等特點，采用特征層融合會遇到一些困難，采用決策層融合可以緩解。

５ 閱讀信息獲取

在閱讀信息獲取過程中，常常面對不同感知對象、不同類型的平臺和不同類型傳感器等情況相應的融合處理需求也不盡相同。表1是閱讀過程中的信息融合的不同需求。表１ 閱讀過程中的信息融合的不同需求

對 象融合處理目

的單（多）目標平臺閱讀什么，在哪兒閱讀多目標處理中心什么時候需要信息，需要什么信息

在閱讀信息的獲取中，一方面要充分考慮可能獲得的所有信息資源，選擇在閱讀范圍和閱讀特征上彼此互補的信息資源，以滿足預定決策任務的需求；另一方面盡可能減少甚至消除獲取的信息資源的不確定性和不可靠性。

閱讀過程中目標的屬性常常是多種多樣的。有些屬性可以直接表現(xiàn)出來并被傳感器直接感知，有些則是非直接表現(xiàn)出來的，可以通過感知的數(shù)據經過變換和處理獲得。當采用多傳感器和傳感器網絡感知時，采集或搜集有關數(shù)據時，必須考慮到傳感器實際受到的3個基本方面的約束，即感知時空域的限制，感知特性的限制和工作環(huán)境與條件的限制。下面是已知的閱讀過程中讀者數(shù)據獲取數(shù)據方式：

（1）將傳感器(如攝像頭)安裝在讀者閱讀活動場景中，由傳感器采集讀者的閱讀活動圖像序列，通過對圖像或視頻處理實現(xiàn)閱讀活動分析。這種方式是獲取閱讀活動信息的主流方法。當然，從復雜背景中提取人體閱讀活動信息難度大，而且存在圖像分析的算法復雜，難以實時處理的問題［８］。

（2）通過三維跟蹤技術獲得讀者的運動位置，然后進行運動分析。常用的三維跟蹤技術有光學跟蹤、電磁跟蹤和聲學跟蹤等。中國科學院計算技術研究所［９］在基于動態(tài)背景構造的視頻運動人體提取、基于視頻的人體運動跟蹤、三維人體運動模擬與仿真以及基于運動庫檢索和視頻分析的三維人體運動參數(shù)獲取等方面攻克了多項關鍵技術。主要有：運動人體提取技術、運動人體跟蹤技術、三維人體運動模擬與仿真技術、三維人體運動參數(shù)獲取技術。

（3）無損傷腦成像技術，記錄大腦對屏幕、文字和圖像的反應，能夠進行讀者閱讀行為的科學研究。腦內存在許多功能分離而又相互協(xié)同工作的腦區(qū)，大腦對閱讀信息的認知和情緒反應很多時候是在無意識情況下發(fā)生的，人在進行不同的心理活動時，腦內有不同的腦區(qū)被激活［１０］。Gallagher等［１１］利用功能磁共振成像(functional Magnetic Res-onance Imaging，fMRI)技術揭開心理認知的神經生物學基礎，因此這種迅速發(fā)展的探測人腦如何加工獲取信息并作出決策的能力，為科學地研究閱讀過程提供了依據。

（4）事件相關電位(Event-related Potential，ERP)是腦波的一種，將記錄到腦電圖的腦部原始生理信號進行再分析處理而得，為了解人腦的高級認知活動打開了一扇窗口。湖南師范大學的陳竹使用事件相關電位方法對不同個性大學生閱讀攻擊性圖片的研究顯示出大腦皮層的不同反應，可以提供研究人的認知活動和判斷人的認知能力的有用指標［１２］。

（5）Raichle［１３］介紹了認知神經科學家用來研究認知過程的正電子發(fā)射層析攝影掃描技術(PositronEmission Tomography，PET)，這是一種基于減法邏輯的方法，可觀察由純實驗條件所引起的腦興奮區(qū)域和興奮水平。PET曾多次被用來研究情景記憶(Epi-sodic Memory)，當被試者提取情景記憶時，右前額葉顯示較其它記憶提取時更高的興奮水平［１４］。

（6）株式會社島津制作所的河野理等發(fā)明的一種應用核磁共振現(xiàn)象的磁共振成像裝置，其特征在于，它包含，閱讀傾斜場脈沖的產生手段裝置，通過所述第三傾斜磁場線圈產生所述閱讀傾斜磁場脈沖，它與所述回波信號成一時間關系，這種裝置當采用混合掃描方法攝取圖像時，能夠修正回波信號之間的相位差，從而在不加重控制系統(tǒng)負荷的情況下抑制圖像模糊［１５］。

華南師范大學的金花等應用功能性磁共振成像技術實驗發(fā)現(xiàn)：預期段落的閱讀任務激活——特異性皮層網絡［１６］。

（7）美國MIT媒體實驗室已經開發(fā)出數(shù)種用于測量心理信號的傳感器［１７－１９］，如用于測量皮膚電信號的皮膚電反應傳感器、血流脈沖傳感器、肌動電流圖傳感器、呼吸傳感器等。壓力感應鼠標［２０］和自動面部表情分析［２１］也作為非語音手段，對人類的情感狀態(tài)進行識別。

（8）哈爾濱工業(yè)大學的金輝和中國科學院的高文［２２］提出一種人臉面部混合表情識別系統(tǒng)。首先把人臉檢測定位，通過圖像預處理分別提取其運動特征，并按時序組成特征序列，然后分析不同特征區(qū)域所包含的不同表情信息的含義和表情的含量；最后通過信息融合來理解、識別任意時序長度的、復雜的混合表情圖像序列。其各種表情的總體識別率達到96.9%。

人臉檢測定位圖像預處理規(guī)范化特征提取分類器分類識別圖３ 人臉識別算法流程

（9）北京理工大學的續(xù)爽等［２３］在圖嵌入的框架下提出一種根據表情相似度構建鄰接權重圖的方法來學習人臉表情子空間。將人臉分為6種表情，建立一種人臉表情流形模型，對各種可能的人臉表情圖像進行全局表示，從數(shù)據集中各種可能的人臉表情數(shù)據中提取本質的表情特征，所提出的子空間方法很好地解決了個體、光照、姿態(tài)等差異對人臉表情識別帶來的困難。

基于信息融合的閱讀過程識別就是從不同傳感器的角度觀察待識別目標，對待識別目標做出預處理、特征提取、識別或判決，通過在不同層次將多傳感器所觀察的信息進行融合最終獲得聯(lián)合推斷結果，以達到提高識別效果的目的。這對于研究讀者閱讀的認知，具有重要意義。

參考文獻

［１］邊肇棋，張學工，等．模式識別(第二版)［Ｍ］．北京：清華大學出版社，2000．

［２］權太范．信息融合神經網絡——模糊推理理論與應用［Ｍ］．北京：國防工業(yè)出版社，2002．

［３］王潤生．信息融合［Ｍ］．北京：科學出版社，2007．

［４］祖林，石繼業(yè)．閱讀過程心理機制的研究概述［Ｊ］．中國電力教育，2008，（2）：179-181．

［５］中國大百科全書編輯委員會．中國大百科全書?教育卷［Ｚ］．北京：中國大百科全書出版社，1985．

［６］胡勇．信息融合在模式識別中的應用研究［Ｄ］．合肥：合肥工業(yè)大學，2004，（3）．

［７］涂小強．信息融合的原理與方法概述［Ｊ］．電訊技術，1999，（3）：1-6．

［８］雷建和．基于多源信息融合的人體運動分析與建模研究［Ｄ］．合肥：中國科學技術大學，2006，（5）．

［９］中國科學院計算技術研究所．基于三維人體運動仿真與視頻分析的計算機輔助運動系統(tǒng)及示范應用［Ｚ］．北京：中國科學院計算技術研究所，2008．

［１０］王志良，鄭思儀，王先梅，等．心理認知計算的研究現(xiàn)狀及發(fā)展趨勢［Ｊ］．模式識別與人工智能，2011，（2）：215-225．

［１１］Gallagher H，Happe F，F(xiàn)letcher P．Reading the Mind in Cartoons and Stories：An fMRI Study of‘Theory of Mindin Verbal and Nonverbal Tasks［Ｊ］．Neuropsychologia，2000，38(1)：11－21．

［１２］陳竹．不同個性大學生閱讀攻擊性圖片的REp研究［Ｄ］．湖南：湖南師范大學，2006．

［１３］Raichle M E．Visualizing the Mind［Ｊ］．Scientific American，1994，270(4)：36－43．

［１４］Wheeler M，Stuss D，Tulving E．Toward a Theory of Episodic Memory：The Frontal Lobes and Autonoetic Consciousness［Ｊ］．Psycho-logical Bulletin，1997，121(3)：331－354．

［１５］河野理，等．磁共振成像裝置［Ｐ］．日本京都市：CN1104883，1995-07-12．

［１６］金花．文本閱讀中預期推理生成的腦激活模式［Ａ］．上海：第十屆全國心理學學術大會論文摘要集［Ｃ］．2005．

［１７］Wilson G M，Sasse M A．From Doing to Being：Getting Closer to the User Experience［Ｊ］．Interacting with Computers，2004，16(4)：697－705．

［１８］Picard R W，Scheirer J．The Galvactivator：A Glove that Senses and Communicates Skin Conductivity［Ｚ］．Proc of the International Conference on Human-Computer Interaction．New Orleans，USA，2001：91－101．

［１９］Scheirer J，F(xiàn)ernandez R，Klein J，et al．Frustrating the User on Purpose：A Step toward Building an Affective Computer［Ｊ］．Interacting with Computers，2002，14(2)：93－118．

［２０］Qi Yuan，Picard R W．Context-Sensitive Bayesian Classifiers and Application to Mouse Pressure Pattern Classification［Ｚ］．Proc of the 16th International Conference on Pattern Recognition．Quebec，Canada，2002，Ⅷ：448－451．

［２１］Sebe N，Lew M S，Sun Y，et al．Authentic Facial Expression A-nalysis［Ｊ］．Image and Vision Computing，2007，25(12)：1856－1863．

［２２］金輝，高文．人臉面部混合表情識別系統(tǒng)［Ｊ］．計算機學報，2000，23(6)：602－608．

［２３］續(xù)爽，賈云得．基于表情相似性的人臉表情流形［Ｊ］．軟件學報，2009，20(8)：2191－2198．