基于機器學習的館內(nèi)閱讀行為模式分析

許智敏 施玲玲 肖珊 郭雁瑤 鄒嘉書

摘? 要：針對大量閱讀者的閱讀能力制約著其閱讀效果的難題提出了一種基于機器學習的館內(nèi)行為模式分析方法。首先，研究了一種“宏-微”復合視覺成像方法及工作原理;其次，研究了基于圖像特征的閱讀行為模式識別算法;最后，將基于館內(nèi)目標圖像獲取的閱讀行為模式與實際的閱讀行為模式進行對比分析。并由實驗驗證該文提出的方法能夠精準、穩(wěn)定地識別館內(nèi)閱讀者的閱讀行為模式。

關鍵詞：閱讀行為模式;機器視覺;眼動跟蹤;SVM

中圖分類號：TP18? ? ? ? ? ? ? ? ? 文獻標識碼：A文章編號：2096-4706（2021）19-0067-05

Analysis of Reading Behavior Patterns in the Library Based on Machine Learning

XU Zhimin， SHI Lingling， XIAO Shan， GUO Yanyao， ZOU Jiashu

（Guangzhou Maritime University， Guangzhou 510725， China）

Abstract： Aiming at the difficult problem that a large number of readers reading ability restricts their reading effect， a library behavior pattern analysis method based on machine learning is proposed. Firstly， a “macro-micro” composite vision imaging method and its working principle are studied; secondly， the reading behavior pattern recognition algorithm based on image features is studied; finally， the reading behavior patterns obtained based on the target images in the library are compared with the actual reading behavior patterns. Experiments show that the proposed method in this paper can accurately and stably identify the reading behavior patterns of readers in the library.

Keywords： reading behavior pattern; machine vision; eye tracking; SVM

0? 引? 言

閱讀是人類互相交流、分享經(jīng)驗、合作創(chuàng)新的重要方式，是學習知識、傳承文明、提高人口素質(zhì)的基本途徑[1]。習近平總書記在讀者出版集團考察調(diào)研時，提倡多讀書，建設書香社會，不斷提升人民思想境界、增強人民精神力量[2]。在新時代人民物質(zhì)生活得到保障情況下，精神文化層面的豐富迅速提上日程，因此閱讀成為一個時代趨勢。在大數(shù)據(jù)時代背景下，閱讀者在閱讀過程中普遍存在注意力不集中、閱讀效率低下、理解能力不足等等閱讀障礙，造成閱讀效果不佳等同于無效閱讀，目前人們對閱讀能力制約著新時代人們精神文化發(fā)展水平的快速提升，因此，深入的分析閱讀者閱讀過程中障礙，成為有效提高閱讀效率及質(zhì)量的關鍵技術之一。

眼動追蹤裝備是現(xiàn)有研究閱讀障礙的關鍵設備之一。一方面，荷蘭的SKALAR公司研發(fā)了基于電磁感應的眼動成像裝置[3]，法國的Metrovision基于電流記錄法研制了Model Mon EOG 眼動成像裝置[4]，加拿大SR、日本ISCAN、美國Fourward Optical Technology基于光學記錄法研制了眼動成像裝置[5]，光學記錄法具有信息豐富，操作簡單等優(yōu)勢，成為主流的眼動追蹤方式，但現(xiàn)有眼球追蹤設備在進行眼球信息的獲取對眼球拍攝時，通常將設備裝置設備近距離對準眼球，這種方法條件局限性非常大，必須保持所拍攝的眼球保持不動并且可以實現(xiàn)近距離拍攝的情況，存在不實時性、條件局限大、使用范圍小的缺點;如果沒有實現(xiàn)近距離對眼拍攝而是選擇廣角拍攝時，根本無法獲取清晰的眼球信息，只能獲取廣角下像素低的眼球圖像信息，存在獲取的圖像信息不全面、像素模糊等缺點;另外一方面，使用專業(yè)眼動儀去分析眼動模式是無法適用于人員較密集的場所，許多學者針對這種情況通過相應的算法對拍攝的圖像進行處理，王先梅[6]等利用眼睛的灰度信息結合多分辨率ASM算法對瞳孔進行定位分析，但除去光線因素以外，人體的本身特征也會造成分析錯誤。

眼動信息模式識別是研究閱讀障礙的重要信息處理技術。隨著圖像物體檢測與識別在人工智能方面的應用范圍不斷擴大，使得物體區(qū)域的獲取、行為分析等一些高層視覺任務有了新的解決方法。在行為模式識別過程中，與傳統(tǒng)的手工設計特征，基于深度學習的行為模式識別算法通過提取卷積特征使目標的特征更具有表達力。近年來，許多學者也結合卷積神經(jīng)網(wǎng)絡等深度學習去針對人物姿態(tài)識別提出了自己的方案，李曉龍[7]結合候選區(qū)域生成算法和深度卷積神經(jīng)網(wǎng)絡提出行人檢測改良方案，吳迪[8]提出的結合單發(fā)多箱檢測與鎖緊-松弛奇異值分解和重排序的卷積神經(jīng)網(wǎng)絡方案，基于深度學習的行為模式識別為眼動信息的分類奠定了良好的理論基礎。

本文以信息時代背景下閱讀者閱讀效率及質(zhì)量分析為目的，研究了一種基于機器學習的館內(nèi)行為模式分析方法。針對大視場環(huán)境下眼球微特征的成像難題，研究了一種“宏-微”復合視覺成像方法及工作原理;其次，針對現(xiàn)有閱讀過程中的注視、眼跳、回視、閱讀等眼動模式智能識別，研究了二叉樹MSVM智能分類算法;最后，以圖書館內(nèi)具體的閱讀者閱讀行為模式識別結果與閱讀者實際的閱讀行為模式進行對比分析。

1? 閱讀者微特征獲取視覺系統(tǒng)及工作原理

以館內(nèi)閱讀者的閱讀行為模式為研究對象，為了不對閱讀者造成干擾，需要在遠距離獲取閱讀者的眼動信息，造成眼球圖等獲取存在大視場、微特征等特點。傳統(tǒng)的廣焦相機在成像過程中難以實現(xiàn)眼球微特征的成像，變焦相機在獲取眼球微特征成像時，在待分析目標輕微的移動時，容易出現(xiàn)眼球在成像中出現(xiàn)脫靶現(xiàn)象，造成目標特征信息丟失。本文研究一種大視場微特征成像系統(tǒng)，如圖1所示，該系統(tǒng)裝置包含長焦成像子系統(tǒng)、廣角成像子系統(tǒng)、廣角成像子系統(tǒng)固定架微控平臺、橫滾角驅動子系統(tǒng)、俯仰角驅動子系統(tǒng)、對焦驅動子系統(tǒng)支架、保護罩、控制子系統(tǒng)、圖像處理子系統(tǒng)等。首先，通過廣角成像子系統(tǒng)獲得閱讀者的面部圖像的橫滾角、俯仰角信息，依據(jù)廣角成像子系統(tǒng)與變焦成像子系統(tǒng)的實時空間位姿關系，人眼球在面部中所占據(jù)的大概位置等信息，基于圖像處理子系統(tǒng)粗略的計算出廣角成像子系統(tǒng)在獲得眼球圖像時待調(diào)整的橫滾角及俯仰角、對焦信息。其次，控制子系統(tǒng)依據(jù)變焦子系統(tǒng)待調(diào)整的橫滾角、俯仰角及對焦信息驅動變焦子系統(tǒng)沿著橫滾角、俯仰角方向運動并調(diào)整對焦參數(shù)，初步的獲得眼球成像;接著，通過圖像處理子系統(tǒng)對變焦子系統(tǒng)獲得的眼球圖形進行分析計算，精準地獲得眼球中心與變焦子系統(tǒng)光軸的在橫滾角、俯仰角方向的夾角，對焦信息。再者，控制子系統(tǒng)依據(jù)眼球中心與變焦子系統(tǒng)光軸的在橫滾角、俯仰角方向的夾角，對焦信息驅動變焦子系統(tǒng)沿著橫滾角、俯仰角方向進行修正并精準的調(diào)整對焦參數(shù)，獲得完整、清晰的眼球成像;最后，采用二叉樹的多分類支持向量機方法對獲得的眼球圖像進出分析，得出當前的眼動信息歸屬于注視、眼跳、回視、閱讀其中的具體類型，進而為閱讀者的閱讀能力的培養(yǎng)提供依據(jù)。

2? 建立閱讀行為中眼動跟蹤方法及模型

目前絕大多數(shù)室外行為模式識別算法有“DN-2DPN-3DPN”的框架、基于多層級語義融合和多級預測器的數(shù)學模型，室內(nèi)類行為模式識別的較少，鑒于卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks， CNN）具有識別準確度高的優(yōu)勢及支持向量機（support vector machine， SVM）具有高效分類說的特征，本文提出一種適用于眼動信息多類識別算法，其主要由面部目標區(qū)域識別與眼動行為模式分類兩大部分組成。首先，采用CNN優(yōu)化模型的注意層，在降低噪音的基礎上保留邊緣信息，進而獲取目標區(qū)域;其次，通過金字塔池化（Spatial Pyramid Pooling， SPP）將輸出的目標區(qū)域尺寸統(tǒng)一化為下步分類識別做準備;最后，利用二叉樹MSVM實現(xiàn)多類識別。該算法的主要流程圖如圖2所示。首先對輸入圖像進行預處理，在本文CNN優(yōu)化模型中輸入層后的注意層上采用LBP紋理特征與梯度進行運算，得到圖像相應的LBP紋理特征圖與梯度圖，并利用卷積層進一步提取圖像特征;其次，在卷積層與全連接層之間采用金字塔池化，將得到的特征圖中的目標面部區(qū)域提取固定長度的特征向量，實現(xiàn)面部區(qū)域尺寸統(tǒng)一化;最后，在面部區(qū)域對眼睛的形態(tài)的差異利用二叉樹MSVM的分兩類后再二分子類的方法實現(xiàn)對注視、眼跳、回視、閱讀四種模式分類。

2.1? 基于廣角成像系統(tǒng)的目標面部特征識別

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡（CNN）針對目標特征識別問題，需提前對輸入圖像的尺寸進行統(tǒng)一化處理，再進一步對輸入后的整張圖像無特征的提取，導致面部圖像獲取時間周期長、無效計算量大、模型的泛化性低的結果。本文的目標面部特征識別模型是基于CNN模型結合局部二值模式（LBP）和梯度作為預處理運算的注意層[9]與金字塔池化形成的一種新的優(yōu)化模型，過濾圖像中的大部分噪音和減少復雜背景環(huán)境等對面部特征識別的影響，實現(xiàn)突出目標面部邊緣輪廓與精準識別，同時具有任意尺寸輸入、輸出固定維數(shù)圖像的優(yōu)勢有利于后期分類。

其中，LBP是一種對圖像的局部紋理進行有效描述的算子，可實現(xiàn)紋理信息的度量和提取，產(chǎn)生多尺度特征，形成旋轉不變性與灰度不變性等特點。其中一個LBP操作可定義為：

（1）

其中，（Xc，Yc）代表3×3鄰域的中心元素的像素值為ic，其他像素的值為ip。A（x）是符號函數(shù)：

（2）

首先，金字塔池化將所輸入的圖像的目標不同特征進行劃分，再通過Pooling操作提取相關特征的過程。同時輸入圖像尺寸的靈活性，能通過從不同的尺寸中提取并匯集特征實現(xiàn)特征共享且產(chǎn)生固定尺寸的圖像，有效避免目標面部區(qū)域的產(chǎn)生形變扭曲，保證特征信息的真實性，識別的準確度高，為后續(xù)的分類和回歸操作做準備。SPP可行性分析如下：

設獲得的特征圖像尺寸為W×H，每個特征圖的特征數(shù)為f，n=1，2，3，…，池化濾波器大小為（p1，p2），采用向上取整方法：

（3）

步長為（t1，t2），采用向下取整方法。

（4）

設水平移動時的特征數(shù)為f1，k是通過向下取整得出整數(shù)。

（5）

2.2? 基于變焦系統(tǒng)的眼球跟蹤模型

眼球的運動和注視人眼在閱讀過程中兩種基本的模式[10]，不同的學者對于眼動模式的分類有不同方式，本文依據(jù)文獻[11]將眼動模式分為注視、眼跳、回視、閱讀四種模式進行研究。支持向量機是基于統(tǒng)計學習理論、具有監(jiān)督分類和回歸特性的方法，是結構風險最小化方法的近似實現(xiàn)，適用于二分類的有效方法。為使其實現(xiàn)本文中眼動模式多分類，提出基于二叉樹的多分類支持向量機方法，實現(xiàn)分類決策時間消耗短，識別分類，具有準確高效性。

二叉樹的多分類支持向量機方法，如圖3所示，將多分類的問題轉化為多級的二分類子問題，首先把所有的圖像的注視、眼跳、回視、閱讀四種模式進行實現(xiàn)注視、眼跳和回視、閱讀二分類;其次，將得到的子類再劃分成注視、眼跳、回視、閱讀四種獨立的分類，且二叉樹MSVM所需的BSVM僅（N-1）個，降低了訓練和測試所需要的時間，具有較高的效率。

對于4類分類問題，構造二叉樹的主要算法是得到類與類之間的相對距離矩陣D：

假設X為包含4個類別的樣本集，Xi為第i類的訓練集：

（6）

其中，ci，ni分別是第i類的樣本中心和數(shù)量;則類a與類b中心的歐式距離為：

（7）

類a與類b之間的相對距離為：

（8）

其中，Ri=max{||ci-xi||}是最小超半球半徑，xi是第i類樣本。

3? 閱讀行為中眼球跟蹤實驗

在學校圖書館采集學生閱讀狀態(tài)下的實時視頻并通過軟件離散成照片，共收集了12 389張圖片，并將圖片裁剪到512 pixel×512 pixel，其中部分圖片如圖4所示。

將該數(shù)據(jù)集隨機分成訓練集、測試集兩部分，其中訓練集19 818張圖片，測試集3 425張圖片。訓練集包含4 088張基于廣角成像人臉圖像、1 026張基于變焦目標成像的眼動信號圖像以及25 047張非目標圖像，廣角目標成像圖片中包括人臉圖像。變焦目標成像圖像包括注視圖像、眼跳圖像、回視圖像、閱讀圖像。測試中包含1 026張廣角目標成像圖片、1 502張變焦目標成像圖像以及897張非目標圖像，測試集圖像的類別和訓練集一致，具體數(shù)量如表1所示。對訓練集中樣本進行訓練，分別得到人臉、注視、眼跳、回視、閱讀的分類器參數(shù)。

在上述基礎上，在測試樣本中，首先，隨機選擇300張人臉測試樣本并給定標簽，選擇200張非人臉測試樣本并給定標簽;其次，將上述500測試樣本隨機編號;最后，用上述的人臉的分類器對第i個測試樣本進行識別，得到不同樣本的置信度參數(shù)。同理分別對注視、眼跳、回視、閱讀的測試集進行上述處理，得到不同樣本的置信度參數(shù)。為對不同算法在人臉、眼動信號識別結果進行客觀評價，采用平均精度（Average-Precision， AP值）、平均精度均值（Mean Average Precision， mAP值）、幀/每秒（FPS值）三個評價指標。

4? 結果及分析

4.1? 與其他檢測方法的檢測精度、效率比較

將該文中檢測方法與其他檢測方法進行比較，例如HOG-SVM[12]，F(xiàn)aster R-CNN[13]。在HOG-SVM算法中，將樣本縮放為32×32進行訓練，提取所有正、負樣本的Hog特征并分別標記為1、0，將正負樣本采用線性SVM[14]進行訓練，得到support vector數(shù)組、alpha數(shù)組、rho浮點數(shù)，將alpha矩陣同support vector矩陣相乘得到一個列向量，在該列向量的最后添加一個元素rho，得到檢測模型;在Faster R-CNN算法中，在ImageNet上經(jīng)過預訓練的卷積神經(jīng)網(wǎng)絡作為預訓練模型，然后使用ZF網(wǎng)絡[15]（5個卷積層和3個完全連接層）和VGG16網(wǎng)絡[16]（13個卷積層和3個完全連接的層）以重新訓練檢測模型。所有檢測模型識別實驗均在圖像工作站（2-GPU Tesla V100-32G，2-CPU Xeon（R） E5-2678W）上運行，采用Python3.5軟件平臺，記錄了每個模型的評價指標的結果，如表2、表3所示。

HOG-SVM采用滑動窗口，且設置不同的大小，不同的長寬比對圖像進行遍歷，其時間復雜度O為m×n，相對其他算法較高（n為樣本個數(shù)，m特征個數(shù)），在人臉、眼動信號的檢測效率僅為13幀/秒、16幀/秒，低于本文的算法;其次，由于目標形態(tài)多樣性、光照變化多樣性、背景多樣性使得目標特征獲取魯棒性差，導致該分類模型在人臉、眼動信號識別中的AP值均較低。因此，HOG-SVM識別算法相對其他算法在人臉、眼動信號識別精度及速度上均無優(yōu)勢。Faster R-CNN算法對整張圖片輸進CNN，得到卷積特征并輸入到RPN（Region Proposal Networks），獲取候選框的特征信息，使用softmax判別是否屬于一個特定類，對于屬于某一類別的候選框，用回歸器進一步調(diào)整其位置，導致其在人臉、眼球信號識別效率僅為為5幀/秒、7幀/秒，由于其采用端到端的檢測，其在船及號燈號型檢測準確度評價指標mAP為0.860，0.925，比其他算法好。我們提出的模型在提升人臉、眼球信號的平均識別速度的同時保證了其識別精度。

4.2? 與其他算法計算性能比較

在目標分類算法中，計算性能直接影響著算法能否在線檢測以及對硬件的依賴程度。為了評估上述的三種分類算法的計算性能，對其訓練耗時進行統(tǒng)計，如表4、表5所示。依據(jù)表4、5的結果可知，F(xiàn)aster R-CNN檢測結果精度較高，但是訓練、檢測時間較長增加了約200%，對硬件的要求較高且難以在線檢測。傳統(tǒng)的HOG-SVM等算法訓練、檢測時間相對于基于候選區(qū)域的目標檢測器有優(yōu)勢，但是檢測過程中抗干擾能力及遷移能力較弱。文中的算法在改進檢測精度的基礎上，其訓練速率得到提升。

5? 結? 論

本文提出的眼動信號“宏-微”復合式視覺傳感方法較好地解決了眼動信號識別過程中難以實現(xiàn)大視場成像與高分辨率成像的矛盾;待識別目標的動態(tài)性導致眼動信號“宏-微”復合式視覺系統(tǒng)在位置調(diào)整時成像過程存在短暫的時間差，導致眼動等特征的成像難以位于長焦子系統(tǒng)成像中心，為了保證眼動信息不出現(xiàn)脫靶或者位于圖像邊緣造成特征不完整現(xiàn)象，長焦子系統(tǒng)成像須將艦船等大目標成像視場在理論的基礎上增大50%。采用一種二叉樹的多分類支持向量機方法，實現(xiàn)眼動信號分類決策時間消耗短，識別分類準確高效性。

參考文獻：

[1] 董一凡.論當代讀者的閱讀方式與圖書館的對策 [J].農(nóng)業(yè)圖書情報學刊，2010，22（1）：125-128.

[2] 張曉松、朱基釵.習近平：要提倡多讀書，建設書香社會 [EB/OL].（2019-08-22）.https：//baijiahao.baidu.com/s？id=1642530668980671789&wfr=spider&for=pc.

[3] JOACHIMS T，GRANKA L，PAN B，et al. Accurately interpreting clickthrough data as implicit feedback [C]//SIGIR05：The 28th ACM/SIGIR International Symposium on Information Retrieval 2005.Salvador：Association for Computing Machinery，2005：154-161.

[4] JOACHIMS T，GRANKA L，PAN B，et al. Evaluating the accuracy of implicit feedback from clicks and query reformulations in Web search [J/OL].Acm Transactions on Information Systems，2007，25（2）：[2021-09-10].https：//doi.org/10.1145/1229179.1229181.

[5] 閆國利，熊建萍，臧傳麗，等.閱讀研究中的主要眼動指標評述 [J].心理科學進展，2013，21（4）：589-605.

[6] 王先梅，楊萍，王志良.多姿態(tài)眼球中的瞳孔定位算法 [J].計算機輔助設計與圖形學學報，2011，23（8）：1427-1432.

[7] 劉曉龍.基于圖像的行人檢測算法研究 [D].長沙：國防科學技術大學，2017.

[8] 吳迪.基于改進卷積神經(jīng)網(wǎng)絡的行人檢測及再識別方法研究 [D].秦皇島：燕山大學，2019.

[9] 謝林江，季桂樹，彭清，等.改進的卷積神經(jīng)網(wǎng)絡在行人檢測中的應用 [J].計算機科學與探索，2018，12（5）：708-718.

[10] RAYNER K.Eye movements and attention in reading，scene perception，and visual search [J].The Quarterly Journal of Experimental Psychology，2009，62（8）：1457-1506.

[11] 許潔，王豪龍.閱讀行為眼動跟蹤研究綜述 [J].出版科學，2020，28（2）：52-66.

[12] BILAL M，HANIF M S. Benchmark Revision for HOG-SVM Pedestrian Detector Through Reinvigorated Training and Evaluation Methodologies [J].IEEE Transactions on Intelligent Transportation Systems，2020，21（3）：1277-1278.

[13] FANG F，LI L Y，ZHU H Y，et al. Combining Faster R-CNN and Model-Driven Clustering for Elongated Object Detection [J].IEEE Transactions on Image Processing，2019，29：2052-2065.

[14] DALAL N，TRIGGS B. Histograms of oriented gradients for human detection [C]//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition（CVPR05）.San Diego：IEEE，2005：886-893.

[15] ZEILER M D，F(xiàn)ERGUS R. Visualizing and Understanding Convolutional Networks [J]//Computer Vision–ECCV 2014.Zurich：Springer，2014，8689：818-833.

[16] SIMONYAN K，ZISSERMAN A. Very Deep Convolutional Networks for Large-Scale Image Recognition [J/OL].arXiv：1409.1556 [cs.CV].[2021-09-11].https：//arxiv.org/abs/1409.1556.

作者簡介：許智敏（1988—），女，漢族，廣東廣州人，圖書館館員，碩士研究生，主要研究方向：閱讀素養(yǎng)分析、數(shù)據(jù)挖掘;施玲玲（2000—），女，漢族，廣東陸豐人，本科在讀，主要研究方向：機器視覺;肖珊（1999—），女，漢族，福建龍巖人，本科在讀，主要研究方向：機器人技術、機器視覺技術;郭雁瑤（2001—），女，漢族，廣東陸豐人，本科在讀，主要研究方向：機器視覺、深度學習;鄒嘉書（2001—），男，漢族，廣東梅州人，本科在讀，主要研究方向：機械設計。