DRVisSys：基于屬性相關性分析的可視化推薦系統

吳小全，李　暉，陳　梅，戴震宇

WU Xiaoquan1，2,LI Hui1，2,CHEN Mei1，2,DAI Zhenyu1，2

1.貴州大學 計算機科學與技術學院，貴陽 550025

2.貴州大學 貴州省先進計算與醫療信息服務工程實驗室，貴陽 550025

1.College of Computer Science and Technology,Guizhou University,Guiyang 550025,China

2.Guizhou Engineering Lab of Advanced Computing and Medical Information Services,Guizhou University,Guiyang 550025,China

1　引言

可視化通常是數據分析中一個關鍵步驟。加拿大維多利亞大學的研究人員[1]提出了可視化分析任務，包括三個主要步驟：數據屬性子集選擇、可視化展現模式推薦、數據和圖表映射。文獻[1]證明，計算出和目標具有強相關性的屬性子集并為其確定合適的可視化展現模式是一項困難的技術工作。尤其是當數據和維度數量增加時，現有的可視化分析系統[2-3]通常會面臨如下問題：

（1）多維屬性子集選擇的搜索空間不夠大。現有數據分析工具在對多維數據集進行非平凡屬性組分析時，需耗費大量時間進行迭代計算并構建可視化展示模式，且這個過程通常需要人為干預和反饋，未能包含對所有重要的屬性組合的探索和評估。

（2）對分析人員的技術門檻要求較高。由于通常要求分析人員能夠針對初步分析結果做進一步的關聯分析和探索，分析人員需具備良好的統計知識和編程技術素養，進一步增加了應用難度。

（3）分析過程的自動化程度不夠高。缺乏基于用戶行為反饋的推薦模型及其展現模式的自動化更新機制。

針對解決上述問題，法國里爾第二大學的研究人員設計并實現了基于知識庫技術實現可視化推薦系統VizAssist[4]。該系統為了推薦出合適的可視化圖表，在屬性選擇上充分考慮到屬性的數據類型和屬性的權重，優先選擇權重高的屬性通過知識庫內部已制定規則構建可視化展現模式。然而在設計知識庫時，它依然存在規則有限的缺陷，導致部分不符合該規則的屬性無法構建可視化展現模式。此外，VizAssist通過人為設置屬性的權重和屬性的數據類型來決定推薦的屬性列，這使得推薦出的數據可視化展示模式過于依賴人為初始化的設定，導致人為干預成為數據分析的主導地位，無法實現自動探索和推薦。Voyager[5]是華盛頓大學的研究人員研發的可視化推薦系統，其為數據分析添加合適的統計函數，通過人機交互進行數據探索，并將探索出的數據自動生成可視化圖表，從而較為有效地支撐用戶進行交互式數據導航。

現有的可視化推薦系統通常是通過參數設置來推薦出部分有價值的可視化展現模式，在一定程度上提高了推薦的準確率。但大多數推薦僅僅利用靜態的初始化設置而忽略了數據本身動態組合的特性。數據屬性之間的關聯性是數據價值的潛在表現。此外，現有可視化推薦系統通常引入了過多的人為判斷操作，在處理大規模復雜多維數據時，將會增加交互難度。

針對目前可視化分析領域存在的上述問題，本文基于屬性相關性分析策略，研究非平凡可視化推薦的度量標準，引入典型關聯算法用于解決非平凡屬性組的選擇問題。設計并實現了數據分析可視化推薦系統DRVisSys，主要技術工作如下：

（1）在非平凡屬性組選擇環節中引入屬性關聯分析技術。為了從整體考慮屬性之間的相關性，應用典型關聯分析技術計算屬性之間的關聯系數，用典型關聯系數大小作為非平凡屬性組合的評測標準[6-7]。

（2）通過自動構建大量SQL語句來生成所有屬性組及屬性組對應的數據子集。并針對大量SQL語句執行過程中資源消耗較高的問題，提出并行執行查詢和共享公共數據子集的技術。

（3）引入知識庫技術來構建可視化展示模式。只需將選擇出的非平凡屬性組及對應的數據子集作為輸入，便可自動通過知識庫構建出可視化展現模式。

（4）設計并實現了基于用戶反饋的可視化推薦模型的持續更新方法，可根據用戶行為迭代出更合適的展示模式[8]。

2　預備知識

2.1　非平凡屬性組評測

麻省理工學院的研究人員，在2015年提出通過計算原數據集與參考數據集之間的偏差來確定非平凡屬性組的方法[9]。該方法假設偏差值越大，屬性組成為非平凡屬性組的可能性越大。但部分特殊值可能會嚴重影響整體偏差值，從而導致非平凡屬性組的分析有偏差。為解決此問題，本文通過分析屬性之間相關關系來確定非平凡屬性組。為了能從整體考慮屬性之間相關關系，本文在計算過程中還引入了典型關聯分析技術。

計算屬性組的典型關聯系數時存在下述問題：當屬性組里存在一個或者多個非數值屬性列時，無法計算非數值屬性列的關聯系數。本文根據SQL92標準將數值類型屬性歸類為度量屬性，其他屬性歸為維度屬性。在計算維度和度量的相關性時，首先按維度屬性對數據集進行分組，然后在分組內計算度量屬性的SUM、AVG、COUNT聚合函數值，選擇組內任意屬性構建屬性組并計算其相關性。

為了解決當前可視化推薦系統對多維屬性子集選擇的搜索空間不夠全的問題，DRVisSys對整個屬性子集空間進行探索[10]。對任意數據集進行探索并生成候選屬性組時，候選屬性組的數量由數據集的維度屬性和度量屬性決定。假設數據集中有m1個維度屬性，m2個度量屬性，在生成候選屬性組時，根據各維度屬性進行分組，計算組內度量屬性的聚合函數值（SUM、AVG、COUNT）。然后任意從該組中選擇屬性構建屬性組，則共計會產生屬性組。

2.2　基于可擴展VKB技術的知識庫

基于VKB技術的知識庫起源于1980年的BHARAT系統[11-12]。2015年，VizAssist系統的研究人員提出基于VKB技術的知識庫構建方法，用于簡化復雜可視化模型的構建。然而VKB技術受限于有限的規則模型，無法分析當前知識庫內現有規則之外的可視化模型。本文提出基于可擴展VKB技術的知識庫模型，為擴展知識庫規則定義一套擴展機制，可通過擴展API添加新的規則，不斷完善知識庫。這使得推薦出的可視化展示模型能夠更好地滿足需求。

2.3　符號列表

本文用符號D={d1,d2,…,dn}表示數據子集，其中每一個di由k個屬性組成{A1,A2,…,Ak} ，每個屬性的數據類型為ti，用DT表示屬性分類。下面列出了文中用到的其他符號。

VKB知識庫模型所需符號定義：

D={d1,d2,…,dn}為數據子集定義；D={A1,A2,…,Ak}為數據屬性定義；DT={Dimension,Measure}表示屬性類型，簡寫為DT={dim,mea}；ti,ti∈DT表示每個屬性的數據類型；C={C1,C2,…,Cm}為每個組合的關聯系數；V={V1,V2,…,Vv}為非平凡屬性組；ρ為推薦系數；W為屬性權重值。

3　系統總體設計

3.1　系統總體結構

DRVisSys系統的總體架構如圖1所示。主要由可視化表現層、執行引擎層和數據庫持久層三部分組成。

圖1　DRVisSys系統結構框圖

可視化表現層主要分為三個模塊：（1）可視化構建查詢語句模塊。主要通過點擊拖拽數據庫表字段來定義查詢條件，實現數據子集的生成。（2）可視化展示模式構建模塊。在Web頁面使用Echart3.0顯示推薦可視化圖表，并實現了圖表數據異步加載。（3）用戶交互模塊。DRVisSys系統記錄和分析當前用戶對圖表選擇偏好，異步地將該用戶行為反饋給后臺執行引擎層。

執行引擎層主要負責計算和生成可視化推薦模型。具體包括四部分：

（1）查詢構建模塊。主要負責對任意屬性組合構建查詢語句，生成對應的數據子集。

（2）查詢優化模塊。負責優化（1）中查詢語句的執行，減少整個執行引擎中數據庫查詢延遲。在此部分，本文設計并實現了查詢的并行執行機制和共享公共表達式的優化策略。具體技術方法詳見本文4.1節。

（3）可視化推薦引擎模塊。主要負責計算出K非平凡屬性組。該模塊計算（1）中數據子集的典型關聯系數，以關聯系數排序，并選擇前K個作為非平凡屬性組。

（4）基于VKB技術的知識庫模塊。負責利用基于VKB技術的知識庫技術，為（3）中生成的非平凡屬性組構建出合適的可視化展現模式。

3.2　可視化展現模式構建

在DRVisSys系統中，針對一組非平凡的屬性組{V1,V2,…,Vv}，知識庫通常將V中的屬性類型、屬性數據值統計、屬性的權重等因素作為知識庫引擎構建可視化展現模式時的輸入。知識庫引擎將輸入的參數結合庫中規則進行計算，然后輸出符合知識庫中規則的可視化展現模式。

在本文的工作中，通過基于VKB技術的知識庫構建可視化展示模式。本文針對不同圖表的特性構建對應的推薦規則。例如：柱狀圖用于展現多類別數據之間的差異，其特點如下：（1）展現數據可劃分多種類別且類別不能過多；（2）數據必須是兩維以上，其中至少一維是數值列；（3）數據維度不能過多，否則無法展示多類別的比較關系。系統根據該特點設計柱形圖模型規則如下：（1）輸入數據集的維度是2～5維；（2）至少存在一列數值數據，該數值類型的列用作為Y軸；（3）存在一列數據可用于分類，類別不超過30種，該列作為X軸。上述規則涉及的參數可根據需求調整。其他圖表亦根據其特性構建相應的規則。針對滿足多種圖表模型規則的數據，系統能生成多個可視化圖表，從多個角度展示數據價值。

針對上述構建的知識庫規則，本文構建可視化展示模式的步驟如下：（1）確定非平凡屬性組中的維度屬性和度量屬性，使用維度屬性和度量屬性生成合適的坐標軸。（2）統計屬性組中的數據分布情況。通過COUNT、AVG和SUM可以了解屬性值分布及總體比例情況。（3）構建可視化展現模式。將（1）、（2）中計算結果及屬性組對應的數據集作為輸入，利用庫中規則進行計算，將屬性組映射成對應的可視化展現模式。

3.3　可視化推薦展示結果

如圖2是DRVisSys系統針對“病人治療費用表”推薦出的可視化圖表。整個區域分為三部分：A區是用于對每一個可視化圖表的放大展示；B區是用于實時展示根據用戶行為反饋生成的新的可視化圖表；C區是用于顯示推薦出的所有可視化圖表。

圖2　DRVisSys推薦出的可視化展示圖表

從圖2可以看出，DRVisSys根據不同屬性集推薦出各種圖表對數據進行展示。以（A）中的雷達圖生成為例，該圖表的構建流程簡述如下：

（1）構建雷達圖規則模型。雷達圖是用來顯示多項指標數據的數值占比情況。雷達圖的推薦規則如下：屬性維度數目3～10；任意兩項指標相關系數偏差不超過0.1；數據量不超過100條。

（2）為數據集構建可視化展現模式。當前雷達圖屬性列有{ks，cwf，fyh，jcf，hyf}，將字符型屬性ks作為維度屬性，其他作為度量屬性。通過對任意屬性列的關聯系數計算，得知其關聯系數的偏差都不超過0.1。上述計算結果符合雷達圖規則，因而將該屬性組映射成雷達圖。

DRVisSys支持用戶交互。系統可根據用戶行為反饋，更新推薦模型。DRVisSys對當前用戶選中可視化展示模式的偏好行為進行分析，將相應的屬性添加權重并重新計算出非平凡屬性組，更新當前推薦模型，構建新的可視化展現模式。相應的結果，均在B區列出。

4　查詢優化及主要算法設計

本章主要介紹DRVisSys系統的兩種查詢優化技術，分別是并行執行查詢技術和共享公共表達式技術[13-15]。此外，為了過濾大量的非平凡屬性組，DRVisSys引入了典型關聯算法并采用奇異值分解法求解出典型關聯系數，取TopK個屬性組定義為非平凡屬性組。

4.1　查詢優化

4.1.1查詢的并行執行

為了增加多維屬性子集選擇的搜索空間，DRVisSys系統對數據集中的所有組合進行探索。對于數據集中有m1個維度屬性m2個度量屬性，生成的候選屬性組的數量是m1×(2m2-m2)。每個屬性組所對應的數據子集是通過執行一條為該屬性組特別構建的SQL查詢語句而得到。因此，獲取各候選屬性組對應的數據子集需要構建并執行大量SQL語句。考慮到候選屬性組的數量，此過程的時間開銷極大。DRVisSys通過采用多線程并行執行上述SQL任務的方法來提高查詢執行效率。為了減少并行執行過程中數據庫連接增加的問題，DRVis-Sys引入了數據庫連接池技術來實現數據庫連接共享，進一步減少數據庫連接延遲。

4.1.2查詢重寫和執行優化

在構建候選屬性組合時，屬性組之間存在相同屬性，即與之相對應的SQL之間存在公共的表達式。為了減少查詢的執行開銷，DRVisSys系統通過基于共享公共表達式（及其對應的數據子集）的查詢重寫技術實現多個SQL查詢語句的合并。具體優化步驟如下：

（1）合并同一屬性的不同聚合查詢。在同一分組屬性下，對所有度量屬性添加不同聚合函數（如：SUM、AVG、COUNT）。若為每個聚合函數操作構建一個查詢語句，會造成資源浪費。DRVisSys將類似于如下查詢(a,m,f1),(a,m,f2),…,(a,m,fi)合并，重寫成新的查詢語句 (a,m,{f1,f2,…,fi})。

（2）合并同一分組屬性的不同查詢。針對同一分組屬性下不同屬性的聚合查詢，本文采用group by分組屬性區分不同聚合查詢的結果集，將多個聚合查詢重寫成一個聚合查詢。DRVisSys系統將類似如下的查詢語句(a,m1,f),(a,m2,f),…,(a,mi,f)合并，重寫形成新的查詢語句(a,{m1,m2,…,mi},f)。

（3）添加分組屬性，合并具有公共子表達式的不同查詢。此外，存在一種特例：其中一條查詢語句的結果集包含另外一條查詢語句的結果集。此時，不能利用原有分組屬性區分查詢結果集，需為其添加新的分組屬性。例如：合并如下所示的Q1和Q2兩個查詢語句時，需要為其新增分組屬性G1和G2。

Q1=SELECTA，F（m） FROMDWHEREX=’貴州’GROUP BYA

Q2=SELECTA，F（m）FROMDGROUP BYA

將上述兩個查詢Q1和Q2合并，重寫成新查詢Q3：

Q3=SELECTA，F（m），CASE IFX=’貴州’THEN 1 ELSE 0 ENDAS G1，1AS G2FROMDGROUP BYA，G1，G2

4.2　非平凡屬性組選擇算法

為了從大量屬性組合中過濾掉大部分平凡的屬性組，本文引入CCA[16]作為非平凡屬性組的評估算法。通過CCA算法可以計算出屬性之間的關聯系數，將其作為非平凡屬性組的評估標準。但在求解典型關聯系數時，為了避免屬性組出現的小樣本數據可能導致無法計算出關聯系數的問題，DRVisSys系統采用奇異值分解法求解典型關聯系數。非平凡屬性組選擇算法的步驟如下。

（1）計算推薦系數。通過計算屬性組之間典型關聯系數作為推薦的系數，下面是CCA計算相關系數過程：

①設定屬性組中存在各包含n個樣本的U和V，而且U和V的維度大于1。

②計算出樣本U的方差Suu，樣本V的方差Svv，以及U和V樣本的協方差Suv。

④對矩陣M進行奇異值分解，計算出最大的奇異值，即為所需的最大關聯系數ρ。

（2）加權推薦系數。考慮到部分維度屬性在應用中有著特殊的實際意義，例如：日期、姓名和部門等，本文采用層疊隱馬爾可夫算法[17]識別出此類重要屬性并為其添加權重值。該算法為每種命名實體的識別方法構造獨有的識別模型，例如：人名識別的HMM、地名識別的HMM和機構識別的HMM等等。當對某一個屬性實體進行識別時，如果屬于重要實體，設置該屬性的權重值W=1；否則，設置權重值W=0。

在選擇非平凡屬性組時考慮到部分屬性的權重值，本文引入式（1），將權重值與關聯系數相結合，重新計算推薦系數。

（3）取TopK個屬性組將加權后的推薦系數進行排序，取前K個屬性組合作為非平凡屬性組合。推薦引擎默認取K=15，但當候選組合數超過15組且推薦系數ρ＞0.9，引擎會自動添加推薦系數大于0.9的屬性組作為非平凡屬性組，其中K和ρ的值可根據需求自定義。

4.3　計算非平凡屬性組的案例

為進一步說明非平凡屬性組的選擇算法流程，本節以“病人治療費用表”為例進行說明，該表共23維屬性，其中有10維維度屬性，13維度量屬性。根據2.1節中的方法構建屬性組合及對應數據子集，然后通過推薦算法計算出平凡屬性組，步驟如下：

（1）利用典型關聯算法計算屬性組的關聯系數，并對其進行排序。本節取三個屬性組合進行講解：屬性組V1={ks,cwf,hyf,fyh,jcf}，計算典型關聯系數ρ=0.94；屬性組V2={cyqtzd,hyf,cwf,fyh,jcf,xyf}，ρ=0.96；屬性組V3={ks,zyf,ts}，ρ=0.46。

（2）使用層疊馬爾可夫算法識別重要屬性并對屬性進行加權。針對屬性組V1，通過算法識別得出ks（科室）在命名實體中屬于部門實體，屬于重要屬性且ρ＞0.6，根據式（1）重新計算出推薦系數ρ=1；針對屬性組V2識別，不屬于重要屬性，推薦系數不需修改；針對屬性組V3，識別出ks屬于重要屬性且ρ＜0.6，根據式（1）重新計算出推薦系數ρ=0.775。同理，其他屬性組以此方法計算推薦系數。

（3）對重新計算的推薦系數進行排序，取TopK個屬性組作為非平凡屬性組，K=15。

5　實驗結果與分析

對DRVisSys系統性能進行評測和分析。實驗過程中選用不同數據量、不同維度、不同記錄數的數據集進行評估，評估指標是DRVisSys推薦出可視化展現模式所需的時間開銷。測試數據包含20個不同數據集，具體數據集描述如表1所示。

表1　實驗數據集描述

所有實驗運行在兩個節點上，分別是分析數據集的數據節點和推薦引擎的執行節點，其中數據節點數量可根據實驗要求進行配置，執行引擎節點是單節點。節點的參數配置如表2。

表2　實驗節點參數配置

如圖3、圖4是系統在不同數據集下的性能測試結果。圖3是10萬條數據和100萬條數據在不同維度情況下的性能測試結果。實驗結果表明，在數據集記錄數相同時，隨著屬性維度的增加，系統執行所需時間不斷增加。圖3中，當維度低于50時，10萬條記錄和100萬條記錄執行時間差較小，執行時間在3～25 s；當屬性維度高于50維時，執行時間都偏高。這是由于：（1）隨著屬性維度的增加，候選屬性組合數呈指數增加。（2）隨著候選屬性組合數量的增長，使構建與候選屬性組相對應的數據子集的CPU開銷、磁盤I/O和網絡傳輸開銷均顯著增加。（3）在計算出候選屬性組的推薦系數時，所需要的CPU開銷也隨著候選屬性組合數量的顯著增長而增加。

圖3　10萬條和100萬條數據執行時間

為驗證數據量對系統效率的影響，對100 MB和500 MB的數據集在不同維度情況下進行測試，實驗結果如圖4所示。維度相同的情況下，500 MB數據執行所需時間明顯長于100 MB。數據量相同的情況下，維度越高，所需執行時間越長。

圖4　100 MB和500 MB數據執行時間

圖3、圖4實驗結果表明，該系統針對屬性維度低于50的數據集，通常能夠在幾十秒內推薦出合適的可視化展示模式；系統針對高維度、數量大的數據集，亦能相對高效地完成推薦。

6　用戶評價實驗

上一章驗證DRVisSys系統的性能，本章邀請用戶使用真實數據進行實驗，通過獲取用戶對該系統推薦圖表的反饋來檢驗推薦效果。為此，該實驗選擇10個真實數據集（包含醫療數據、金融數據、NBA球員比賽數據）。實驗招募16名計算機學院的在校碩士生參與實驗，參與者有從事數據分析的人員和非數據分析方向的人員。對推薦滿意度進行對比分析，本文選擇VizAssist系統做實驗對比。實驗步驟如下：

（1）利用DRVisSys系統和VizAssist系統對10個真實數據集進行實驗。兩個系統在對不同數據集進行實驗時，同時對同一數據集的推薦圖表進行對比分析，比較各系統的推薦效果。

（2）16位參與者為系統推薦的前5個圖表打分（滿分為10）。參與者在評分前，需要對當前數據集進行了解，從而能更好地判斷當前推薦是否有價值、有意義，推薦圖表是否符合用戶需求。

統計前5個推薦可視化圖表平均評分情況，結果如表3所示。

從表3可以看出，DRVisSys系統的推薦效果明顯好于VizAssist系統。DRVisSys系統采用典型關聯算法整體分析屬性之間相關關系，并且采用層疊馬爾可夫算法對重要實體屬性加權。VisAssist系統通過屬性權重確定推薦屬性，并采用交互式遺傳算法修改屬性權重，重新生成推薦圖表。從推薦效果上看，本文中采用的算法推薦效果更好，同時也說明屬性之間關聯性是數據價值的潛在表現。

7　結束語

對大規模復雜多維數據進行分析時，現有的可視化分析工具需要耗費大量時間進行反復迭代計算，并且存在對多維屬性子集探索空間不夠大，對分析人員技術門檻高和分析過程自動化程度不夠高等問題。本文設計并實現了基于屬性相關性分析的可視化推薦系統DRVisSys，運用典型關聯分析算法完成非平凡屬性組的選擇，并基于VKB技術的知識庫構建合適的可視化展示模式。同時，針對執行效率問題，引入并行執行查詢和基于公共表達式的查詢重寫技術。實驗結果表明，DRVisSys系統能快速為不同維度的數據集推薦出合適可視化展現模式。

表3　可視化推薦圖表評分統計表

參考文獻：

[1]Grammel L，Tory M，Storey M A.How information visualization novices construct visualizations[J].IEEE Transactions on Visualization and Computer Graphics，2010，16（6）：943-952.

[2]Mackinlay J，Hanrahan P，Stolte C.Show me：Automatic presentation for visual analysis[J].IEEE Transactions on Visualization and Computer Graphics，2007，13（6）：1137-1144.

[3]Dan M.Tableau your data!：Fast and easy visual analysis with tableau software[M].[S.l.]：Wiley Publishing，2013.

[4]Bouali F，Guettala A，Venturini G.VizAssist：An interactive user assistant for visual data mining[J].The Visual Computer，2016，32（11）：1447-1463.

[5]Wongsuphasawat K，Moritz D，Anand A，et al.Voyager：Exploratory analysis via faceted browsing of visualization recommendations[J].IEEE Transactions on Visualization and Computer Graphics，2016，22（1）：649-658.

[6]Naimi A I，Westreich D J.Big data：A revolution that will transform how we live，work，and think[J].American Journal of Epidemiology，2014，47（17）：181-183.

[7]梁吉業，馮晨嬌，宋鵬.大數據相關分析綜述[J].計算機學報，2016，39（1）：1-18.

[8]Gotz D，Wen Z.Behavior-driven visualization recommendation[C]//Proceedings of International Conference on Intelligent User Interfaces，Sanibel Island，Florida，USA，2009：315-324.

[9]Vartak M，Rahman S，Madden S，et al.SEEDB：efficient data-driven visualization recommendations to support visual analytics[J].Proceedings of the VLDB Endowment，2015，8（13）：2182-2193.

[10]Broeksema B，Telea A C，Baudel T.Visual analysis of multi-dimensional categorical data sets[C]//Proceedings of Computer Graphics Forum，2013：158-169.

[11]Gnanamgari S.Information presentation through default displays[M].[S.l.]：University of Pennsylvania，1981.

[12]Senay H，Ignatius E.A knowledge-based system for visualization design[M].[S.l.]：IEEE Computer Society Press，1994.

[13]Giannikis G，Makreshanski D，Alonso G，et al.Shared workload optimization[J].Proceedings of the VLDB Endowment，2014，7（6）：429-440.

[14]Dalvi N N，Sanghai S K，Roy P，et al.Pipelining in multi-query optimization[J].Journal of Computer and System Sciences，2003，66（4）：728-762.

[15]Sellis T K.Multiple-query optimization[J].ACM Transactions on Database Systems（TODS），1988，13（1）：23-52.

[16]Dan K.A singularly valuable decomposition：The SVD of a matrix[J].College Mathematics Journal，1996，27（1）：2-23.

[17]俞鴻魁，張華平，劉群，等.基于層疊隱馬爾可夫模型的中文命名實體識別[J].通信學報，2006，27（2）：86-94.