中醫藥數據隱結構分析平臺—孔明燈網絡版＊

許玉龍，王忠義，呂雅麗，王林景，王 昂，朱紅磊，宋 婷

（1. 河南中醫藥大學信息技術學院 鄭州 450046；2. 香港科技大學計算機科學與工程學系 香港西貢清水灣）

1 前言

隱結構分析是香港科技大學張連文教授為研究中醫藥提出的專用方法[1，2]，屬于無監督學習的一種，底層原理是貝葉斯網絡及概率圖模型。隱結構在分析中醫藥數據時，是基于癥狀等顯式數據的概率同現，從一組癥狀顯變量出發，推導分析出隱藏知識，對隱含的知識進行中醫詮釋，得到相應的隱變量（證候），整個學習過程契合于中醫大夫的診病過程，較適宜研究中醫證候問題[3-6,14]。現有研究成果表明[7,8,12,13,15,16]，該方法已成功用于分析多種疾病的證候數據，并取得較好效果。

在提出隱結構方法的同時，張教授團隊開發了用于隱結構模型學習的單機版軟件Lantern，即孔明燈[9]。該軟件實現了隱結構模型的學習過程，包含了多種模型學習的方法，被國內外相關研究者廣泛使用。該方法在學習模型時，底層維護的是一個特殊貝葉斯網絡，使用期望最大(EM, Expectation-Maximization)等算法學習出整個網絡結構，以及網絡中所有癥狀顯變量節點和隱變量節點的條件概率表，并利用貝葉斯評分規則進行選擇最優模型及參數，這些計算過程都屬于NP(Non-deterministic Polynomial)難問題。所以，單機版孔明燈軟件在模型學習時，存在計算時間長、獨占電腦資源等不足，特別是當分析的數據較大時，需要幾十天的時間才能學習出模型。

因此，為解決單機版孔明燈軟件在計算能力上存在的不足，在張教授及其團隊的指導下，我們基于單機版設計開發了生成隱結構模型的中醫藥數據分析網絡平臺，即孔明燈網絡版。該網絡版不需要下載客戶端程序，采用分布式云服務器方式，三個計算節點能夠并發支持200 個用戶同時使用，并實現7×24 h 全天候計算，在模型學習的效率上較單機版提升5 倍以上。同時網絡平臺還具有業務日志、登錄日志、監控管理等多個附加功能，較大地方便了用戶和管理人員。

2 孔明燈最新單機版(V5.0)功能變化

孔明燈單機版軟件是專用的隱結構模型學習軟件[9]，被國內外隱結構及中醫藥研究者們廣泛使用，自發布以來，軟件經歷了多次更新，最新版本是2018 年發布的5.0 版，我們有幸與香港科技大學張教授團隊合作，參與了5.0 版本的更新及研究工作[10，11]。下面簡要介紹5.0版本的主要功能變化。

2.1 調整的算法

1）雙步隱樹分析,包含 BI 算法（Bridge Island）和LTM-EAST 算 法（Latent Tree Model - Extension Adjustment Simplification until Termination algorithm）。BI 算法適合初步分析，由于采用貪心算法計算求出局部最優解，所以運行時間較短，得到的隱樹質量一般；LTM-EAST 算法適合正式分析，它對所有的可能解進行遍歷求出全局最優，運行時間較長，得到隱樹質量較高。需要說明的是，上述BI和LTM-EAST算法運算時，一般接收的是所有癥狀（屬性）數據，得到模型反映整體所有屬性，這是第一步。然后，第二步再根據醫學知識，挑選反映某側面的癥狀進行綜合聚類，得到最終三層模型，進行后續的模型詮釋、建立辨證規則等操作。

2）隱類模型分析（LCM，Latent Class Model）。隱類分析得到的是一個隱變量的兩層隱樹模型，該方法已被廣泛應用于西醫疾病的診斷，并取得了較好的成果[7，8]。

3）單 步 隱 樹 分 析（UC-LTM，Unidimensional clustering-Latent Tree Model）。稱為單維聚類的隱樹分析，該方法接收的是根據醫學知識挑選好的某些特定癥狀(屬性)數據，分析之后不需再綜合聚類，直接得到最終的三層隱樹模型。依據得到模型可進行后續的模型詮釋、建立辨證規則等操作。

2.2 新增的功能

1）建立辯證規則功能。對于得到的模型，選擇隱變量節點，點擊右鍵選擇“建立辨證規則”，讀入模型對應的數據文件。然后輸入規則名稱，最后點擊“導出規則”，將自動把準確度高的規則導出為csv 文件在數據的同一目錄下。假設規則名為氣虛證，點擊“導出規則”后，導出規則文件如表1 所示，規則為多行2列數據，第一行第一列元素為規則名，第一行第二列元素為規則閾值。從第二行開始，為癥狀名和分值。

表1 導出的辯證規則表

2）使用規則進行辨證功能。導出某證候規則后，依據該規則文件，可對數據進行辨證。辨證過程：依據規則的閾值和癥狀分值，對原始數據癥狀進行計算分值總和，根據該總分值與閾值的比較來判斷是否屬于該證候。

圖1 氣虛證辯證結果

首先，點擊菜單欄中“分析”---＞“使用規則進行辨證…”，讀入csv 格式數據文件，然后讀入對應csv 格式規則文件。最后進行辨證，辨證結果文件導出在數據文件相同的文件夾下。圖1 為辨證結果，文件名為“氣虛證_辨證結果.csv”，文件中將辨證結果添加到原始數據的最后一列，列名為“氣虛證”，數值1表示有氣虛證，0表示無氣虛證。

3）證候與西醫指標對應分析功能。為分析中醫證候與西醫指標之間的關系，孔明燈5.0 提供了證候與西醫指標對應分析的功能，對比是否存在某證候的兩類人群，發掘哪些西醫指標對證候的存在有較大影響。采用T檢驗原理，得到p和t兩個值，p值表示有無統計學意義，t值表示正負相關性。根據p值最小的幾個指標，發掘西醫指標對判斷是否屬于氣虛證（以氣虛證為例）的影響。以某數據集為例，得到結果如圖2所示，共包含四部分：西醫指標在原始數據中列的序號、西醫指標名稱、t值、p值。

3 孔明燈網絡版平臺構建

雖然孔明燈單機版包含多種模型學習方法，也被國內外相關研究者廣泛使用，但在學習模型時，算法底層維護的是一個特殊貝葉斯網絡，需要學習出整個網絡結構，以及網絡中所有癥狀顯變量節點和隱變量節點的條件概率表，并利用貝葉斯評分規則選擇最優的模型及參數，這些計算過程都屬于NP 難問題。所以，單機版孔明燈在模型學習時，存在計算時間長、獨占電腦資源等不足，特別在處理的數據量較大時，需幾十天時間才能學習出模型。

因此，為解決單機版孔明燈在計算能力上存在的不足，我們基于該軟件最新版(V5.0)，設計開發了學習隱結構模型的中醫藥數據分析平臺，即孔明燈網絡版。網絡版平臺有三個節點組成，一臺web節點部署web服務、一臺數據庫節點部署數據庫、一臺計算節點負責任務的計算，能夠最多支持200 個用戶同時進行7*24 小時的計算，模型學習時間縮短至單機版軟件的五分之一，較大地方便了用戶。目前網絡版平臺正在開放測試中，網址為http://ai.hactcm.edu.cn，其主要功能模塊子系統如下。

3.1 用戶中心子系統

該模塊負責對用戶的管理，包括新增用戶、刪除用戶；權限分配、修改密碼；修改個人資料、重置密碼；凍結用戶、解凍用戶等功能。平均響應時間小于1 s，系統最大響應時間小于3 s。如下圖3所示。

3.2 綜合管理子系統

綜合管理主要負責對用戶的權限管理，包括：1）機構管理：負責科研所、會員單位等的管理；2）字典管理：負責系統字典庫的管理；3）業務日志管理：負責記錄用戶操作的所有日志；4）登錄日志管理：負責記錄用戶登錄操作的日志；5）監控管理：負責記錄數據庫、鏈接池、SQL、Session、Spring 以及API 的監控；6）通知管理：負責發布一些系統公告。如下圖4所示。

圖2 氣虛證與部分西醫指標對應關系

圖3 用戶中心模塊

圖4 綜合管理模塊

3.3 調度中心子系統

調度中心為核心模塊之一，是一個輕量級分布式任務調度框架，負責對任務進行資源的分配，實現負載均衡和更大的負載量。它有三種角色：1)JobClient（任務調度）：主要負責提交任務, 并接收任務執行后的反饋結果；2)JobTracker（任務分配）：負責接收并分配任務，完成任務調度；3)TaskTracker（任務執行）：負責執行任務，執行完反饋給JobTracker。

各個節點都是無狀態的，通過部署多個節點來實現負載均衡和承擔更大的負載量,框架具有很好的容錯能力。采用多種注冊中心（Zookeeper）進行節點信息暴露和主（master）選舉；部署了(Mongo or Mysql)存儲任務的隊列和執行日志，采用netty 實現底層通信，支持實時任務和定時任務(如：3天之后執行)。

具體執行步驟：首先，JobClient 提交任務給JobTracker。對提交的任務，有兩種不同的客戶端做出處理。 一種是當JobTracker 不存在或者提交失敗，直接返回提交失敗。另一種稱為重試客戶端,如果提交失敗，先存儲到本地FailStore(失敗存儲，多線程訪問,做文件鎖處理)，返回給客戶端提交成功的信息，待JobTracker可用時，再將任務提交。接著，JobTracker收到JobClient 提交的任務，將任務存入任務隊列。JobTracker 等待 TaskTracker 的 Pull 請求，然后將任務Push 給 TaskTracker 去 執 行 。 TaskTracker 收 到JobTracker分發來的任務后，從線程池中拿到一個線程去執行。執行完畢之后，再反饋任務執行結果給JobTracker（成功or 失敗[失敗有失敗錯誤信息]）。此時，如果發現JobTacker不可用，那么存儲本地FailStore，等待TaskTracker可用的時候再反饋。反饋結果同時，詢問JobTacker 是否有新的任務要執行。JobTacker 收到TaskTracker 節點的任務結果信息后，根據任務信息決定是否反饋給客戶端。若不需要反饋就直接刪除,否則,直接反饋,反饋失敗則等待重新反饋。最后，JobClient收到任務執行結果，進行后續的邏輯處理。

3.4 分布式計算子系統

分布式計算是系統核心模塊，主要包括算法執行程序。具體負責處理數據、生產數據，讀入用戶提供的數據。采用隱結構BI、EAST 等算法進行分析數據，然后學習得到隱樹模型圖，并展示給用戶。算法執行模塊執行封裝好的算法，調用算法API，并把算法的執行的結果保存到數據庫。此模塊為具體計算模塊，當數據量大時，運行時間較長，幾天至幾十天。在運算過程中，與其他模塊相互通信，保證多個用戶能夠同時運行使用系統，并計算和監控系統使用資源情況。具體如圖5所示。

主要包括：1）在TaskTracker 端提供業務日志記錄器，供應用程序使用，通過業務日志器，將日志提交到JobTracker。這些業務日志通過任務ID 串聯，在Admin 中實時查看任務的執行進度。2）SPI（service provider interface）擴展支持。SPI 擴展可以達到零侵入，只需要實現相應的接口，并實現即可被LTS（lighttask-scheduler）使用。3）任務隊列的擴展，主要支持console，mysql，mongo，用戶也可以通過擴展選擇輸送日志。4）故障轉移，若正在執行任務的TaskTracker 宕機后，JobTracker 立即將在宕機TaskTracker 的所有任務再分配給其他正常的TaskTracker 節點執行。5）節點監控，對JobTracker、TaskTracker 節點進行資源監控、任務監控等，實時在管理員后臺查看，進而進行合理的資源調配。 6）多樣化任務執行結果支持。LTS框架提供四種執行結果支持，EXECUTE_SUCCESS，EXECUTE_FAILED，EXECUTE_LATER，EXECUTE_EXCEPTION，并對每種結果采取相應的處理機制，例如重試。7）FailStore 容錯，采用 FailStore 機制來進行節點容錯，不會因為遠程通信的不穩定性而影響當前應用的運行。

4 孔明燈網絡版使用簡介

前文介紹了網絡版系統的各個功能，本節從用戶角度介紹使用系統來分析數據得到隱樹模型的過程。

圖5 分布式計算子系統

圖6 網絡版系統登錄界面

4.1 讀入數據。

按照孔明燈軟件規定的格式整理好待分析數據，打開系統網址http://ai.hactcm.edu.cn，輸入賬號密碼和驗證碼（聯系作者即可開通賬號），點擊登錄，如圖6所示。

然后點擊分析任務管理→新增任務，彈出如下圖7 對話框，在對話框中輸入任務名稱和讀入數據文件，然后點擊解析，加載數據完成。

4.2 設定參數和算法

加載完數據后，在分析任務管理中，選擇查看設置任務參數，進行修改參數和算法，如圖8 和圖9 所示。在圖9 中設置好參數和算法后，點擊保存按鈕。然后在圖8中點擊運行任務，即可開始模型學習，根據數據量大小其學習所需時間不同。

4.3 查看結果及導出文件

學習得到模型以后，在系統中可查看模型結果、模型詮釋、模型評分、建立規則，同時可以導出模型文件，方便在客戶端程序中進行模型排版。在分析任務監控中，點擊已完成，查看已完成的數據分析結果，如圖10所示。

圖7 添加待分析的數據

圖8 分析任務管理

圖9 設置參數和算法

圖10 中可導出模型BIF 文件，若需要在網絡平臺中查看結果樹，選擇其中某個結果，點擊查看結果樹，觀察該模型樹狀結構，如圖11 所示。在圖11 中，可以對該模型進行詮釋、評價模型、建立辯證規則等操作。

表2 網絡版與單機版運行時間對比表 分鐘

圖10 查看運行結果列表

圖11 孔明燈網絡版得到某模型結構展示

5 計算效率對比及總結

為測試網絡版的計算效力，采用三種不同規模的數據集與單機版進行測試對比。數據集一規模為117行119列、數據集二規模為1087行124列、數據集三規模為8000 行100 列，分別在網絡版和單機版上進行測試，調用算法為LTM-EAST，單機版運行在主流配置的電腦上，運行時間結果如下表2所示。

通過表2 可以明顯看出，網絡版系統的計算效力明顯提高，計算效力較單機版提升5 倍以上。特別是運行數據集三時，由單機版的30 天降低到5 天左右，明顯節省了模型學習時間。

本文為解決隱結構分析軟件孔明燈單機版在計算能力和單點計算的不足，基于單機版的底層算法搭建了隱結構分析的網絡版，該網絡版利用私有云計算資源，動態調整所需計算資源，能夠并發支持200 個用戶同時使用，并實現7*24 h 全天候計算，在實際的數據集測試中，其計算效率較單機版平均提升5倍以上。

同時網絡版還具有業務日志、登錄日志、監控管理等多個附加功能，較大地方便了用戶和管理人員，為推廣和使用隱結構研究中醫藥起到積極的作用，也為中醫藥的傳承和發展做出一定的貢獻。