基于圖神經網絡的醫(yī)療物資智能調度研究優(yōu)化

黃承寧，李 娟，陳嘉政

(南京工業(yè)大學浦江學院，江蘇 南京 211222)

0 引 言

隨著電子商務興起，物資調度系統(tǒng)應用已經深入到人們的生活學習之中，如何讓調度與物資路線更加智能化、配送成本與效率反相關等已經成為更多研究人員的課題。傳統(tǒng)廣泛應用的是蟻群算法為基礎的路徑構建[1]，但是隨著物資處理數(shù)量劇增，逐漸顯現(xiàn)出計算復雜度高、收斂速度慢、全局最優(yōu)缺失等問題。在這種情況下準確的醫(yī)療物資運輸和病患分流狀況實時預測對于醫(yī)療工作者，確診患者和疑似病患，以及企業(yè)部門和政府而言至關重要。

隨著移動物聯(lián)時代的到來，各類數(shù)據(jù)呈爆炸式增長，對于大數(shù)據(jù)的研究已滲透到人們生活的各個方面。機器學習、深度學習等算法的提出讓研究人員得以充分發(fā)揮數(shù)據(jù)的規(guī)模效應。獲取到的大規(guī)模的數(shù)據(jù)在一定程度上把研究人員從愈加復雜的數(shù)學模型中解放出來，使得他們專注于數(shù)據(jù)本身，大大提高了系統(tǒng)的適用性、可靠性以及魯棒性[2-3]。機器學習、深度學習等前沿技術在圖像、語音、文字處理等方向的成功應用也給物資調度系統(tǒng)的優(yōu)化帶來了新的思路。以機器學習算法為基礎，以影響資源調度的各因素作為輸入，以成本節(jié)約最優(yōu)、配送效率最快的配送方案及路線作為輸出，進行訓練、學習，得到一種精度高、可靠性高、魯棒性高的物資智能調度算法。

在交通研究中，交通流量的基本變量即通常選擇速度、體積和密度作為指標，監(jiān)控交通狀況的當前狀態(tài)以及預測未來。根據(jù)預測的時長，流量預測通常分為兩個等級，即短期和中長期。最普遍統(tǒng)計方法(例如，線性回歸)能夠在短期預測中表現(xiàn)良好。但是，由于對于交通流量的不確定性和復雜性，這些方法對于相對長期的預測而言效果較差。以前關于中長期流量預測的研究可以大致分為兩類：動態(tài)建模和數(shù)據(jù)驅動的方法[4]。動態(tài)建模用數(shù)學工具和物理通過計算來解決交通問題的數(shù)學建模。為了達到穩(wěn)定狀態(tài)，模擬過程不僅需要復雜的系統(tǒng)編程，也消耗了大量計算功率。不切實際的假設和簡化建模也會降低預測準確性。因此，隨著交通數(shù)據(jù)收集和存儲技術的快速發(fā)展，許多研究人員正在將他們的注意力轉到數(shù)據(jù)驅動的方法上。

通過為每個醫(yī)療點運輸路線建模，并記錄每個節(jié)點與其可能存在交互車輛之間的邊緣，從而獲得交通場景的稀疏點陣，存儲為一個圖特征。同時，已顯示該機器學習模型，尤其是深度神經網絡在這個問題上表現(xiàn)良好。然而學習模型對固定大小的數(shù)據(jù)進行操作并具有固定的空間組織，例如單個數(shù)據(jù)點，時間序列或圖像輸入。直到最近才出現(xiàn)圖神經網絡(GNN)，即人工深度神經網絡在圖數(shù)據(jù)上運行的計算圖模型，并享有顯著成功。這大大改善了可擴展性，同時提高了性能。

GNN在對圖形中節(jié)點間的依賴關系進行建模方面能力強大，使得圖分析相關的研究領域取得了突破性進展。但由于圖結構數(shù)據(jù)的表示一般是不規(guī)則的，傳統(tǒng)的GNN等模型無法直接運用在圖數(shù)據(jù)上，所以需要在圖上重新定義卷積操作，因此，在捕獲結構化依賴上扮演著中心角色的圖卷積網絡GCN應運而生[5-7](見圖1)。

圖1 從GNN到GCN

1 基于深度學習的搜索算法

在智慧醫(yī)療建設中，除了醫(yī)學和生物學研究外，理論研究以及基于統(tǒng)計或數(shù)學建模的實體也可能發(fā)揮不可忽略的作用。對于了解疫情的流行特征，預測疫情并確定遏制蔓延的措施。物資調度路徑非常適合用圖數(shù)據(jù)來表達，如調度路徑網絡中的節(jié)點以及節(jié)點與節(jié)點之間的關系。對于圖數(shù)據(jù)既要考慮節(jié)點信息，也要考慮結構信息，而圖卷積神經網絡正好可以自動化地既學習節(jié)點特征，又能學習節(jié)點與節(jié)點之間的關聯(lián)信息。因此圖神經網絡模型對于優(yōu)化控制交通運輸有著巨大的作用。

1.1 醫(yī)療調度運輸流量預測

根據(jù)Lef‘evre等人的調查，將車輛行為預測模型分為基于物理、基于機動和交互覺察三種模型[8]。

基于物理的模型通常假設車輛沒有動作，而是使用恒定速度或加速度，然后僅根據(jù)物理模型預測運動。這些模型可以用于跟蹤[9]，但通常智能預測瞬時運動狀態(tài)。

基于機動的模型使用一組機動原型并使用基于聚類的聚類直接匹配過去的軌跡方法或使用機器從車輛特征學習方法[10]。這些做法可以進行更復雜的機動，但無法考慮互動。

交互意識模型旨在根據(jù)已有車輛的狀態(tài)進而預測車輛輸出模型。這些預測模型包括擴展沖突的基于機動的模型、耦合隱馬爾可夫模型(HMM)以及對實體依賴或基于機器學習的模型等[11]。根據(jù)基于機器學習模型的復雜度不同，可以使用簡單的前饋神經網絡創(chuàng)建用于蒙特卡洛的快速模型樹搜索算法。也可以使用用于相同任務的循環(huán)神經網絡(RNN)，或使用生成對抗式模仿學習從而強化學習駕駛行為。

1.2 卷積圖神經網絡

圖像上的卷積規(guī)則網格的標準卷積顯然不適用于一般拓撲圖。GCN的本質目的就是用來提取拓撲圖的空間特征。當前有兩種基本方法探索如何將CNN概括為結構化數(shù)據(jù)形式。一種是擴展卷積的空間定義[12]，另一種是在圖傅里葉變換的光譜域[13]。前一種方法將頂點重新排列為可以通過常規(guī)卷積處理的某些網格形式操作，即空域可以類比到直接在圖片的像素點上進行卷積。后者介紹光譜通常在頻譜域中應用卷積的框架稱為頻譜圖卷積[14]，即頻域可以類比到對圖片進行傅里葉變換后再進行卷積。幾次改進研究使圖卷積更具前景，將計算復雜度從O(n2)降低到線性相關。

圖卷積神經網絡實際上跟CNN的作用一樣，就是一個特征提取器，只不過它的對象是圖數(shù)據(jù)。在GCN中，精妙地設計了一種從圖數(shù)據(jù)中提取特征的方法，從而可以使用這些特征對圖數(shù)據(jù)進行節(jié)點分類(node classification)、圖分類(graph classification)、邊預測(link prediction)，還可以得到圖的嵌入表示(graph embedding)[15]。GCN的核心部分就是可以很好地提取圖數(shù)據(jù)結構的特征，通過kernel小窗口在圖片上平移，通過卷積的方式來提取特征，且圖片結構具有平移不變性：一個小窗口無論移動到圖片的哪一個位置，其內部的結構都是一模一樣的，可以實現(xiàn)參數(shù)共享。

卷積提取特征過程如圖2所示。

圖2 卷積提取特征過程

上文介紹了圖卷積神經的概念，假設基于頻譜圖卷積信號為G，則G為信號維度x2Rn與核的乘積，如公式(1)所示。

Gx=(L)x=(UUT)x=U*UTx

(1)

而其中傅里葉變換D∈Rn×n是歸一化拉普拉斯算子的特征向量。

(2)

通過使用上述算法，可以把交通運輸情況轉化為大規(guī)模圖數(shù)據(jù)進行運算，作為疫情期間交通運輸?shù)膬?yōu)化策略。

2 算法優(yōu)化實現(xiàn)

GCN是一種基于節(jié)點的圖分類或預測的方法。類似于圖像或時間序列上的卷積，GCN在所有節(jié)點上應用相同的操作。像其他神經網絡一樣，它由一系列相繼應用的不同參數(shù)層定義。假設有一批圖數(shù)據(jù)，其中有N個節(jié)點(node)，每個節(jié)點都有自己的特征，設這些節(jié)點的特征組成一個N×D維的矩陣X，然后各個節(jié)點之間的關系也會形成一個N×N的矩陣A，稱為鄰接矩陣(adjacency matrix)。X和A便是模型的輸入。

在數(shù)據(jù)輸入到輸入層之前要先對數(shù)據(jù)進行預處理，卷積神經網絡的輸入數(shù)據(jù)需要進行標準化處理才可以使用，若輸入值為像素而像素的大小范圍是在[0,255]之內，則卷積神經網絡的輸入值是通過歸一化取得的像素值與255的比值，將數(shù)據(jù)歸一化在[0,1]的區(qū)間范圍內。卷積層的功能是對輸入到卷積神經網絡的數(shù)據(jù)進行深入的分析得到數(shù)據(jù)的最具有代表性的特征。卷積層是通過卷積核來實現(xiàn)卷積的。卷積層的主要特征在于卷積核、卷積層參數(shù)和激勵函數(shù)。卷積神經網絡的輸出層的上一層一般是全連接層，把所有的特征都作用在神經元上，連接所有學習到的特征將輸出值送給分類器，一般選擇Softmax分類器，最終輸出分類標簽。

2.1 基本模型

GCN也是一種神經網絡，每一層都使用卷積機制，層與層之間的傳播方式如公式(3)：

(3)

其中，H是每一層的特征，對于輸入層的話，H就是X，H(l+1)是第l層的激活，σ是非線性激活函數(shù)，A是在節(jié)點之間添加了自連接的鄰接矩陣，D是度向量A中的一個，而W(l)是第l層可學習的權重矩陣。

通過公式(3)，不僅可以很好地提取圖的特征，且若向GCN輸入一個圖，通過若干層GCN每個node的特征從X變成了Z，無論中間有多少層，node之間的連接關系，即A，都是共享的，很好地實現(xiàn)了層特征傳播。具體圖神經卷積[16-17]如圖3所示。

圖3 圖神經卷積

這等效于局部頻譜濾波器的一階逼近，但具有兩個關鍵優(yōu)勢：圖拉普拉斯算子不需要反轉，這將導致更高的計算成本，并且指定了轉換l層的大小恰好將節(jié)點的l度鄰域考慮在內。因此，計算復雜度在邊緣的數(shù)量上線性地縮放，并且可以考慮未直接連接到自我車輛的車輛。這使其比相鄰車輛的直接編碼更有效。

2.2 對GCN的優(yōu)化

為了探索圖拉普拉斯矩陣為指明的隱藏結構，文獻[18]提出了自適應圖卷積網絡(AGCN)。AGCN利用所謂的殘差圖來擴充圖，殘差圖是通過計算節(jié)點對的距離來構造的。盡管AGCN能夠捕獲互補關系信息，但是以O(N2)的計算量為代價。AGCN通過圖的鄰接矩陣學習未知的隱藏結構關系。它通過一個以兩個節(jié)點的特征為輸入的可學習的距離函數(shù)來構造一個所謂的殘差圖鄰接矩陣。

在優(yōu)化過程中主要實現(xiàn)的目標：(1)加快算法收斂速度；(2)盡量避過或沖過局部極值；(3)減小手工參數(shù)的設置難度，主要是Learning Rate(LR)。梯度下降是最流行的優(yōu)化算法之一，并且目前為止是優(yōu)化神經網絡最常見的算法。目前每種深度學習庫都包含各自優(yōu)化實現(xiàn)的梯度下降算法，常見的有Adagrad 、Adadelta、Adam等。在實驗中，每種優(yōu)化算法針對具體需求各有其優(yōu)缺點，通過對優(yōu)化過程中鞍點處理對比來看，效果如圖4所示。

圖4 鞍點處優(yōu)化算法比較

對于GCN，除了提出自適應圖卷積網絡優(yōu)化改進，還存在一些改進，但是目前GCN的分類準確率僅為80%左右，即使增加GCN層數(shù)，準確率也不一定提高。同時GCN容易受到圖結構的干擾，這些圖是隨機的或經過對抗性設計的。擾動的連接性會破壞圖結構，從而嚴重影響GCN在半監(jiān)督學習(SSL)任務中的性能。針對交通中的動圖對GCN健壯性減弱的問題，實驗改進過程中生成了多個輔助圖，每個輔助圖隨機地增加或者刪去一些鄰變。配置使用自適應(A)GCN在生成輔助圖進行半監(jiān)督的學習。通過合適的正則化方法，學習到輔助圖融合的權重，可以實現(xiàn)保障GCN的健壯性。相對于GCN，新型AGCN在噪聲輸入，結構微小擾動和最先進的對抗性攻擊測試中均獲得了顯著改善的性能。

在基本GCN的應用實現(xiàn)過程中，做了重要改變與設置：其中一項就是剩余權重，GCN根據(jù)該節(jié)點鄰域的頻譜分解以及添加的自連接，即節(jié)點本身來計算該節(jié)點的下一層功能。但是，這意味著GCN不能將節(jié)點的自身特征與其鄰居節(jié)點區(qū)別對待。在預測任務中，這似乎是良好性能的重要障礙。因此，刪除了自連接，同時引入了第二個權重矩陣，該矩陣定義了自節(jié)點特征的轉換。變換方程如公式(4)所示。

按距離的權重，是指鄰接矩陣可以是二進制的也可以是加權的，通過反距離評估加權邊，自環(huán)設為1。

前饋輸出，實驗中不再使用完整的GCN，而是將輸出層替換為對每個節(jié)點的功能獨立運行的前饋層，如此可以更好地解耦特征提取(發(fā)生在前幾個GCN層中)和根據(jù)提取的特征進行預測，且GCN層數(shù)不宜多，2～3層(多了容易產生過平滑現(xiàn)象，同時加深網絡會導致模型的效果變差)的效果最佳。

鑒于網絡的輸入數(shù)據(jù)存在調整需求，此時其數(shù)據(jù)位節(jié)點度、節(jié)點信息，節(jié)點K接鄰居信息的concat結果，僅為通過在輸入數(shù)據(jù)中加入度信息和鄰居信息，此情境下若用線性變化和激活函數(shù)代替鄰域節(jié)點聚合操作便能在圖分類任務上取得很好的效果。

3 實驗數(shù)據(jù)與指標評判

3.1 實驗參數(shù)設置

Keras模型有兩種：序貫模型和函數(shù)化模型。序貫模型是層對象堆疊得到的網絡模型，序貫模型不顯示定義輸入層，因此在添加第一層時需要指定輸入數(shù)據(jù)的大小；函數(shù)化模型是將兩個張量分別定為輸入和輸出，并且將與輸入張量和輸出張量相連接的節(jié)點組合成神經網絡模型，函數(shù)化模型顯示定義了隱含層的張量，因此可以更容易地搭建非序列化模型。

由于之前模型中存在算法收斂速度不夠快和沖過局部極值等情況，采用了更小的卷積核和更深的模型參數(shù)設置。

實驗中將文中方法與兩種不同的基于模型的靜態(tài)方法和一種學習的方法進行比較：CVM模型考慮到每輛車都以與觀察到的最后一幀相同的速度(橫向和縱向)繼續(xù)運動；而IDM是微觀交通模擬的常用驅動程序模型，因為它可解釋且無沖突，用它來預測縱向速度的變化并保持車道內位置恒定。

IDM的加速度是根據(jù)free road和interaction項計算得出的。自由道路加速度計算公式如式(5)所示。

(5)

在最大加速度amax的情況下，加速度指數(shù)和期望速度v0是可調參數(shù)，而當前速度v交互項aint定義為：

(6)

到前車的最小距離s0，時間間隔τ和最大減速度b是可調參數(shù)。v是車輛的速度，是其前身的閉合速度。總加速度是自由道路和交互作用加速度之和。由于IDM僅輸出縱向加速度，因此在使用IDM時假設沒有橫向運動獲取NGSIM數(shù)據(jù)集的IDM參數(shù)，對于HighD數(shù)據(jù)集，使用引導的隨機搜索對IDM的參數(shù)進行了調整，總共有20 000個樣本,數(shù)值對比如表1所示。

表1 IDM的優(yōu)化參數(shù)

除了考慮相互作用的模型外，還添加了一個簡單的前饋神經網絡，僅根據(jù)自運載工具的過去數(shù)據(jù)預測軌跡。使用此基準模型來衡量通過將交互包括到模型中而獲得的改進。

3.2 模型配置

每個模型都使用類似的配置：兩層產生256維特征表示，然后是前饋層，產生最終輸出; 所有模型都使用ReLU非線性激活函數(shù)，以避免梯度爆炸和梯度消失問題。GAT采用了四個關注頭，每個都有64維特征表示。

由于GNN模型使用兩層，因此它們的有效接收場是自我傳播工具的兩跳鄰域。所有模型均以固定長度的時間步接收輸入并產生輸出，而不會重復發(fā)生。它們經過訓練可以預測相對于最后位置的位移，并接收每個過去時間步的位置和速度。它們訓練以使所有輸出的均方誤差最小。

在實驗過程中，為了克服激活函數(shù)存在的參數(shù)更新速度非常慢，甚至會造成離期望值越遠，更新越慢的現(xiàn)象，因此在實驗過程將激活函數(shù)改為交叉熵損失，此時梯度不再跟激活函數(shù)的導數(shù)相關，收斂較快，且整個權重矩陣的更新都會加快。

3.3 實驗結果與指標評判

為了驗證模型與算法優(yōu)化結果，以某物流公司的應急調度數(shù)據(jù)為系統(tǒng)測試：假設目標城市C有5種需要物資，分別為P1、P2、P3、P4、P5，需要調用物資數(shù)量分別為2 100、4 000、1 000、840和920，物資調度可用相鄰6個物資儲備倉庫分別為S1、S2、S3、S4、S5、S6。到C所需時間為10、13、21、17、29、18。在文中的優(yōu)化神經網絡調度模型中，可以依據(jù)場地、交通情況、需求緊張等參數(shù)，以優(yōu)化的調度算法實現(xiàn)最短途徑網絡運輸圖，同時神經網絡權值系數(shù)和閾值經過優(yōu)化更新，避免神經網絡陷入局部最小。

在實驗中，通過測量地面真實情況與預測之間的位置誤差來報告模型的性能。報告了五秒鐘的平均位移，每個時間步均加權，五秒鐘后的最終位移。為確保有意義的結果，使用隨機選擇的隨機種子將每次評估重復。在表2中，三組實驗的比較數(shù)據(jù)將所有結果報告為平均標準偏差。

表2 實驗數(shù)據(jù)比較

表2中顯示了選擇不同方法時不同的最優(yōu)選擇：若在標準設置條件下，GAT方法取得最小偏差1.92；在加入邊權重條件下，GAT方法取得最小偏差1.93；在加入殘差條件下，GNN方法取得最小偏差1.93；在加入邊界特征條件下，GAT方法取得最小偏差2.40。

從實驗過程總結可以發(fā)現(xiàn)，充分提取結構信息可以更好地提升神經網絡模型效果，同時節(jié)點的度是一個非常重要的特征，也能夠顯著提升模型效果。

4 結束語

文中將交通場景建模為互動車輛的圖數(shù)據(jù)，從而獲得了靈活而抽象的交互模型，以預測未來交通參與者的行為。使用圖神經網絡，用于圖數(shù)據(jù)的神經網絡構建。實驗中評估了三個計算有效的圖神經網絡方法并針對方案提出了三種改進方案。在具有豐富互動(包括互動)的流量數(shù)據(jù)集中與之前相比，將預測誤差降低了30%以上，達到了最佳基準模型。同時，沒有看到幾乎沒有交互作用的數(shù)據(jù)集的預測誤差增加。

盡管提高了預測質量，但仍有很多工作尚待完成：這項工作僅完成了理論實驗性驗證，還有待進一步在實際復雜交通場景中進行預測優(yōu)化。將此模型整合到現(xiàn)有模型中最先進的方法，尤其是RNN，仍然是開放任務。同時，想探索其他圖構造策略，尤其是自動尋找相關的互動。但同時，該實驗數(shù)據(jù)對于計算現(xiàn)實交通場景的復雜度仍具有挑戰(zhàn)性，尤其在交通環(huán)境出現(xiàn)突發(fā)干擾偏差時。能夠具有瞬時處理突發(fā)情況的動態(tài)模型，仍是研究的突破點和長久攻堅方向。