基于眼動軌跡分析的BPPV 診斷算法研究*

劉津銘 蔡躍新 曾俊波 唐小武 區永康 葉偉杰 葉鴻生 熊彬彬 黃 棟

（1.華南農業大學數學與信息學院 廣州 510642）（2.中山大學孫逸仙紀念醫院 廣州 510120）（3.珠海市中西醫結合醫院 珠海 519020）

1 引言

眼動研究是醫學、心理學等領域的一個重要研究方向，通過觀察眼動可以很好地解釋某種病癥或人類豐富且雜亂的神經心理學過程［1］。目前大多數研究是在某個特定任務下（例如瀏覽圖像、閱讀文本、視覺搜索等）追蹤眼球運動或借助人眼的注視點等信息對人類行為進行分析。在醫學領域的眼動研究多用于疾病診斷，良性陣發性位置性眩暈（Benign Paroxysmal Positional Vertigo，BPPV）［2］又稱為耳石癥，患者發病時會產生頭暈癥狀并伴有眼震，醫生可以通過觀察患者的眼動情況來進行診斷。

由于在眼動視頻上進行直接觀測與診斷容易對眼震特征不明顯的患者造成漏診或誤診，而當前對眼動軌跡的自動分析研究仍然非常匱乏，對BP?PV 診斷的相關研究工作缺少利用眼動軌跡潛在信息。對此，本文提出了一種基于時序軌跡的BPPV診斷模型，將基于深度學習的目標檢測器和基于時序軌跡分析的分類器相結合，對眼動視頻進行檢測并提取眼動軌跡做分類與診斷，同時針對類別不平衡問題，結合數據增強對其進行應對，并在500 個病例數據的實驗中對診斷結果進行了評估。實驗表明，所提出的模型可以有效應對各種復雜情況下的人眼檢測，并在保證檢測精度的同時提升BPPV診斷的準確度。

2 基于時序軌跡的BPPV診斷模型

2.1 基于目標檢測的眼動軌跡提取

通用目標檢測算法是在給定圖像中識別出目標的位置（object localization）的同時預測出類別（object classification），并用標有置信度的矩形邊界框對檢測目標進行標記［3］。目前通用目標檢測算法主要可以分為兩種類型。一種是兩階段（two-stage）檢測算法，首先通過卷積網絡得到候選區域，然后再對每個候選區域進行分類來得到預測的目標類別。另一種是單階段（one-stage）檢測算法，將目標檢測轉換成一個回歸或分類任務，可以不預先單獨得到候選區域，而是采用統一的框架直接確定邊界框位置和目標類別，因此檢測速度較快。典型的單階段檢測算法包括YOLO［4～5］和SSD［6］等。

本文采用YOLOv4［7］模型對眼動視頻中的眼球虹膜進行目標檢測。與YOLOv3［8］算法相比，YO?LOv4 的主干特征提取網絡將帶有跨階段局部網絡（CSPNet）［9］的Darknet53網絡代替原來的Darknet53網絡，同時也將Mish 激活函數代替原來的Leakey ReLU 函數。頸部網絡不僅采用了多尺度特征融合的SPP（Spatial Pyramid Pooling）［10］以利用數據上下文特征，還在三個有效特征層的尾部添加PANet（path aggregation network）［11］用于特征的反復提取，頭部預測部分的分類回歸層繼續沿用YOLOv3 的頭部。實驗表明，所訓練模型可檢測出多種人眼狀態，在半遮擋情況下也能捕捉到虹膜區域，檢測效果示例如圖1 所示。值得注意的是，本文的目標在于捕捉眼球運動軌跡，由于YOLOv4 已經可以提供非常準確的眼球虹膜目標檢測效果，采用更復雜目標檢測模型的必要性較為有限。

圖1 在眼動視頻中的目標檢測效果

本文在進行目標檢測的同時，提取其眼動軌跡的時間序列。眼動軌跡的提取基于圖像中的檢測到的人眼區域，以檢測框的中心作為虹膜中心，計算并記錄視頻每幀圖像下左右眼檢測框的中心值，由此得到雙眼的眼動時序軌跡（如圖2 所示）。由于眼震是眼球震顫，眼震的頻率、幅度、方向、程度不同會導致眼球的移動位置在短時間內出現的變化不同，可能是細微的也可能是明顯的。隨時間變化的眼動軌跡可視化效果見圖3。

圖2 以矩形邊界框的中心作為虹膜中心提取軌跡

圖3 眼動軌跡可視化

2.2 基于眼動軌跡分析的分類模型

時間序列由根據時間順序測量和排列的數值組成［12］，時序數據復雜且包含大量與時間屬性相關的隱藏信息，即數據內部相鄰時刻的信息通常情況下具有某種相關性，屬于流數據，對時序數據的分析和挖掘已經成為大數據分析領域的熱點。時間序列分類和預測應用在智能交通、智慧金融、智慧醫療等領域，意義重大，影響深遠。對于時間序列分類（TSC）［13］，相似性度量是其關鍵。相比于常規數據，時序數據往往存在長度不等的問題，傳統的歐氏距離往往不能適用。對此，本文采用基于動態時間歸整（Dynamic Time Warping，DTW）的時間序列相似性度量［13］。

值得注意的是，在基于DTW 的時間相似性度量下，傳統支持向量機（Support Vector Machine，SVM）［14］、深 度 神 經 網 絡（Deep Neural Network，DNN）［15］等分類器因缺少相同長度的向量化特征而無法適用。對此，因其能夠以樣本相似度作為算法輸 入，本 文 將 采 用k 近 鄰（k-Nearest Neighbor，k-NN）［16］作為眼動時序數據的分類器。k-NN 算法可基于相似性度量，在訓練集中找到若干個與給定的測試樣本最相近的訓練樣本，然后使用“投票法”進行預測，預測的類別在k 個樣本中類別標記出現最多［17］。眼動軌跡記錄了依時間為序排列的眼球移動位置，且由于眼動視頻時長不等長導致時間序列不等長，本文分類器選擇基于DTW 相似性度量的k-NN分類器進行訓練和預測。

在上一節的處理中，每段視頻可分別提取出左眼和右眼的眼動軌跡。因此，在眼動軌跡分析過程中，可對三種情況進行分析（亦將進行對比實驗），分別是：僅用左眼軌跡進行測試診斷，若測試樣本被預測為眼動異常，則判定這是個患有BPPV 的患者；僅用右眼軌跡進行測試診斷，若測試樣本被預測為眼動異常，則判定這是個患有BPPV 的患者；使用雙眼軌跡進行測試診斷，若測試樣本的左右眼兩條軌跡同時被預測為眼動異常，則判定這是個患有BPPV的患者。

3 實驗結果與分析

在本節中，本文將在“眼動視頻”數據集上進行實驗，在進行目標檢測的同時提取眼動軌跡，并進行數據增強操作，最后對診斷結果進行對比與分析。

3.1 實驗設置

本文實驗采用的操作系統為Linux 系統，顯卡是用24GB 顯存的英偉達3090，深度學習框架為Pytorch，Torch 版 本 為1.7.0，Cuda 版 本 為11.0，Cudnn 版本為v8.0.5。

在訓練檢測模型之前隨機選取了10 個眼動視頻，并從每個被選出的視頻中每隔10 幀獲取一張圖片作為一個檢測數據，最終手動標注了608 張圖片，并按照8：1：1 的比例劃分訓練集：驗證集以及測試集。令初始學習率為0.001，Epoch 為150，Minibatch size 為32。在本文實驗中，主要的檢測類型分為兩類：cross（十字形記號）、eye（眼睛），依據eye 類別的矩形邊界框提取軌跡。

在訓練分類模型之前，從眼動軌跡數據集的兩種類別中分別隨機選取80%作為訓練集，剩下的20%作為測試集，將被選中作為訓練集的訓練樣本的左右眼軌跡一起輸入分類模型中訓練，并只對訓練數據做數據增強操作。在第3.7 節中，本文將進一步進行實驗測試所用的診斷模型在不同k 值下的性能（見表5）。

表5 不同k值的性能影響（%）（最高得分以粗體表示）

3.2 實驗數據集與評價指標

本文實驗將在“眼動視頻”數據集上進行，數據集包含兩種類別，分別是眼動正常（normal）和眼動異常（abnormal）。這些初始數據均為視頻格式，各類數據的具體情況如表1所示。

表1 實驗數據表

為對比在類別不平衡情況下數據增強的性能，本文采用了三種常用的評價指標，分別是精確率（precision）、召回率（recall）和準確率（accuracy）［18］。本文實驗的精確率、召回率針對患者類別進行計算。

3.3 數據增強方法

類別不平衡（class-imbalance）［19］是指在分類問題中某些類別的訓練樣本顯著多于其他類別的情況。針對類別不平衡問題以及時序數據的特點，本文運用了三種數據增強［20］方法對眼動軌跡進行擴充，但只針對訓練集進行，分別是翻轉（flip），剪切（crop）和抖動（jitter），以達到增加訓練樣本和提高診斷準確率的目的。我們在圖4 中舉例說明了時間序列進行數據增強后的變化。

圖4 時間序列數據增強圖示

翻轉（flip）是通過首尾翻轉原始的時間序列x1,…,xS得到新的時間序列，其 中。在本文實驗中，首尾翻轉后新序列的標簽與原始的時間序列保持一致。

剪切（crop）［21］是一種提取子樣本的方法，原理是從原始時間序列中隨機裁剪片段，可設置片段的長度，一般不與原始時間序列等長，片段的標簽與原始時間序列保持一致。

抖動（jitter）是指軌跡的理想時序與實際時序之間的偏差。在本文實驗中，通過對原始樣本做輕微的小幅度數值調整得到新序列，達到擴充數據的效果，新序列樣本的標簽仍然與原始的時間序列保持一致。

3.4 數據增強次數對非平衡類別的性能影響

本節實驗在k=1 的情況下對非平衡類別在不同數據增強次數下進行性能對比（使用雙眼軌跡進行測試）。實驗對比包括：（A1）正常樣本無增強，異常樣本無增強；（A2）正常樣本剪切增強4 次，異常樣本無增強；（A3）正常樣本剪切增強4 次，異常樣本翻轉增強1 次；（A4）正常樣本剪切增強5 次，異常樣本翻轉增強1次。其中（A3）為對照組。

如表2 所示，并非增強次數越多模型的診斷性能越好。當只對正常樣本剪切增廣4 次時，效果不佳。而當正常樣本剪切增強5 次，異常樣本翻轉增強1 次時，準確率和對患者診斷的精確率和召回率都不如（A3）。當正常樣本剪切增強4次，異常樣本翻轉增強1 次時，模型在不降低準確率的前提下對患者診斷的精確率提高到了92.5%，召回率不低于90%，因此（A3）的增強組合優于其他增強次數的組合，能得到較高的精確率和召回率。

表2 在k=1的情況下非平衡類別在不同數據增強次數下的性能表現（%）（最高得分以粗體表示）（（A1）無增強；（A2）Crop4次+Flip0次；（A3）Crop4次+Flip1次；（A4）Crop5次+Flip1次）

3.5 數據增強類別的性能影響

在本節實驗中，本文將在k=1 的情況下對比眼動軌跡時間序列在不同增強方法下的性能（使用雙眼軌跡進行測試）。實驗對比包括：（B1）正常樣本剪切增強4 次，異常樣本翻轉增強1 次；（B2）正常樣本翻轉增強4 次，異常樣本翻轉增強1 次；（B3）正常樣本剪切增強4 次，異常樣本剪切增強1 次；（B4）正常樣本抖動增強4 次，異常樣本抖動增強1次。（B5）正常樣本增強4 次，異常樣本增強1 次，每次增強從抖動和剪切兩種增強方法中隨機二選一；（B6）正常樣本增強4 次，異常樣本增強1 次，每次增強從抖動和翻轉兩種增強方法中隨機二選一；（B7）正常樣本增強4 次，異常樣本增強1 次，每次增強從剪切和翻轉兩種增強方法中隨機二選一。

表3 給出了時間序列在不同增強方法下的精確度（%）、召回率（%）和準確率（%）得分。如表所示，無論是單獨使用一種增強方法還是每次增強隨機選擇增強方法，準確率以及對患者診斷的精確率不如（B1）。因此（B1）的增強組合優于其他增強類別的組合，能得到較高的精確率和召回率。

表3 在k=1的情況下數據增強類別的性能影響（%）（最高得分以粗體表示）（（B1）Crop4次+Flip1次；（B2）Flip4次+Flip1次；（B3）Crop4次+Crop1次；（B4）Jitter4次+Jitter1次；（B5）每次Jitter、Crop二選一；（B6）每次Jitter、Flip二選一；（B7）每次Crop、Flip二選一）

3.6 使用單眼軌跡與雙眼軌跡的性能影響

在本節實驗中，本文將對正常樣本剪切增強4次與異常樣本翻轉增強1 次后在k=1 的情況下對比單眼軌跡與雙眼軌跡的性能。如表4 所示，使用雙眼軌跡對患者診斷的精確率優于僅使用單眼軌跡，精確率和召回率越高，漏診或誤診的情況越少。

表4 在k=1的情況下使用單眼軌跡與雙眼軌跡的性能影響（%）（最高得分以粗體表示）（（C1）使用雙眼軌跡；（C2）僅使用左眼軌跡；（C3）僅使用右眼軌跡）

3.7 不同k值的性能影響

在k-NN 算法中，k 值的大小會直接影響模型的性能。如表5 所示，給出了對正常樣本剪切增強4 次與異常樣本翻轉增強1 次后在k=1、k=3、k=5 和k=7 情況下使用雙眼軌跡測試的性能對比。值得一提的是，將k=1 和動態時間規整距離結合起來可以得到較優的診斷性能。當k=1 時，對患者診斷的的精確率和召回率都優于其他k 取值，這表明在眼動軌跡的分類時最近鄰可以給出較為可靠的信息。因此，對正常樣本剪切增強4 次與異常樣本翻轉增強1次、使用k=1進行訓練，使用雙眼軌跡進行診斷能（在測試集上）得到最佳的診斷性能。

4 結語

本文在BPPV 的診斷問題上，提出了一種基于眼動時序軌跡分析的BPPV 診斷模型。本文利用基于深度學習的目標檢測器和基于時序軌跡分析的分類器相結合的方法，對捕捉到眼震特性的眼動軌跡進行數據增強和分類，實驗證明其在對BPPV的診斷上取得了較佳診斷性能，可以輔助醫學診斷，增加診斷效率，減少只用裸眼觀察造成的漏診或誤診。在未來研究工作中，本文的眼動軌跡分類模塊一方面可以探索更多針對時間序列的數據增強方法，另一方面也可將其他處理時間序列的深度或非深度模型應用到該任務上，以進一步提升BP?PV診斷的準確性。