基于運動視頻和自組織特征映射神經網絡的針刺提插手法量化分類研究

唐文超,楊華元,劉堂義,高明,徐剛

?

基于運動視頻和自組織特征映射神經網絡的針刺提插手法量化分類研究

唐文超,楊華元,劉堂義,高明,徐剛

(上海中醫藥大學針灸推拿學院,上海 201203)

目的 通過自組織特征映射神經網絡(SOM)分析由德國Simi Motion 3D三維運動圖像解析系統導出的教師提插手法參數,獲取手法分類及特征。方法 研究選擇30名針灸教師,取一側“曲池穴”作為施術穴位,記錄提插平補平瀉、補法、瀉法的運動視頻。視頻經由Simi Motion 3D三維運動圖像解析系統分析,得出拇指指尖跟蹤標記點位原始運動參數,通過SOM分析教師手法分類參數。結果 針刺手法參數呈非正態分布,離散度較大;平補平瀉與補法可分為4類,瀉法可分為5類,各分類的特征集中程度一般。結論 針刺手法參數總體上表現為非正態分布的多樣性特征,為典型“人為控制曲線”,表現出神經網絡分類集中度較低的特點,其分類主要根據曲線外形及周期長短進行,且與手法難易程度相關。該技術可應用于各類手法的量化分析與技術傳承研究,并能為針灸規范化與標準化提供參考。

針刺手法;提插補瀉;運動視頻;神經網絡;分類研究

針刺手法作為針刺效應的基礎,也是針灸教育教學的重點,歷來為針灸醫家所重視。自《內經》以來,針刺手法的分類探討不絕于醫林,如《內經》除了對針刺補瀉的施術原則和操作方法作了較全面的論述外,還歸納總結了“攝、爪、切、按、捫、進、退、彈、搖、動”十類單式手法;金元時針灸醫家竇默所著《針經指南》一書,在此基礎上提出了“動、退、搓、進、盤、搖、彈、捻、循、捫、攝、按、爪、切”十四字手法;當代陸瘦燕在總結文獻和臨床實踐經驗的過程中,對針刺手法進行較為科學的分類,其中大類為“基本手法”“輔助手法”與“復式手法”3種。歷史沿革可見諸家由于師承不同,經驗各異,即便同一手法的操作理解也可能不盡相同[1]。

當代學者對針刺手法的量化分類技術已有一定的探索,但仍處于起步階段。如楊霖等[2]采用Apriori關聯和分類規則將ATP-Ⅰ型針刺手法參數采集儀獲得的提插、捻轉手法數據進行挖掘,建立了較為可行的分類技術。胡銀娥等[3]采用聚類分析算法同樣對ATP-Ⅰ型儀器數據進行統計,獲得了針刺手法的一些內部規律。上述研究仍存在有“量化參數為機器數據而非人體操作數據”“分類參數選擇不一”等問題,本研究旨在通過體育運動研究中常用的視頻研究方法獲得針刺人體操作數據,通過神經網絡技術,探究針刺手法的分類依據和參數特征,以為針灸流派傳承提供一定的依據。

1 資料與方法

1.1 一般資料

本研究受試者選擇上海中醫藥大學針灸推拿學院教師30名。納入標準為針灸學專業本科或研究生畢業;擔任2年以上經絡腧穴、刺法灸法或針刺治療等課程教學經歷;具備有一定的臨床實踐基礎。

1.2 試驗環境建立

試驗開始前,將實驗操作臺于平地上放置,攝像機三腳架各腳架調節至指定長度(79 cm)后,張開腳架到最大張角后放置于地面指定點位;攝像機與固定好位置的腳架進行連接后,通過相機內的水平調節器進行水平調節,以保證鏡頭的水平位置,并確認鏡頭中心距離地面為84 cm,測量鏡頭位置與實驗操作臺前端邊緣之間的垂直距離應為33 cm。開啟攝像機與補光燈。設定攝像機光圈F7.1、快門1/1000 s、ISO 6400、自動白平衡、光學變焦33 mm。

1.3 試驗方法

1.3.1 視頻拍攝方法

將小型二維定標框架正對相機鏡頭垂直放置于實驗操作臺的橫軸上,用于三維運動視頻分析軟件Simi Motion 3D進行二維定標操作;手法測試人員和被測試者分別坐于實驗操作臺的左右兩側,選擇被測試者的右側曲池穴行提插平補平瀉、補法與瀉法操作;在測試人員持針手拇指末節尺側,指甲根角側上方0.1寸處用細記號筆描記1個用于視頻拍攝的跟蹤標記點,命名為“拇指指尖點”;同樣在Simi Motion 3D 7.5軟件中建立1個“跟蹤點”以對應上述跟蹤標記點,命名為“thumb right”(拇指指尖點,TR);在Simi Motion中對二維定標框架與實際拍攝的視頻進行疊加,可獲得手指剛體結構的空間位置圖,如圖1所示。通過Simi Motion分析,可獲得每位測試者跟蹤標記點的X、Y軸坐標(coordinate)、運動距離(distance)、X/Y軸速度(speed)、絕對速度(absolute speed)、X/Y軸加速度(acceleration)、絕對加速度(absolute acceleration)。

圖1 二維定標、跟蹤標記點疊加示意圖

1.3.2 Simi Motion生成的典型提插手法特征曲線

生成的典型提插手法特征曲線見圖2。

注:左側為平補平瀉參數曲線,中為補法參數曲線,右側為瀉法參數曲線。各手法參數曲線圖中,左上為視頻,右上、左下、右下分別為TR點Y軸坐標、速度、加速度曲線

1.4 統計方法

1.4.1 Acu-Cycle軟件

為進行各手法參數的統計分析,需先將導出的原始數據進行計算處理,因此課題組基于C#語言編寫了Acu-Cycle軟件,該軟件可以根據TR點的Y軸速度數據計算單周期參數。軟件界面如圖3所示。

圖3 Acu-Cycle軟件界面

1.4.2 基于自組織特征映射神經網絡的手法分類

本研究采用自組織特征映射神經網絡(Self- organizing Feature Maps,SOM)對手法參數曲線進行分類研究,SOM由芬蘭赫爾辛基大學神經網絡專家Kohonen教授于20世紀80年代初提出,為一種無導師監督下的學習型人工神經網絡,主要用途為對輸入的向量進行區域分類[4-6]。在網絡結構上,SOM一般是由輸入層和競爭層構成的兩層網絡。兩層之間各神經元實現雙向連接,而且網絡沒有隱含層。有時競爭層各神經元之間還存在橫向連接。如圖4所示。

在訓練學習的算法上,它模擬生物神經元之間的興奮、協調與抑制、競爭作用的信息處理的動力學原理來指導SOM網絡的學習與訓練工作,能夠對輸入模式進行自組織訓練和判斷,并將其最終分為不同的類型。

圖4 SOM網絡模型

1.4.3 SOM模型的計算方法

SOM作為競爭型神經網絡,以獲勝神經元為中心設定一個鄰域半徑,該半徑圈定的范圍稱為“優勝鄰域”。在SOM網絡訓練算法中,優勝鄰域內的所有神經元(實驗樣本)均按其離開獲勝神經元的距離遠近不同程度地調整權值。訓練伊始,優勝鄰域被定義范圍較大,但該范圍隨著訓練次數的增加不斷收窄,最終收縮到半徑為零,以取得分類特點。

詳細模型計算流程:①初始化,對輸出層各權向量賦小隨機數并進行歸一化處理,得到=1,2,…;建立初始優勝鄰域(0);學習率賦初始值。②接受輸入,從訓練集(即手法曲線集)中隨機選取一個輸入模式并進行歸一化處理,得到,{1,2,…}。③尋找獲勝節點,計算與的點積,=1,2,…,從中選出點積最大的獲勝節點。④定義優勝鄰域()以為中心確定時刻的權值調整域,一般初始鄰域(0)較大,訓練過程中()隨訓練時間逐漸收縮。⑤調整權值,對優勝鄰域() 內的所有節點調整權值i=1,2,…n j?Nj*(t)。⑥重復訓練,上述步驟結束后,若次數記錄格為,則次數記錄格前進1,即為＋1,后重復③～⑤的步驟,直至達到設定的訓練值,本研究中設置訓練值為100次。⑦分類分析,采用③～⑥的步驟對所有樣本進行計算,直至所有的樣本參與到設定的類別之中,以完成自動分類,并輸出以xls為格式的Excel分類結果文件。計算流程步驟如圖5所示。

圖5 計算流程圖

1.4.4 分析軟件

完成上述分類計算通過基于Matlab開發的人工神經網絡數據挖掘軟件完成,開發環境為Matlab 2012b,并安裝SOM神經網絡工具箱,編譯器為Mircrosoft Visual Studio 2010,該軟件集成嵌入至數據管理軟件中,成為其組件之一,軟件界面如圖6。

2 結果

分類軟件可以導出分類柱狀圖和六角圖,柱狀圖橫軸為樣本編號,縱軸為分類號,每個樣本會生成各自的分類柱,柱頂端的圓球對應的縱軸位置即為所屬歸類。六角圖為每個分類的樣本量以及樣本特征集中程度,若該分類所屬樣本特征集中程度越高,六角形內部的白色區域越大。

2.1 提插平補平瀉分為4型

提插平補平瀉分為4型,結果如圖7、圖8,表1所示。

圖6 針刺手法參數曲線自動聚類軟件界面

圖7 提插平補平瀉速度曲線SOM分類結果

表1 提插平補平瀉分類參數

2.2 提插補法分為4型

提插補法分為4型,結果圖9、圖10,表2。

表2 提插瀉法分類參數

2.3 提插瀉法分為5型

提插瀉法分為5型,結果如圖11、圖12,表3。

圖9 提插補法速度曲線SOM分類結果

圖11 提插瀉法速度曲線SOM分類結果

表3 提插補法分類參數

3 討論

3.1 手法周期計算

Simi Motion無法直接計算操作周期及分解周期(T1和T2),需從現有的逐幀標記值內選取某一列作為分析周期基礎數據。常見的曲線周期計算方法主要為曲線擬合,擬合方法可有多種,如線性擬合、非線性擬合、傅里葉變換等。如Ackermann K等[7]采用非線性曲線擬合分析血細胞種群晝夜節律(周期)對健康青年男性急性睡眠剝奪癥的影響,結果顯示獨立參與并與急性睡眠剝奪癥發生的產生關系最為密切的血細胞為CD4(na?ve)細胞。Liu M等[8]采用Logistic增長方程對qRT-PCR反應的進展曲線進行擬合分析,該研究通過非線性最小二乘法確定最佳擬合參數,進而計算Logistic增長方程和二階導數的周期閾值,結果顯示,該方法具有較強的適應性,能普遍應用于各種實驗環境,便于快速對RT-PCR反應的進展曲線進行周期分析。

通過對Simi Motion導出的手法數據進行分析,本次研究采取了分析針刺手法曲線均值及波峰波谷閾值的機制處理周期問題。波峰波谷判斷的基本方法為,若x時間點的速度處于波峰位置,其對應的值為(),那么存在如下的邏輯判斷式;

(－1)＜()＞(＋1)

若其處于波谷位置,那么存在如下的邏輯判斷式:

(－1)＞()＜(＋1)

應用此方法常見的問題主要為鋸齒判斷,即在曲線上升或下降的過程中若出現逆行的小段的趨勢線,則會導致波峰波谷的判斷錯誤。此時較小的鋸齒可采用Simi Motion的filter函數進行濾波來平滑,但較大的鋸齒仍會存在,如圖13所示。

注:藍色箭頭標記處為常見的大鋸齒情況,無法過濾,需程序進行判斷

對于鋸齒問題,首先計算出波峰或波谷存在閾值,通過對所有樣本的計算,得出閾值為均值的上、下浮23.9%,若大于該閾值則判斷為波峰,小于該閾值則判斷為波谷,同時程序設計時還引入波峰、波谷鎖的邏輯判斷變量,以避免出現兩個或兩個以上有效波峰或波谷產生的問題。計算出多個波峰和波谷的實際值后,便可得出該操作者的T1和T2均值,并得出周期值。

3.2 分類研究依據

數據挖掘是近年來隨著人工智能和數據庫技術的交叉融合而興起的邊緣學科,它致力于發現隱含在數據中的關于事物本質和事物發展趨勢的知識或規律,并為專家的決策提供支持[9]。

本課題研究采用了拇指指尖跟蹤標記點主要運動方向的速度曲線作為手法分類的依據,因拇指指尖最接近針身,在提插手法過程中跟隨針身起伏,其Y軸運動情況可反映針身起伏運動情況。通過研究結果可以看出,針刺手法參數曲線可認為是時序曲線的一種,類似血液成分的晝夜起伏節律或大樣本的臨床觀察指標數據等。若該類數據的正態分布情況不佳,對其進行分類研究則尤為必要,分類不僅能準確掌握每個數據類型的規模大小,更可對趨勢預測或模式識別提供必要依據。傳統解決該問題的數據挖掘方法為每條曲線單獨建立模型,然后進行相關計算。有學者[10-11]曾在1996年對2665條電力負荷曲線進行分類計算,以區分電力的消耗模式,結果顯示類似的曲線被聚類于一組,不僅便于對不同模式的總結,也對未來趨勢的預測提供了較大的幫助。同樣為電力負荷曲線,劉莉等[12]提出了k-means聚類算法并結合有效指數準則,對負荷曲線中不良數據的分類提供解決方案。基于曲線分類的數據挖掘技術在中醫藥的某些方面已有了良好的應用趨勢,在中藥復方方面的研究,利用數據挖掘技術發現新的藥對組合,然后用相關的理論進行解釋已經越來越受到重視[13]。將針刺手法參數與數據挖掘技術相結合,也應是本領域的分析研究方式之一[14]。

3.3 分類研究方法相關問題及解決方案

針刺手法參數曲線為周期曲線,因此對于多周期曲線的分類計算存在有一定的困難。首先,曲線起點的不同將影響分類的結果,其次,基線的不同也將影響分類結果。因此分類可行性的首要條件是將各條手法曲線的基線及相位通過計算進行統一,而本課題采用的方法為選擇手法主要運動方向上的速度曲線,并只選擇具有穩定特征的單一周期曲線。因速度曲線具有統一的基準線,即0 m/s的X軸,因此能消除因曲線不同帶來的分類誤差。而采用由零點位開始的完整單一周期速度曲線,則消除了因相位不同導致的分類錯誤。目前類似的研究方法也已有相關報道,如Hatfield GL等[15]采用步態分析的方法,對比正常人群,中度膝關節炎以及全膝關節置換術后患者在步態特征上的不同,其研究過程中須將步態周期曲線進行分類研究,已對比不同組別人群的特征差異。由于步態拍攝過程中,以地面作為X軸,因此并不存在基線漂移的情況。因此在分類過程中同樣采用單一步態周期進行分類的方法以消除初始相位對分類帶來的影響。且上述研究的步態周期曲線為典型的生理性曲線,有較好的正態分布特點,其分類精度較高,曲線特征密集度同樣較高。

3.4 提插手法分類特征

針刺手法參數曲線屬人為控制曲線,與生理性曲線相比,大部分情況下并不具有正態分布特征,離散度較高。從本次研究的結果可以看出,六邊形分類圈中,各分類的特征密集程度同樣不高,雖然可通過人為擴大分類數量提高每種分類的特征密集程度,但仍有部分樣本較為離散的特點。與補瀉手法的比較而言,平補平瀉的樣本特征密集程度較高。該結果可能緣于平補平瀉手法的簡易程度較高,穩定性較好,容易產生特征集中的趨勢。且該趨勢與手法周期存在一定聯系,周期越短,特征集中越顯著,往往特征集中并不顯著的分類也同樣表現出周期較長的特點。各類手法中,平補平瀉的周期最短,因此分類特征較為集中。提插手法基本分類為4～5類,其分類主要根據曲線外形及周期長短進行,該結果成因主要與手法動作難度較低,易于操作有關。補瀉法分類主要根據提插輕重相對時程分布進行,且補法第3、4分類和瀉法第4、5分類特征相對集中,其主要特征為分類內部速度較快的重插或重提時程分布及曲線類型相似、輕插或輕提速度保持相對穩定。

3.5 前景展望

針刺手法的量化分類研究作為針刺手法研究的一個分支,其形成和發展依賴于古代文獻的研究和現代測量與數據挖掘技術的進步。本研究目前已完成了SOM神經網絡分類模型的建立,從現有結果看出,隨著手法數據的不斷積累和擴充,機器學習技術的不斷深入,手法分類特征的集中程度將會顯著提升,相信該技術同樣可以應用到其他單式或復式手法的分類研究之中。

未來可在此基礎上進一步進行手法模式識別技術的研究。通過對分析樣本后自動歸類識別,可判斷手法分類歸屬。該識別手段對流派傳承教學的質量控制具有較好的參考意義。目前,對于針刺手法參數的總結僅是物理相關參數的歸納,還可進一步進行數據挖掘,取得能量、穩定度等相關參數,這些研究工作應能為針灸這一古老的診療技法提供更多的量化手段,以為其全面詳細的標準化和規范化研究提供參考。

[1] 侯玉鐸.歷代醫家對單式針刺手法分類[J].河南中醫學院學報,2003,18(3):77-78.

[2] 楊霖,洪菲,楊華元.針刺手法數據挖掘的關聯規則與分類[J].上海針灸雜志,2014,33(11):1064-1070.

[3] 胡銀娥,楊華元,劉堂義.針刺手法參數聚類分析與研究[J].世界科學技術(中醫藥現代化),2011,13(1): 59-63.

[4] Kohonen T, Oja E, Simula O,. Engineering applica- tions of the self-organizing map[J]., 1996,84(10):1358-1384.

[5] Kohonen T. Self-organized formation of topologically correct feature maps[J]., 1982,43 (1):59-69.

[6] Kohonen T.[M]. Ber1in: Springer, 1995.

[7] Ackermann K, Revell VL, Lao O,. Diurnal rhythms in blood cell populations and the effect of acute sleep deprivation in healthy young men[J]., 2012,35(7): 933-940.

[8] Liu M, Udhe-Stone C, Goudar CT. Progress curve analy- sis of qRT-PCR reactions using the logistic growth equation[J]., 2011,27(5):1407-1414.

[9] Sieber JE. Data mining: knowledge discovery for human research ethics[J]., 2008,3 (3):1-2.

[10] Chantelou D, Hebrail G, Muller C.[C]. International Conference on Intelligent Systems Applications to Power Systems, 1996:126-132.

[11] Debrégeas A, Hébrail G.[C]. International Conference of Knowledge Discovery & Data Mining, 1998:179-183.

[12] 劉莉,王剛,翟登輝.k-means聚類算法在負荷曲線分類中的應用[J].電力系統保護與控制,2011,39(23): 65-68.

[13] 杜建強,聶斌.數據挖掘在中醫藥領域應用研究進展[J].中國中醫藥信息雜志,2013,20(6):109-112.

[14] 胡銀娥,楊華元.數據挖掘技術在針刺手法參數研究中的應用思考[J].中華現代中醫學雜志,2006,2(8): 679.

[15] Hatfield GL, Stanish WD, Hubley-Kozey CL. Three- dimensional biomechanical gait characteristics at baseline are associated with progression to total knee arthroplasty[J].(), 2015,67 (7):1004-1014.

Study on Quantification and Classification of Acupuncture Lifting-thrusting Manipulations on the Basis of Motion Video and Self-organizing Feature Map Neural Network

-,-,-,,.

,201203,

Objective To obtain the classification and characteristics of acupuncture manipulations by analyzing teacher’s lifting-thrusting manipulation parameters derived from Germany-made Simi Motion 3D image analysis system using self-organizing feature map neural network (SOM). Method Thirty acupuncture teachers were selected for the study. Unilateral Quchi (LI11) was used as a point for acupuncture. A motion video of lifting-thrusting even reinforcing-reducing, reinforcing and reducing manipulations was made. The video was analyzed using Simi Motion 3D image analysis system to obtain original motion parameters at thumb tip tracking mark point. Teacher’s manipulation classification parameters were analyzed using SOM. Result Acupuncture manipulation parameters showed nonnormal distribution with larger dispersion. Even reinforcing-reducing and reinforcing manipulations could be classified into four types and reducing manipulation, into five types. The characteristics of every type showed general concentration degree. Conclusion Acupuncture manipulation parameters overall showed the diversity characteristics of nonnormal distribution and are typical “artificial control curve”. They have the characteristic of lower concentration degree of neural network classification. Their classification is mainly based on curve shape and cycle length and related to the degree of difficulty of manipulation. This technique can be applied to the quantitative analysis of various manipulations and the study of technical inheritance and provide reference for the standardization of acupuncture manipulation.

Acupuncture manipulation; lifting-thrusting reinforcement and reduction; Motion video; Neural network; Classification study

1005-0957(2017)08-1012-09

R2-03

A

10.13460/j.issn.1005-0957.2017.08.1012

2017-02-20

國家自然科學基金青年科學基金項目(81403469)

唐文超(1983—),男,講師,博士,研究方向為針刺手法參數測定及數據分析,Email:vincent.tang@shutcm.edu. cn

楊華元(1952—),男,教授,研究方向為現代中醫針灸診療技術、針灸器材及針刺手法量化研究,Email:yhyabcd@ sina.com