基于馬爾可夫鏈的書畫時序感量化方法

律睿慜，梅莉琳*，邢紅姹，孟 磊，昃躍峰

（1.江南大學人工智能與計算機學院，江蘇無錫 214122；2.江蘇省媒體設計與軟件技術重點實驗室（江南大學），江蘇無錫 214122；3.江南大學設計學院，江蘇無錫 214122）

0 引言

書法審美過程中的時序還原是指在欣賞過程中對時序開展過程的想象性重構［1］，即觀賞者可以根據作品的靜態筆觸痕跡重構書寫時的筆順關系和書寫過程，體會創作者的情緒情感等產生獨特的審美體驗。這種回溯式的審美方式在書法理論中存在較多討論。例如，宋代姜夔在《續書譜》中寫到：“余嘗歷觀古之名書，無不點畫振動，如見其揮運之時。”文獻［2］中論述到：書法的每一個階段通過運動留下的痕跡都成為可見的，觀者在這種準筆跡的追溯中，通過探問書法作品的外表特質而窺測到了書者的個性。文獻［3］中認為從結果找過程的審美方式是書法獨有的，體現了書法藝術最深刻的美學價值。其實，時序還原并非書法獨有的審美現象，神經美學研究發現，視覺藝術作品中的筆觸都能觸發類似的感知體驗。文獻［4］認為觀看靜態圖像時能夠重構其暗示的感官運動過程，并提出認識一件事物等于認識它的創建過程。這種現象的生理基礎是鏡像神經元的“ 具身模仿（Embodied Simulation）”能力，具身模仿讓觀賞者能夠根據筆觸痕跡回溯書畫作品或手寫符號的操作動作和創作過程，進而體會藝術家的情感，達成“共情”［5-7］。文獻［8］通過對腦神經活動的探測發現，當Franz Kline 的作品中強烈的筆觸特征被人為削弱后，其引起的動態感受也明顯減弱。由此帶來一個問題：筆觸特征是否是引發時序還原的主要因素？

傳統美學對書法體現的時序還原只給予定性的討論，未對時序還原進行量化，因此本文研究的主要內容是：

問題1 時序還原是否可以度量？它屬于審美心理行為的度量。在以往的視覺藝術審美心理研究中主要使用問卷調查方法和眼動方法［9］。問卷調查方法常采用李克特量表對圖像的相關屬性（復雜度、美感、好感等）劃分不同等級［10-12］，研究者可以依據評分了解人類的主觀審美感受，然而對語義等級評分的高低不足以反映被試真實的時序感。眼動方法相較其他方法更為客觀，眼動儀常常被用來探測觀賞者的目光移動過程。然而，眼動過程會受到觀賞者意圖的嚴重影響，它也不能直接反映時序感。在眼動軌跡的相關研究中，常用感興趣區域（Region Of Interest，ROI）來測量眼動軌跡的特性，例如，根據對應領域的先驗經驗來選取和劃分ROI［13］，將作品劃分為有人物的前景和無人物的背景［14］，將臉部按五官劃分ROI［15］；然后將這些ROI 作為馬爾可夫鏈的狀態，通過測量眼動軌跡在這些ROI 間轉移的頻率，估計馬氏鏈的轉移概率矩陣。文獻［14］提出的“注視轉移熵（Gaze Transition Entropy）”，實驗通過統計目光在離散的感興趣區域之間轉移的次數，構建馬爾可夫鏈模型，再計算其靜態熵和穩定熵，以度量目光移動過程的不確定性，并由此量化判斷個體對繪畫作品的熟悉度和好奇度。借鑒上述研究中的建模思想，本文將觀賞者對于書法作品的時序感知看作為其對于離散感興趣區域的排序過程，并構建為馬爾可夫鏈模型，再基于馬氏鏈熵率，提出時序還原的度量指標——時序感。

量化時序感有什么價值呢？幾百年來，人類逐漸量化了力、能量、電、磁、熵、信息等原本模糊的概念，可以說，科技的發展，其基礎就是量化能力的不斷提升。時序感原本是一種模糊的審美感受，以往的研究中還未見對其量化的嘗試，本文嘗試用馬氏鏈模型對其進行量化，其潛在應用價值其實是很難預期的。不過，本文仍然嘗試給出它的應用實例，將其應用于解決藝術理論、審美心理的命題，即研究了另外兩個問題：

問題2 時序感的度量值是否能作為藝術風格的一種特征量？針對這個問題，本文測量了25 幅視覺藝術作品的時序感，發現不同風格流派具有顯著不同的時序感，其中書法具有高水平的時序感。于是，時序感可作為一種高區分度的藝術風格度量，這一成果體現于實驗1，表明時序感度量在實證美學領域的應用。

問題3 鏡像、旋轉等圖形變換對時序感的影響有多大？有研究表明，圖形變換（鏡像、旋轉）對抽象繪畫的審美有一定影響［16-17］。例如，文獻［18］比較了抽象繪畫圖像在四個旋轉方向（0°、90°、180°、270°）上的美學感知，原始方向被認為有比較高的審美評價，但還未研究它對于時序感知的影響。本文通過實驗發現，在不同的視覺呈現下，時序感總體上保持較高的數值，而正確率的變化很大，說明筆觸特征并非時序判斷的主要因素，筆序規則的先驗經驗更加重要，其實驗成果呈現于實驗2，體現了時序感度量在審美心理研究方面的應用。

1 基于馬爾可夫鏈的時序感量化

對于一幅作品，藝術家在創作時有一個完全確定的順序，即一條“時間線”，從數學視角可將其看作一個確定的運筆軌跡。但是，作品完成后只保留了關于創作過程的部分信息，并且觀者的“解碼”能力并不恒定。于是，觀者從作品感受的運筆時序可看作一個不確定的軌跡，在數學上其對應的是一個在二維平面上的隨機游走過程，若觀測者獲得的時序信息越多，則該隨機游走的隨機性越弱，也即確定性越高；反之，該隨機游走將越隨機，即越不確定。考慮一幅作品帶來的順序感受，它相當于降低了全隨機過程的隨機性，其隨機性降低的程度，就相當于作品帶來的有關順序的信息量，即可定義為時序感的度量。該隨機過程類似于文獻［14］中的眼動軌跡，皆為作品平面上的隨機游走，于是可以借鑒該文中采取的建模思想，將其擬合到一個馬爾可夫鏈模型，并度量它的熵率以衡量其隨機程度，并由此衡量時序感。

馬爾可夫鏈是一種描述動態隨機過程的數學模型，簡稱馬氏鏈［19］。其具有“無后效性”，即隨機過程{Xn，n≥1}在n+1 時刻所處狀態的概率分布只取決于n時刻所處的狀態，與n時刻以前的狀態無關。離散時間馬爾可夫鏈{Xn，n≥1}滿足：

其中：i1，i2，…，i，j∈S，S為狀態空間。

1.1 馬爾可夫鏈建模

本文將馬爾可夫鏈方法應用于書法運筆時序建模。時序還原感知可以由一個馬爾可夫鏈模型來表達，其建模過程如下。

1）進行狀態分類。

一次完整的運筆包括三個基本部分：起筆、行筆和收筆，從起筆到收筆形成了一條筆鋒隨時間運行的軌跡。因此，起筆和收筆是判斷運筆順序重要節點，故將筆畫軌跡上的起點和終點等重要轉變標記為ROI，同時ROI 的選取應避免兩個筆觸的交叉區域，當筆畫的起點或終點與其他筆畫存在相交時，適當將ROI 移到沒有交叉的區域。這些ROI 構成狀態空間S。

2）確定狀態轉移概率。

每個狀態的轉移概率由測試者對標記點的排序結果來估計。若當前狀態（標記點）為排序結果的最后一位，則將其視作當前狀態的下一時刻與此刻狀態相同，即：當i=j且i，j∈S時，Pij=其中：Ni為處于狀態i的樣本數，即當前作品的被試數量；Nz為當前狀態為排序最后一位的樣本數。否則，直接相鄰的兩個順序，前一個順序為當前時刻所在的狀態，后一順序為下一時刻所在的狀態，即：當i≠j且i，j∈S時，Pij=，其中Nij為樣本中由狀態i一步轉移到j的樣本數，即Pij的最大似然估計。已知轉移概率可以得到狀態轉移矩陣P：

其中：P中的所有元素都大于等于0，每行元素之和等于1。

3）求得平穩分布。

根據馬爾可夫鏈的知識，當系統經過k步轉移，且k→∞時，將趨于穩定，即為狀態j的穩態概率，可以通過求解下列方程組得到：

則μ=(μ1，μ2，…，μm)稱為馬氏鏈的平穩分布。

隨機過程的不確定性，由熵率來度量，馬爾可夫鏈熵率計算公式［20］如下：

其中：χ={Xn，n≥1}為平穩馬氏鏈；μ為平穩分布，P=[Pij]為轉移矩陣。

1.2 時序感量化

通過實驗獲得測定的熵率Ht，并衡量它相對于該馬爾可夫鏈的最大熵率的下降程度，即度量作品的時序還原感受確定程度。

最大熵表示隨機變量最不確定，即熵為最大的時候。在離散馬爾可夫鏈中最大熵為每個狀態轉移的概率都相等，最大熵率Hmax的計算公式如下：

其中m為狀態數。

作品的時序感相當于從完全無序降低的隨機性，即有序程度：

其中：Oh為時序的信息量，O為歸一化后的時序感，其取值在0到1之間。

1.3 時序正確率度量

當一幅藝術作品被創作完成后會形成一個軌跡，且這個軌跡的創作時序是唯一的，不會隨圖形變換而改變，可將該創作時序視為作品的正確順序。然而一個完成的靜態作品其原本的創作順序并不能直接體現，獲得正確順序的方式有兩種：其一，直接由創作者提供操作時的順序；其二，當無法得到原作者的順序時，可由經驗豐富的專家根據靜態軌跡推斷實際順序。被試對標記點的排列順序與原作本身的創作順序的一致性，可用正確率A來衡量，一位被試時序正確率計算方式如下：

其中：i和j為圖中兩個標記點；m為標記點數；t為測試者對標記點i和j的先后順序的判斷結果；w為創作者對這兩個標記點的時序結果。當t與w相同時，f(t，w)=1，反之取值為f(t，w)=0。所有被試的正確率均值可作為當前作品時序正確率的度量。

2 時序感評估實驗

對復雜筆畫的書畫作品，可以將筆鋒運動時序簡單看作筆畫順序，不深入考慮起筆和收筆處的筆鋒運動，將時序感測量簡化為筆畫順序測量。本章共分為兩個實驗：

1）實驗1。以25件風格不同的視覺藝術作品為實例來展示時序感量化在不同類型作品中的應用，并驗證該方法在審美感受評價中的可行性。

2）實驗2。應用該度量方法，探索旋轉和鏡像圖形變換對作品時序感的影響。

2.1 實驗1——時序感測量

2.1.1 實驗設計

本實驗共有155 名被試參與，視力均在正常范圍內或校正后正常。實驗材料為圖1 所示的25 件藝術作品，每件作品由人工在每個筆畫的端點和轉折點上標記若干個用于測量感知時序的點（即ROI），圖1中用圓圈標注。每位被試被隨機分配5 幅圖片，并需仔細觀察作品體會其創作時的運筆過程，根據感受到的運筆先后順序對標記點進行排序。使用在線測評平臺完成時序評估，實驗時不限制觀察圖片以及排序的時間，以確保被試提交滿意的結果，并剔除未完整作答的數據。

圖1 實驗1中測試素材Fig.1 Experimental materials in experiment 1

2.1.2 結果分析

根據所提方法可以計算出每件作品的時序感，結果如表1 所示。可以看出，不同書畫作品的時序感存在較大差異，抽象畫具有最低的時序感0.19，書法字“有”具有最高的時序感0.90，且文字的時序感普遍高于繪畫，這說明觀者對文字順序的感知具有較高的一致性。因此，時序感可以作為評價不同藝術作品的審美指標之一。

表1 藝術品的時序感Tab.1 Sequentiality perception of artworks

2.2 實驗2——圖形變換對時序感的影響

2.2.1 實驗設計

本實驗共有320 名被試參與，視力均在正常范圍內或校正后正常。實驗自變量為圖形變換，由圖2 所示90°旋轉和鏡像翻轉的疊加共計8種。

圖2 書法字“走”的8種圖形變換Fig.2 Eight graph transformations of calligraphy character"Zou"

實驗材料來為圖3 中的三幅圖片，分別為書法字“走”、一筆畫“人像”和“汽車”。每張圖中筆畫的起筆、收筆和轉折點處共標記13 個點（用A～M 表示）作為ROI，即圖3 中圓圈標記處。而后在這些圖片上施加90°旋轉和鏡像變換，共生成24張實驗素材。被試隨機抽取一張圖片，并對所呈現圖片中筆畫運筆順序進行還原，即完成圖中13 個標記點的排序，實驗方法和實驗平臺與實驗1 相同，實驗完成時被試需要報告時序判斷的主要方法。

圖3 實驗2中測試素材Fig.3 Experimental materials in experiment 2

2.2.2 結果分析

剔除未完整排序的數據后剩余311 個有效數據，每種情況樣本數平均為13。每種情況的時序感和正確率結果如表2所示。時序感和正確率為衡量書畫作品的不同指標，前者用來衡量觀者對運筆時序還原的確定性，后者用來衡量時序判斷的正確性，即觀者對標記點的排序與書法家本身書寫順序的一致性。

表2 圖形變換下的時序感Tab.2 Sequentiality perception under graph transformation

可以看出，圖形變換對書畫作品的時序感具有影響，在各種不同的圖形變換下，時序感總體上保持較高的數值（0.55～0.83），而正確率的變化很大（0.17～0.95），換句話說，在8 種不同的圖形變換下觀測者大體上比較一致地判斷筆序，但有些圖形變換可能導致明顯的錯誤判斷。時序感的值均大于0.55，說明所有被試感受到的順序具有一定共性，這可能是被試具有類似的先驗經驗；圖形變換對正確率具有顯著影響，最小值0.17，最大值0.95，這說明在改變作品的呈現方式時，觀者難以僅根據圖片中筆觸的細節特征作出正確的順序判斷。此外，根據觀者自己報告的時序判斷方法可知，82.48%的人依據從上到下、從左到右等書寫規則來對時序作出判斷，53.78%的人依據筆觸視覺特征及筆畫間連接關系作出判斷。

綜上可以得到一個推論：筆觸的細節特征對于時序感的影響非常有限，而觀賞者自身的筆序經驗，例如從上到下、從左到右等，反而更為重要。對比文獻［8］的實驗結果可以推得，筆觸細節影響的是觀者感受到的運動刺激強度，然而運動過程的時序判斷卻是獨立于運動強度的另一種感知。此外，這也一定程度上解釋了傳統書法為何不容易為外國觀眾理解，即他們不具有判斷漢字時序的先驗經驗，因此難以從書法作品中正確地重建書法家的運筆動作和過程，于是無法感知到文獻［2］中描述到的那種“想象著站在書法家身后，觀看他的每一筆的書寫過程”，也就無法實現唐代孫過庭在《書譜》中描述的書法的傳情作用——達其情性，形其哀樂。

3 結語

目前對于時序還原這一審美現象的探討，主要集中于傳統的書法美學領域，在神經美學領域也有一定涉及，而本文對書畫作品時序感進行度量，類似的嘗試還未見先例。對時序感的量化，是將時序還原這一審美現象引入科學研究的基礎。本文展示了一種時序感度量指標，以馬氏鏈模型作為基礎，但并非意味著這是唯一方法，其他數學模型也值得探索。本文還初步展示了時序感度量的應用價值，包括用于風格度量、研究圖像變換對時序感的影響，其他應用還有待發掘。通過測量25 幅作品的時序感，驗證了提出的度量指標對于不同風格流派具有很好的區分度，是良好的風格度量指標，同時也量化地展示出書法作品具有高度的時序感。通過測量幾種不同類型作品在鏡像、旋轉的圖形變化下的時序感，發現圖形變換對時序感有一定影響，說明時序感與觀者對于順序的先驗認知有顯著關聯性。

盡管本文提出了時序感的理論度量，采取問卷法可以比較粗略地測量觀者對藝術作品時序的主觀感受，但測量精度并未做出嚴密的理論推算，今后的實驗研究需要在測試負荷與測量精度方面改進。研究更可靠的時序感測定方法，以避免個人經驗式的論證，實證地研究一些懸而未決的藝術理論命題，如：抽象表現主義繪畫被認為受到了東方書法的影響，發源于日本的現代書法又被認為是受到了西方抽象藝術的影響，相較于傳統書法作品，它們帶來的時序還原感受有何差異？梵高、莫奈的作品也具有強烈的筆觸特征，它們是否也能引起類似的時序還原感受？除了應用于美學理論研究，它在計算機書法、人工智能藝術等領域，也具備作為一種審美評估指標的潛在應用價值。