面向視覺變量感知特征的時空過程可視化模型

王占剛

北京信息科技大學 信息與通信工程學院，北京100101

1 引言

可視化技術(shù)能夠賦予人們深刻的洞察力，從種類繁多的信息源背后挖掘規(guī)律與趨勢，形象地描述數(shù)據(jù)及其內(nèi)在聯(lián)系。其中針對空間與時間維度的時空數(shù)據(jù)可視化逐漸成為可視化領(lǐng)域的熱點[1-2]。時空數(shù)據(jù)可視化是描述時空要素信息的一種表達方式，利用它不僅能夠表達空間實體的位置、形態(tài)，而且能生動描述時空要素的狀態(tài)隨時間的動態(tài)變化過程，其研究重點就是時空過程可視化。

現(xiàn)有的時空過程可視化研究多集中于時空數(shù)據(jù)可視化表達、空間實體過程可視化和基于事件的時空過程可視化等方面[3-9]。其中，時空數(shù)據(jù)可視化表達著重對時空數(shù)據(jù)集的動態(tài)可視化方法[3]、時態(tài)信息可視化[4]和靜態(tài)符號表達方法[5]進行研究；空間實體過程可視化通常針對特殊時空對象的遷移、變化過程可視化，如潰壩洪水時空過程可視化[6]、針對海洋溫度場的時空過程可視化[7]、河口海岸GIS時空過程可視化[8]等；基于事件的時空過程可視化將事件作為線索，利用時空數(shù)據(jù)模型將時空對象組織起來，并動態(tài)追溯和可視化其發(fā)展過程與狀態(tài)[9]。

由以上分析可以看出，傳統(tǒng)的時空數(shù)據(jù)可視化研究不適合復雜多維數(shù)據(jù)與動態(tài)符號表達，對于高亮、聚焦、圖形序列等可視化表現(xiàn)形式應用不足，表達不夠豐富；注重特殊時空對象，但未能全面反映時空對象的空間、時間與屬性信息，其細節(jié)特征可視化表現(xiàn)力不夠；重視時空事件的組織與管理，但缺少視覺變量對空間與屬性特征、拓撲關(guān)聯(lián)等感知特性的表達適宜性研究。

當空間數(shù)據(jù)增加時態(tài)信息后數(shù)據(jù)量快速增長[10-11]，運用現(xiàn)有傳統(tǒng)可視化技術(shù)出現(xiàn)難以處理、細節(jié)特征表現(xiàn)力不足、表達不夠豐富、缺少適宜性研究等突出問題，因此亟需新的時空過程可視化方法。本文在時空數(shù)據(jù)分析的基礎上，以時空過程為目標，綜合考慮視覺變量、感知特征、可視化類型與表現(xiàn)形式等要素，面向視覺表達效果提出一種新的時空過程可視化模型。本文模型能有效地表達空間、時間、屬性及時態(tài)語義關(guān)系，耦合可視化目標、特征、類型和形式，展現(xiàn)復雜時空對象的變化過程。模型經(jīng)應用實驗與分析，取得了較好效果。

2 時空數(shù)據(jù)與時空過程分析

時空對象通常可被視為增加了時態(tài)信息的空間對象。對時空對象所蘊含的空間、時態(tài)與屬性信息進行組合，可以將時空數(shù)據(jù)大體劃分為四類，即空間—時態(tài)數(shù)據(jù)、空間—時態(tài)—屬性數(shù)據(jù)、時態(tài)—屬性數(shù)據(jù)和空間—屬性數(shù)據(jù)。

時空數(shù)據(jù)和空間數(shù)據(jù)最大的區(qū)別在于它描述了時空要素隨時態(tài)的動態(tài)變化過程。每類時空數(shù)據(jù)針對特定的時空過程，而不同瞬間的時空要素狀態(tài)構(gòu)成時空過程。空間—時態(tài)數(shù)據(jù)時空過程可以表現(xiàn)為時空要素位移、擴張、收縮、湮滅和出現(xiàn)等，例如車輛行進、土地面積縮小、綠地消失等過程。空間—時態(tài)—屬性數(shù)據(jù)時空過程是在發(fā)生時空要素變化的同時屬性也隨之改變，例如城市工業(yè)用地擴張，在土地區(qū)域形變的同時屬性也發(fā)生改變。時態(tài)—屬性數(shù)據(jù)時空過程是指時空要素屬性隨著時間發(fā)生了變化，例如土地由工業(yè)用地轉(zhuǎn)為商業(yè)用地。空間—屬性數(shù)據(jù)時空過程則蘊含了時空要素不同的狀態(tài)，是時空要素在某一瞬時的快照。

3 面向視覺變量感知特征的時空過程可視化模型

3.1 時空視覺變量

在視覺上能引起視覺變化的基本圖形和色彩因素被稱為視覺變量。它是構(gòu)成地圖符號的基本元素，在增強地圖表達效果、提高地圖符號信息傳達效率方面具有關(guān)鍵性作用[12]。Bertin較早將視覺變量定義為一組圖形符號，主要包含尺寸、方向、形態(tài)、明度、色彩及密度等。Robinson則將視覺變量劃分為基礎視覺變量與附屬視覺變量兩部分[13]。

視覺變量比較適用于刻畫時空過程，時空要素位移、擴張、湮滅等。文章綜合時空過程可視化要求[14]與研究基礎，將時空視覺變量劃分為空間視覺變量、屬性視覺變量和時態(tài)視覺變量三部分，其定義如下列三元組所示。

視覺變量：

∷=

表示空間視覺變量，表示空間視覺變量，表示時態(tài)視覺變量。

空間視覺變量：

∷=

屬性視覺變量：

∷=

時態(tài)視覺變量：

∷=

空間視覺變量SpatialVisVariable包含形狀Shape、尺寸Size、方向Direction、位置Position、密度Density與結(jié)構(gòu)Structure；屬性視覺變量AttributeVisVariable包含色調(diào)Hue、亮度Brightness、飽和度Saturation與紋理Texture；時態(tài)視覺變量TimeVisVariable包含發(fā)生時刻Time of occurrence、時間Time、次序Order、變化速率Rate of Change和變化頻率Frequency of Change。

可視化過程中需要針對不同的時空過程選擇適宜的視覺變量進行描述，將不同的視覺變量組合起來能夠描述各種類型的時空過程，因此視覺變量的選擇將會影響時空信息的表達質(zhì)量。表1展示了不同時空過程建議采用的三類視覺變量。

3.2 視覺感知特征

在人類對現(xiàn)實世界的認知過程中，超過80%的信息通過視覺獲得，因此視覺感知是人類認知過程中極其重要的環(huán)節(jié)。人類視覺系統(tǒng)（Human Visual System）是獲得圖形與圖像信息的唯一方式，它對圖像的感知具有選擇性，不同內(nèi)容、形式與范圍具有不同的視覺顯著特征[15]。人類視覺系統(tǒng)對圖形與圖像信息的感知能力遠遠超過對文字與符號的處理能力。

表1 時空可視化視覺變量

以往視覺感知特性研究中，利用圖像視覺特征中的亮度、對比度和紋理等構(gòu)建視覺注意力模型，進行圖像質(zhì)量評價[16-17]。本文著重研究時空可視化中各種視覺變量對空間、時態(tài)與屬性等特征表達的適宜性，并將視覺感知特征定義如下。

視覺感知特征：∷=

視覺感知特征VisualPerception包含空間特征SpatialFeatures、拓撲關(guān)聯(lián)特征TopologicalRelation、屬性特征AttributeFeatures、時態(tài)特征TimeFeatures、次序Order、數(shù)量Number和大小Size。

根據(jù)視覺感知特征，將視覺變量對空間、時態(tài)、屬性、拓撲關(guān)聯(lián)、次序、尺寸和數(shù)量等特征表達的適宜性劃分為A、B、C、D四個級別，其中A為最適合，D為適宜性較差，依次遞減。

表2描述了Shape、Size、Direction和Position等10種視覺變量對感知特征的表達適宜性。由此可以看出，僅依靠視覺變量仍無法較好地表達時空過程中的時態(tài)信息，可以采用不同的可視化形式來進一步滿足時空過程的表達需要。

表2 視覺變量感知特征

3.3 時空過程可視化形式

可視化具有豐富的表現(xiàn)能力與交互性特征，通過它能結(jié)合現(xiàn)有知識和經(jīng)驗對時空過程進行探索性分析。不同的可視化類型、表現(xiàn)形式適用于不同的時空過程。

3.3.1 可視化分類

根據(jù)不同的分類標準可以將可視化分為不同類型。

（1）多維數(shù)據(jù)可視化

可視化技術(shù)根據(jù)數(shù)據(jù)的維數(shù)可以分為一維可視化、二維可視化、三維可視化及多維可視化。常見的電子地圖、統(tǒng)計圖以及專題圖等屬于二維可視化，它可以抽象地表達數(shù)據(jù)的內(nèi)涵。三維可視化注重描述與表達空間對象的三維結(jié)構(gòu)、形態(tài)及拓撲關(guān)系。多維可視化則更加關(guān)注綜合表現(xiàn)對象的多維度信息，而位置信息只是多維信息中的一部分。

多維數(shù)據(jù)可視化一般采用降維的方式將高維信息轉(zhuǎn)換成人類視覺認知容易理解的低維信息[18]。在展示復雜的多維時空信息時，應全面考慮視覺認知特征，并運用好空間、屬性與時態(tài)視覺變量，以高效易懂的方式展示復雜的多維時空信息。

（2）動態(tài)數(shù)據(jù)可視化

根據(jù)數(shù)據(jù)對象的穩(wěn)定特征可以將可視化劃分為靜態(tài)數(shù)據(jù)可視化和動態(tài)數(shù)據(jù)可視化。時空數(shù)據(jù)本身就是一種包含時態(tài)信息的動態(tài)數(shù)據(jù)，動態(tài)數(shù)據(jù)可視化公認的理想工具是動畫技術(shù)，它通過連續(xù)漸變的圖形序列或靜態(tài)圖像來表達沿時間軸變化的信息[19]。動畫技術(shù)針對特定時間運用空間數(shù)據(jù)或數(shù)學模型計算產(chǎn)生中間圖像，采用插值方法填充缺少的幀圖像，并將各個圖像幀組合生成動畫[20]。時空動態(tài)可視化方法大體可以劃分為逐幀動畫、關(guān)鍵幀動畫和過程動畫等[21]。

假定時空過程起始時間為t、任意時間為t′,Δt為最小時間間隔，則t′可用式（1）表示。

其中，t,t′∈Time。則在任意時間點t′，時空對象SpatiotemporalObj可以定義為：

∷=其中，Time為時間屬性，Space為空間屬性，ObjBody為對象體。

3.3.2 表現(xiàn)形式

傳統(tǒng)空間數(shù)據(jù)可視化中靜態(tài)地圖符號是其主要表達手段之一。靜態(tài)地圖符號依據(jù)尺寸、形狀、方向、結(jié)構(gòu)等7個視覺變量描述空間實體特征，不同視覺變量具有不同作用，每個地圖符號所應用的視覺變量也不同[22-23]。地圖符號可以在一定程度上表征空間要素的位置、拓撲結(jié)構(gòu)、屬性等，描述其在空間上的變化[4，24]。

傳統(tǒng)靜態(tài)地圖符號難以表達時空數(shù)據(jù)中的動態(tài)特征，因此有必要引入新的表現(xiàn)形式——動態(tài)地圖符號，較好地描述空間要素的時態(tài)特性[4，25]。動態(tài)地圖符號引入了時態(tài)視覺變量，能夠動態(tài)地展示地圖內(nèi)容，達到過程重現(xiàn)、模擬與動態(tài)跟蹤目標，并且深度挖掘時空要素的本質(zhì)與變化規(guī)律，從而實現(xiàn)時空過程可視化的目的[26]。

3.3.3 時空過程可視化形式

時態(tài)特征的表現(xiàn)適合采用動態(tài)可視化形式進行展示，描述時空要素的發(fā)展過程，揭示時空過程的變化與發(fā)展趨勢[27]。

時空數(shù)據(jù)的多維性與時態(tài)關(guān)系復雜性導致其可視化形式的多樣性。時空過程是由不同的時空狀態(tài)組成的，時空過程中的一個瞬時快照對應一個時空狀態(tài)。不同的時空過程適宜應用不同的可視化形式，這樣才能更詳細地描述時空要素及其動態(tài)發(fā)展過程。時空過程可視化的常用表現(xiàn)形式包括標簽、符號、圖形序列、視頻、動畫、統(tǒng)計圖、專題圖、疊加圖、高亮、聚焦等[9，26]。

時空數(shù)據(jù)可視化的兩種典型類型即靜態(tài)可視化與動態(tài)可視化。其中，靜態(tài)可視化可以運用二維或三維圖形圖像法。動態(tài)可視化可以運用動畫、虛擬現(xiàn)實、時空數(shù)據(jù)庫動態(tài)可視化等方法[28]。

3.4 時空過程可視化模型

利用視覺變量三元組來描述時空過程，依據(jù)視覺變量、視覺感知特征與時空過程可視化形式構(gòu)建時空過程可視化模型，以此滿足時空過程的可視化表達需求。

∷=

如圖1所示，S-TProc_VisModel時空過程可視化模型共劃分成五個部分、七個層次。五個部分即指模型輸入、視覺變量、視覺感知特征、時空過程可視化形式與模型輸出，七個層次包括時空數(shù)據(jù)、時空過程、視覺變量、視覺感知、可視化類型、表現(xiàn)形式和可視化成果。其中，模型輸入包括時空數(shù)據(jù)層與時空過程層；時空過程可視化形式包括可視化類型層與表現(xiàn)形式層；模型輸出即可視化成果層。

時空數(shù)據(jù)層負責存儲與管理空間、時態(tài)、屬性數(shù)據(jù)與混合數(shù)據(jù)，該層是時空可視化的基礎；時空過程層負責組織與描述基于時空數(shù)據(jù)的時空過程，如要素位移、湮滅、屬性改變及瞬時狀態(tài)，該層是時空可視化的研究對象；視覺變量層負責將時空過程映射為空間、屬性和時態(tài)三類視覺變量，該層是時空可視化的描述工具；視覺感知層根據(jù)視覺感知特征遴選適宜表達的視覺變量；可視化類型層支持多維度、多類型的可視化技術(shù)及相關(guān)實現(xiàn)算法；表現(xiàn)形式層負責選擇符合展示效果要求的可視化表現(xiàn)形式與類型；可視化成果層展示時空過程可視化的多種結(jié)果，包括二維地圖、三維模型、時空模擬和虛擬環(huán)境等，是可視化表達的人機交互界面。

4 實驗及結(jié)果分析

通過對事件腳本的時空特征分析，在“事件-變化-狀態(tài)”時空數(shù)據(jù)模型與時態(tài)樹結(jié)構(gòu)基礎上[9]，本文運用面向視覺變量感知特征的時空過程可視化模型，開發(fā)系統(tǒng)并實現(xiàn)了時空過程事件案例可視化。實驗計算機CPU i7-8550U，主頻1.8 GHz，內(nèi)存8 GB，采用Adobe Flex開源軟件工具包開發(fā)并實現(xiàn)了時空過程可視化模型及相關(guān)算法，以ArcGIS Server10.2為空間地圖服務平臺提供數(shù)據(jù)服務。

本文以李自成起義過程為實驗案例，表3為案例時空過程語義信息表，主要包含事件過程的時間、時空對象、空間位置、時空過程、可視化類型與形式等信息表，其時空語義信息需要從相關(guān)事件中進行抽取。

4.1 可視化形式

圖1 S-TProc_VisModel時空過程可視化模型

表3 典型事件案例時空過程語義信息表

根據(jù)視覺感知特征表達的需要，運用多媒體動態(tài)標簽、動畫、多線程等技術(shù)描述時空視覺變量，根據(jù)事件內(nèi)容選擇特定的符號、圖形、圖像、文字、視頻（圖像序列）動態(tài)展示事件發(fā)生經(jīng)過，表達事件中對象的時空演化過程。

圖2（a）展示了面向視覺表達的時空過程可視化類型效果。圖中以二維、動態(tài)形式描述了李自成軍隊由襄陽行軍的過程，同時李自成統(tǒng)治區(qū)已擴大到河南全境。圖2（b）展示了可視化表現(xiàn)形式效果。圖中描述了李自成占領(lǐng)潼關(guān)后，統(tǒng)治區(qū)擴大到陜西全境的過程，綜合運用了動態(tài)符號、動畫、視頻（圖形序列）等表現(xiàn)形式，輔以聚焦、高亮等形式，達到高效傳遞時空信息的效果。

圖2（c）利用不同動態(tài)標簽表達了不同的時空含義，如圖中由上至下依次為戰(zhàn)爭、擊敗、起義和自立為王等。圖2（d）利用文字、圖片、聲音與動畫生動刻畫了事件發(fā)生的詳細信息，豐富了信息表達。

4.2 時空過程可視化對比

圖3（a）為現(xiàn)有事件可視化方法表達效果，通常在二維電子地圖上標注事件發(fā)生的內(nèi)容，用戶較難直接通過該圖形高效、直接地了解事件的發(fā)展與變化過程，且視覺感知效果差。

圖2 時空過程可視化形式效果圖

圖3（b）展示了表3中描述的四個時空過程，在實現(xiàn)的可視化系統(tǒng)中依據(jù)事件時間順序，以動畫與動態(tài)標簽等形式形象表達了事件案例中時空對象的移動、形變、生成或消亡、屬性變化等過程。其中，時空過程1“李自成在襄陽稱王”主要展現(xiàn)了時空對象李自成在“襄陽”發(fā)生屬性變更的過程，可用動態(tài)符號、標簽等來再現(xiàn)；時空過程2“李自成殺與之合軍的農(nóng)民領(lǐng)袖羅汝才”描述了時空對象李自成行軍至襄陽附近的移動過程，以及羅汝才被殺的對象消亡過程，可以采用動態(tài)符號、動畫、高亮等可視化形式；時空過程3“張獻忠克武昌建立大西政權(quán)”展示了時空對象張獻忠占領(lǐng)武昌的對象出現(xiàn)過程以及李自成統(tǒng)治區(qū)域擴張的過程，可以利用動態(tài)符號、高亮、聚焦、動畫等形式；時空過程4“李自成攻破潼關(guān)，占領(lǐng)陜西全省”描述了李自成行軍至潼關(guān)及統(tǒng)治區(qū)域擴張的過程，運用動態(tài)符號、高亮、聚焦、動畫等可視化形式。

圖3 時空過程可視化效果對比圖

在時空過程可視化模型的基礎上，實現(xiàn)了事件案例過程可視化，清晰地描述了事件發(fā)生過程及其對象在時空過程中的變化。與現(xiàn)有事件可視化方法相比，利用本文模型能有效地表達空間、時間、屬性及時態(tài)語義關(guān)系，耦合可視化目標、特征、類型和形式，表達豐富的細節(jié)特征，展現(xiàn)復雜時空對象的變化過程。

4.3 實驗結(jié)果分析

通過面向視覺變量感知特征的時空過程可視化實驗，可以得到如下結(jié)論：

（1）在時空要素和可視化符號之間建立映射關(guān)系是時空過程可視化中的關(guān)鍵環(huán)節(jié)。其中，靜態(tài)符號通常采用圖片、標簽、模型和標注等要素，適合表征時空要素和空間位置；動態(tài)符號往往具有一定的符號表意，它能在展現(xiàn)時空要素空間位置與時態(tài)關(guān)系的同時形象地描述事件發(fā)生的過程及其涵義。本文實驗中對于戰(zhàn)爭、行軍等時空過程均采用了特殊的具有空間位置的動態(tài)符號，例如利用動態(tài)箭頭來表達行軍及戰(zhàn)斗，不同符號間還蘊含了事件內(nèi)部的時間關(guān)系。因此研究探討更加靈活、準確、內(nèi)涵豐富的動態(tài)符號是描述時空過程的一個有效方法。

（2）閃爍、高亮等表達方式是時空過程可視化過程中的有效手段，利用這些方法能夠達到突出過程空間位置、獲取用戶視覺焦點的目的，使觀察者隨著時空過程的發(fā)展而不斷轉(zhuǎn)移視覺關(guān)注點。運用圖片、視頻、音頻等多媒體手段可以使時空過程的內(nèi)容表達更加形象，能夠詳細地描述事件發(fā)生的時空對象、位置和語義等信息。在時空過程可視化過程中，如何利用高效的人機交互方式，更好地展示豐富的時空過程內(nèi)容、數(shù)量和時態(tài)等信息也是值得關(guān)注的問題。

（3）根據(jù)視覺表達需要，可以選擇符號、圖形序列、高亮、聚焦、動畫等不同的時空過程可視化形式，準確地表達指定位置、指定時間的時空過程內(nèi)容，以聚焦等形式動態(tài)展示出來，可以令時空過程表達得更加生動詳實。其中，視頻對象不僅與特定的空間位置相關(guān)，其自身還具有一定的時態(tài)特征，豐富了傳統(tǒng)時空可視化中單純依靠符號、矢量和柵格數(shù)據(jù)來展示時空過程的方式。

5 結(jié)束語

在時空數(shù)據(jù)分類與時空過程分析基礎上，綜合考慮視覺變量、感知特征、可視化形式等要素，提出面向視覺變量感知特征的時空過程可視化模型S-TProc_VisModel。該模型包含模型輸入、視覺變量、視覺感知特征、時空過程可視化形式、模型輸出五個部分，以及時空數(shù)據(jù)、時空過程、視覺變量、視覺感知、可視化類型、表現(xiàn)形式、可視化成果七個層次。該模型不僅能有效表達時空要素的空間位置、形態(tài)，還能描述事件中的時空過程及時態(tài)變化。通過案例的應用與分析，證明本文提出的時空過程可視化模型有效。在下一步研究中，將結(jié)合空間數(shù)據(jù)、多媒體數(shù)據(jù)和各種屬性數(shù)據(jù)，探討多源時空集成可視化方法。