苗繡紋樣搜索中草圖和文本檢索的認知負荷對比研究

陳靖翕，陳洋，王子翱，彭莉

苗繡紋樣搜索中草圖和文本檢索的認知負荷對比研究

陳靖翕，陳洋*，王子翱，彭莉

（貴州大學，貴陽 550025）

為了探究一種更高效的苗繡紋樣檢索方式，通過對手繪草圖檢索及文本檢索過程中的認知負荷來進行對比研究。首先通過構(gòu)建認知負荷信息檢索過程模型，對5個認知階段的平均認知負荷及所需時間進行實驗對比；其次通過眼動指標（持續(xù)注視時間、眼球掃視振幅、眼球直徑）及NASA-TLX評估對兩種檢索過程的認知負荷進行分析；最后基于眼動追蹤得到可視化眼動數(shù)據(jù)（熱點圖、注視軌跡）驗證是否符合檢索任務需求。基于手繪草圖的圖形檢索方式更適合于苗繡紋樣檢索，通過主、客觀融合對比實驗驗證了草圖檢索的高效性，同時也驗證了眼動追蹤和NASA_TLX具有相關(guān)性，能更有效地進行認知負荷測量。

草圖檢索；認知負荷；眼動追蹤；苗繡紋樣

隨著數(shù)字化技術(shù)的不斷發(fā)展，涌現(xiàn)出越來越多更高效的方法和媒介，對正在消逝的大量非物質(zhì)文化遺產(chǎn)的繼承和傳播來說具有重大意義。非遺文化是國家或民族在歷史發(fā)展過程中創(chuàng)造、發(fā)展和繼承下來的文化遺產(chǎn)，具有不可取代的價值。保護和傳承非遺文化對于延續(xù)歷史、增強文化自信、促進文明交流和建設文化強國都具有重要的意義[1]。在中國傳統(tǒng)文化遺產(chǎn)中，紋樣是一個極為重要的組成部分，苗族歷史文化通過薪火相傳的紋樣圖形作為文脈的載體來進行記載，對于非遺文化中苗族文化的傳承至關(guān)重要[2]。在數(shù)字化的進程中，紋樣檢索扮演著保護、繼承和傳播紋樣的關(guān)鍵角色。在過去通用的檢索方式中，通常使用文本檢索的方式來對紋樣進行搜索，但顯然這種檢索方式對沒有“文字系統(tǒng)”的苗族紋樣而言，會造成檢索的錯失和謬誤，這也使檢索效率較為低下。隨著手繪草圖檢索研究的提出，基于手繪草圖的檢索方式為苗繡紋樣的搜索提供了一種新的可能性。傳統(tǒng)文化與新興數(shù)字化技術(shù)的結(jié)合能夠提高非遺文化的創(chuàng)新力，高效的紋樣檢索方式能使苗族文化更好地進行活態(tài)傳承。為此以苗繡紋樣搜索為任務，通過手繪檢索與文本檢索兩種方式進行認知負荷的對比，比較哪一種檢索方式更適合于苗繡紋樣檢索研究，找到更高效的苗繡紋樣檢索方式。

1 相關(guān)工作

1.1 苗繡紋樣研究現(xiàn)狀

在苗繡紋樣研究中，紋樣中的圖形符號不僅承載了苗族的歷史文化生活也賦予了文化傳承的功能，被譽為“無字史書”，由于歷史傳承導致人們對紋樣存在過度的解讀，僅憑只言片語很難對其紋樣素材進行確切的表達。因此，在對苗繡紋樣的檢索過程中，僅依賴現(xiàn)有的單一文字信息分類檢索，顯然是不夠精確可靠的。

隨著圖像技術(shù)的不斷發(fā)展，以傳統(tǒng)文化為載體，利用數(shù)字化技術(shù)為媒介對非遺文化進行活態(tài)傳承與保護已是目前的研究趨勢。李安娜等[3]通過K-means聚類算法對苗族刺繡圖案進行色彩特征研究，為民族圖案再創(chuàng)新及民族色彩數(shù)據(jù)庫的建立提供了新方式。如圖1所示，在對非遺文化的研究過程中，與非遺文化有相關(guān)共引的關(guān)鍵詞主要有：保護傳承、傳承人、數(shù)字化、少數(shù)民族。近兩年來，“數(shù)字化保護”一詞出現(xiàn)的頻率較高，這說明將數(shù)字化手段對非遺文化進行傳承保護是目前的研究熱點，圖譜中還涉及了鄉(xiāng)村振興、少數(shù)民族文化、活態(tài)傳承等熱門話題。本研究以苗族紋樣作為研究載體，對非遺文化傳承保護具有重要意義。找到一個更高效的紋樣檢索方式不僅能夠提高相關(guān)設計者的工作效率，而且能夠推廣苗繡產(chǎn)業(yè)、文創(chuàng)產(chǎn)品的發(fā)展，讓更多人了解到苗繡紋樣及其背后的故事。因此，本文提出采用草圖檢索的方式進行苗繡紋樣檢索研究。

1.2 基于手繪草圖檢索研究現(xiàn)狀

手繪圖形原本就是人類表達和傳遞信息的主要途徑之一，手繪草圖一直得益于其簡潔有效的表達特點，被人們沿用至今。基于此，以手繪草圖作為檢索示例的基于草圖的圖像檢索（Sketch Based Image Retrieval，簡稱SBIR）已經(jīng)成為研究的熱點。為了能夠更好地保護和傳承苗繡紋樣，本文考慮將手繪草圖檢索結(jié)合到苗繡紋樣上。

目前，將計算機視覺技術(shù)應用到民族紋樣圖案文化的傳承與保護上還處于初探階段，部分學者關(guān)于這個課題的研究也取得了一定的成效[4-5]。基于手繪草圖的檢索是一種新興的信息檢索方法，用戶可以通過手繪草圖的方式來描述他們所需的檢索目標紋樣，在對苗繡紋樣進行特征提取和匹配后，檢索系統(tǒng)將會從數(shù)據(jù)庫中返回同類別紋樣圖像或特定的精確匹配相關(guān)紋樣圖像信息[6]。與傳統(tǒng)的文本檢索方式相比，文本檢索存在例如語義匹配不夠精確等問題。而草圖檢索具有一定的容錯性，即使手繪草圖的質(zhì)量不高，仍然可以從數(shù)據(jù)庫中檢索出相關(guān)的信息。基于深度學習的方法是目前手繪草圖檢索研究的趨勢，Zhang等[7]首次提出了草圖生成模型從而可以緩解草圖數(shù)據(jù)稀缺的困境，同時構(gòu)造了一種考慮語義屬性的FG-SBIR模型。Xu[8]給出了一個基于細粒度實例級草圖的視頻檢索（FG-SBVR）這一新穎的任務數(shù)據(jù)集，并提出了一種新穎的多流多通道網(wǎng)絡來解決在強監(jiān)督和弱監(jiān)督兩種情況下的草圖檢索問題。Huang[9]探討了文本和草圖檢索在視頻輸入中比較，并分析了用戶的反應和反饋。上述文獻體現(xiàn)出草圖檢索具有更良好的交互性及直觀性，能夠更好地適應用戶的信息需求。

圖1 近年非遺文化保護關(guān)鍵詞共現(xiàn)圖及時間線

1.3 認知負荷評估研究

認知負荷是指人類執(zhí)行任務所需的認知資源數(shù)量和心理負擔，是人類認知過程中的一個重要概念[10]。在使用不同檢索方式過程中，因為它們的輸入形式和處理方式不同，所以需要不同類型和程度的認知負荷。通過對檢索過程中的認知負荷進行評估，可以了解不同檢索方式在不同階段的認知負荷大小和分布情況，從而揭示出檢索方式之間的差異和優(yōu)缺點，為檢索方法的優(yōu)化和改進提供參考。因此，認知負荷是一種可靠的評估指標，可以用來對不同的檢索方式進行評估和比較。評估認知負荷的方法包括主觀評價法、生理指標測量法、行為測量法和任務績效等。主觀評價法是通過詢問參與者主觀感受來評估認知負荷水平，常用的主觀工具包括SWAT量表、WP量表、Paas心理努力量表和NASA-TLX（National Aeronautics and Space Administration-Task Load Index）量表[11]。行為測量法通過觀察任務執(zhí)行過程中參與者的行為反應來評估認知負荷水平。Lednevaa等[12]致力于解決數(shù)字文本中人工信息檢索的問題，探討了數(shù)字文本環(huán)境中導航條件的差異是否與眼動模式和表現(xiàn)所反映的信息檢索行為的變化相一致。孟榮華等[13]通過參與者在任務執(zhí)行過程中的錯誤率、反應時間等指標來反映任務難度和負荷水平。Jadue等[14]通過生理實驗測量參與者的生理指標來評估用戶的意圖，通過比較由眼動儀獲得的眼動參數(shù)來評估用戶的認知負荷。

認知負荷對比試驗是一種用來研究人類認知負荷的實驗方法。認知負荷對比試驗通過將不同類型任務的認知負荷進行比較，可以幫助人們了解哪些因素會增加或減少人類認知負荷[15-16]，從而更好地提高用戶認知效率以促進其對信息的獲取及利用。Harada等[17]通過組內(nèi)不同視覺搜索交互任務中的對照試驗來驗證了交互系統(tǒng)的有效性。Tsai等[18]通過對比在不同機制的搜索任務性能，從而提出了一種可以有效地降低使用者的認知負荷增強內(nèi)容自適應管理方法。Armougum等[19]提供了一種在野外實驗中客觀考察認知負荷的主客觀新方法，通過對不同專業(yè)水平的旅行者認知負荷的變化進行研究，來優(yōu)化旅行者的認知負荷。

本文在苗繡檢索交互系統(tǒng)的基礎上，通過設計紋樣檢索對比實驗，綜合利用主客觀測量指標，評估用戶在檢索過程中采用不同檢索方式的認知負荷，從而對比分析出哪種方式更適合于苗繡檢索。信息檢索的過程通常是一個不間斷的活動，為了更加準確地測量檢索過程中的認知負荷，本研究結(jié)合苗繡紋樣的不同檢索方式特點，對原有的信息搜尋過程模型進行優(yōu)化，利用生理指標和主觀評價數(shù)據(jù)作為評價指標，對兩種檢索方式進行對比研究，評估輸出的有效性，為降低用戶認知負荷水平、提高紋樣檢索的效率提供優(yōu)化途徑。

2 方法

2.1 基于文本與草圖的苗繡紋樣檢索

本文通過兩種不同方式進行苗繡紋樣檢索。針對苗繡紋樣的基礎檢索方式為文本檢索（文本檢索流程見圖2），在目標檢索任務中，用戶通過輸入關(guān)鍵詞在線檢索，檢索階段提取查詢文檔的文本特征，計算與數(shù)據(jù)庫中各文檔的特征向量之間的距離，并返回距離最近的文檔索引作為結(jié)果。

圖2 文本檢索流程

Fig.2 Retrieval process based on text

針對苗繡紋樣的草圖檢索流程（見圖3），首先用戶通過手繪草圖的方式輸入查詢條件；然后通過特征提取，從輸入的草圖中提取出特征向量；最后將用戶輸入草圖所提取的草圖特征與紋樣草圖特征庫中的特征進行匹配，對圖像特征向量進行相似度計算，得出每幅圖像與查詢圖像的相似度得分，最后將得分排在前幾名的圖像作為檢索結(jié)果進行輸出，以圖像形式呈現(xiàn)給用戶。

圖3 手繪草圖檢索流程（以蝴蝶紋樣為例）

2.2 認知負荷信息檢索過程模型

為了探究在苗繡紋樣搜索過程中用戶采用不同檢索方式的認知負荷變化情況，本文以Kuhlthau[21]的信息搜尋過程（ISP）模型作為研究基礎，該模型的特點是面向整個檢索過程的，能夠更加具體地呈現(xiàn)出每個檢索步驟。然而在不同領(lǐng)域中存在相應的差異，因此本文根據(jù)苗繡紋樣檢索過程中的特點，在原有模型基礎上進行改進。

通過對在該領(lǐng)域工作的設計搜索者和對該領(lǐng)域感興趣的業(yè)余愛好搜索者進行了深入地了解與訪談，從而理解苗繡紋樣相關(guān)的檢索過程、任務和存在的問題難點。針對苗繡紋樣信息檢索過程中不同任務階段的認知負荷，可分為5個階段（見表1），本實驗將以在苗繡紋樣檢索過程中的5個任務階段作為測量單位進行研究分析，從而對草圖檢索及文本檢索兩種檢索過程的認知負荷及時間進行對比。

信息檢索過程中不同任務階段的認知負荷會根據(jù)具體的任務特點和難度而有所不同。本文采用主客觀相結(jié)合的測量方式，通過可視化的方式呈現(xiàn)對比效果。本文選取目前使用范圍最廣的NASA- TLX評價量表配合生理測量法來評估測量被試在操作中的認知負荷水平[22-21]。NASA-TLX量表通過問卷形式發(fā)放，要求被試者在完成實驗操作后填寫，包括NASA- TLX量表的6項指標評分（心理需求、生理需求、時間需求、表現(xiàn)、努力和沮喪程度）和權(quán)重指標。本研究中用客觀測量法，通過眼動設備分析眼動指標，即眼跳幅度、凝視注視持續(xù)時間和瞳孔直徑，可以更深入地了解兩種檢索過程用戶的認知負荷不同。

表1 檢索過程的任務階段劃分

Tab.1 Task stage division of the retrieval process

3 實驗

3.1 實驗對象

本研究招募了20名具有一定學歷且教育背景相似的參與者（10名男性，10名女性），參與者的平均年齡（±標準差）為23.8（±4.5）歲。所有的參與者都精通平板電腦的操作，并且在實驗中保持獨立思考的能力。將參與者平均分為兩組（每組男女人數(shù)相同），一組通過輸入文本進行紋樣檢索，另一組通過手繪草圖進行紋樣檢索。在實驗開始之前，確保這些參與者有足夠的時間來熟悉操作系統(tǒng)，并嘗試檢索樣本查詢的紋樣圖片。

3.2 實驗設備

該實驗環(huán)境由一臺高分辨率顯示器、SMI iView- X RED120眼動儀和一臺個人電腦組成。將眼動儀放置在顯示屏下方用于捕捉眼球軌跡。參與者坐在椅子上，與顯示器保持0.5 m距離，以確保觀察到良好的顯示效果，最后使用E-prime軟件進行眼動數(shù)據(jù)分析，見圖4。

圖4 實驗場景與設備

3.3 實驗設計與步驟

本實驗運用項目中的苗繡紋樣系統(tǒng)，所有紋樣圖片數(shù)據(jù)均來源于系統(tǒng)所構(gòu)建的苗繡紋樣圖案數(shù)據(jù)集。本研究的目標是評估文本檢索與草圖檢索的認知負荷水平及檢索效率。文本組通過輸入關(guān)鍵字對目標紋樣圖片進行檢索，草圖組通過手繪草圖完成紋樣檢索。

為了更好地評估針對苗繡紋樣的檢索方式對比，選擇應用相同的檢索任務。該實驗給定6種不同的檢索任務，每個任務都含有不同紋樣的圖片。對于這些任務，已經(jīng)討論確保了任務的可行性，并且列出了每個任務紋樣圖片的內(nèi)容（見表2）。在實驗開始之前，所有參與者都被要求對目標圖片進行1 min的瀏覽，最終目標是通過輸入關(guān)鍵文字或者繪制出相關(guān)草圖來找到相似的紋樣圖片。在這個過程中，他們將根據(jù)對每個檢索任務開始前所呈現(xiàn)的每個目標紋樣圖片的理解，在實驗設備上輸入查詢。在實驗結(jié)束后，參與者將關(guān)閉檢索系統(tǒng)并填寫相關(guān)實驗問卷。基于參與者在完成苗繡紋樣檢索過程中的表現(xiàn)，與其進行訪談。

表2 6種檢索任務及輸入草圖/文本示例

Tab.2 6 retrieval tasks and input sketch/text examples

4 結(jié)果與分析

4.1 認知負荷信息檢索過程測量結(jié)果

本實驗選取使用目前適用范圍最廣的NASA- TLX量表作為主觀評價量表來測量實驗者在檢索過程中的認知負荷水平。由于該量表的評分結(jié)果過于主觀，無法直接作為認知負荷的評價指標。因此，對該量表各維度評分結(jié)果進行歸一化處理,再對各維度處理后的數(shù)據(jù)進行算術(shù)平均，最后將得到的平均值作為主觀評價結(jié)果。在每個參與者完成對應任務之后,將收集到的數(shù)據(jù)導出并計算認知負荷水平。

由于文本檢索需要更多的語言能力和記憶能力，而草圖檢索則需要更多的圖像理解和創(chuàng)造能力。這可能導致在不同的認知階段中，對不同認知負荷的需求有所不同。根據(jù)表3所示，在整個檢索過程中，S代表草圖檢索，T代表文本檢索。在需求分析階段，草圖檢索的認知負荷略高于文本檢索。這是因為在構(gòu)思如何進行手繪時，相比于思考關(guān)鍵詞，草圖檢索需要更多的思維創(chuàng)造力。然而在之后的4個階段中，草圖檢索的認知負荷均低于文本檢索。匹配階段是兩種檢索方式中認知負荷最高的階段，該階段包括被試者判斷紋樣是否與自己預期的結(jié)果匹配。文本檢索的平均時間比草圖檢索長6.07 s，認知負荷也多1.12。這說明文本檢索的結(jié)果更為分散，被試者需要更多的精力去匹配目標紋樣。整個檢索過程的任務階段中，手繪檢索的平均認知負荷比文本檢索減少了14.8%，手繪檢索所花的時間比文本檢索減少了14.3%。

表3 檢索過程的任務階段結(jié)果對比

Tab.3 Comparative results of task stages in retrieval process

注：S代表草圖檢索，T代表文本檢索。

從圖5中的折現(xiàn)圖可看出在5個認知階段中，文本檢索的平均認知負荷明顯高于草圖檢索，但是在查詢構(gòu)建的階段，草圖檢索所需的平均時間要高于文本檢索，這是由于草圖檢索的過程中人需要考慮圖形匹配度及草圖的繪制。最后在匹配階段文本檢索所花的時間是遠高于草圖檢索的，證明草圖檢索得出的紋樣結(jié)果相關(guān)性更強，被試者更容易找到所需的紋樣圖片。

4.2 兩種檢索過程認知負荷主客觀評估結(jié)果

圖4展示了在研究過程中測量的不同眼動指標（凝視注視持續(xù)時間、掃視幅度和瞳孔直徑）及NASA-TLX主觀測量的描述性分析。

4.2.1 持續(xù)注視時間

4.2.2 眼球掃視振幅

4.2.3 瞳孔直徑

圖5 不同檢索方式的認知階段評價指標對比

4.2.4 NASA-TLX

4.2.5 相關(guān)性分析

為了研究三種認知負荷測量方法之間的相關(guān)性，對整個測試樣本進行了眼動指標（掃視幅度、瞳孔直徑和凝視持續(xù)時間）、NASA-TLX的相關(guān)性矩陣分析。發(fā)現(xiàn)掃視幅度和瞳孔直徑、掃視幅度和凝視持續(xù)時間、瞳孔直徑和凝視持續(xù)時間之間存在顯著的正相關(guān)關(guān)系，<0.001。這些不同的相關(guān)關(guān)系都是正向的，且被認為是強相關(guān)的（2分別為0.86、0.77和0.83）。還發(fā)現(xiàn)NASA-TLX與三種調(diào)查眼動指標（掃視幅度，<0.05；瞳孔直徑，<0.01；凝視持續(xù)時間，<0.05）之間存在顯著的正相關(guān)關(guān)系。這些相關(guān)關(guān)系在強度方面被認為是中等的（2分別為0.57、0.53和0.39），具體結(jié)果見表4。

圖6 不同認知負荷指標的平均分

表4 NASA-TLX 和眼動指標之間的相關(guān)矩陣

Tab.4 Correlation matrix between NASA-TLX and eye-tracking metrics

4.3 可視化試驗測量結(jié)果

通過圖7注意力熱圖所示，圖7a文字檢索所呈現(xiàn)的結(jié)果通過“蝴蝶”一詞進行相關(guān)性順序依次排列下來，而圖7b是以草圖的特征進行相關(guān)性排列，呈現(xiàn)的結(jié)果越靠前證明與輸入的信息越匹配。如圖7a所示，被試者通過文字檢索得出的苗繡圖片結(jié)果中，其注意力是離散的，只有經(jīng)過一系列查閱或是翻閱以后才能夠得出想要的蝴蝶紋樣結(jié)果。而在圖7b中，通過草圖檢索得出的紋樣圖片在前兩排就可以找到被試者想要的圖片，他們的視線更聚焦在紋樣圖片的前兩排。證明草圖檢索所獲取的苗繡紋樣與人們想要的答案更匹配。

通過圖8注視軌跡圖可知，使用草圖檢索的注視軌跡較為規(guī)律，注視點大多集中在靠前的幾張圖片上。而使用文本檢索的在視覺顯示處理期間顯示隨機掃描路徑，注視點較為跳躍。結(jié)果表明通過草圖檢索所得出的紋樣結(jié)果更符合被試者的心理預期。

5 結(jié)語

本研究對苗繡紋樣搜索的兩種檢索方式進行了認知負荷的評估。首先通過信息檢索過程的5個階段分析了兩種檢索方式的平均認知負荷及時間；其次使用客觀度量（眼動追蹤）和主觀度量（NASA-TLX負載指數(shù)）來識別草圖檢索和文本檢索時認知負荷水平，結(jié)果基于手繪草圖檢索苗族紋樣的各項眼動指標，NASA-TLX平均分均低于文本檢索，可得出草圖檢索的認知負荷是更低的；最后通過可視化實驗的對比驗證了通過草圖檢索的方式更適合于對苗繡紋樣進行搜索。此外，也驗證了眼動追蹤和NASA-TLX具有相關(guān)性，能有效地進行生理認知負荷測量。

[1] 王一鳴. 百年大變局,高質(zhì)量發(fā)展與構(gòu)建新發(fā)展格局[J]. 新華文摘, 2021(7): 7.WANG Y M. Century-Old Great Changes, High-Quality Development and Construction of New Development Pattern[J]. Xinhua Abstract, 2021(7): 7.

[2] 緱蒙碩, 王巍衡. 苗族紋樣在視覺傳達設計中的運用研究[J]. 鞋類工藝與設計, 2023, 3(3): 76-78. GOU M S, WANG W H. Research on the Application of Miao Pattern in Visual Communication Design[J]. Shoes Technology and Design, 2023, 3(3): 76-78.

[3] 李安娜, 梁燕. 基于聚類算法的黔東南苗族鳥紋刺繡圖案色彩特征研究[J]. 包裝工程, 2023, 44(24): 357- 366. LI A N, LIANG Y. Color Characteristics of Bird Pattern Embroidery of Miao in Qiandongnan Based on K-Means Clustering Algorithm[J]. Packaging Engineering, 2023, 44(24): 357-366.

[4] 鄒悅, 潘偉杰, 呂健, 等. 基于多任務學習的蠟染紋樣圖案檢索方法[J]. 計算機工程與設計, 2022, 43(4): 1052-1058. ZOU Y, PAN W J, LYU J, et al. Batik Pattern Retrieval Method Based on Multi-Task Learning[J]. Computer Engineering and Design, 2022, 43(4): 1052-1058.

[5] 張茜, 劉驪, 付曉東, 等. 結(jié)合標簽優(yōu)化和語義分割的服裝圖像檢索[J]. 計算機輔助設計與圖形學學報, 2020, 32(9): 1450-1465.ZHANG Q, LIU L, FU X D, et al. Clothing Image Retrieval by Label Optimization and Semantic Segmentation[J]. Journal of Computer-Aided Design & Computer Graphics, 2020, 32(9): 1450-1465.

[6] DAI D W, TANG X Y, LIU Y G, et al. Multi-Granularity Association Learning for On-the-Fly Fine-Grained Sketch-Based Image Retrieval[J]. Knowledge-Based Systems, 2022, 253: 109447.

[7] ZHANG X L, SHEN M L, LI X M, et al. A Deformable CNN-Based Triplet Model for Fine-Grained Sketch- Based Image Retrieval[J]. Pattern Recognition, 2022, 125: 108508.

[8] XU P, LIU K, XIANG T, et al. Fine-Grained Instance- Level Sketch-Based Video Retrieval[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2021, 31(5): 1995-2007.

[9] HUANG Y, MA C X, WANG H A. Exploring the Benefits of Text and Sketch in Video Retrieval of Complex Queries[C]// Proceedings of the 8th International Symposium on Visual Information Communication and Interaction. Tokyo: ACM, 2015.

[10] 陳巧芬. 認知負荷理論及其發(fā)展[J]. 現(xiàn)代教育技術(shù), 2007, 17(9): 16-19. CHEN Q F. Cognitive Load Theory and Its Development[J]. Modern Educational Technology, 2007, 17(9): 16-19.

[11] 查先進, 黃程松, 嚴亞蘭, 等. 國外認知負荷理論應用研究進展[J]. 情報學報, 2020, 39(5): 547-556. ZHA X J, HUANG C S, YAN Y L, et al. Progress of Foreign Cognitive Load Theory Application Research[J]. Journal of the China Society for Scientific and Technical Information, 2020, 39(5): 547-556.

[12] LEDNEVA T, KOVALEV A. Cognitive Load Measurement during Navigation and Information Retrieval in Digital Text[J]. Procedia Computer Science, 2021, 192: 2720-2730.

[13] 孟榮華, 李子奇, 吳正佳, 等. 基于裝配任務與EEG功率信息特征的操作員認知負荷研究[J]. 機械設計, 2022, 39(11): 60-70.MENG R H, LI Z Q, WU Z J, et al. Study on Cognitive Load of Operators Based on Assembly Task and EEG Power Information Features[J]. Journal of Machine Design, 2022, 39(11): 60-70.

[14] JADUE J, SLANZI G, SALAS L, et al. Web User Click Intention Prediction by Using Pupil Dilation Analysis[C]// 2015 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology (WI-IAT). Singapore: IEEE, 2015.

[15] LI X M, LI X N, ZHANG J S. Longitudinal Reading Outcome and Cognitive Load in Individual-and Collaboration-Based Environments[J]. Interactive Learning Environments, 2023: 1-14.

[16] BIONDI F N, SABERI B, GRAF F, et al. Distracted Worker: Using Pupil Size and Blink Rate to Detect Cognitive Load during Manufacturing Tasks[J]. Applied Ergonomics, 2023, 106: 103867.

[17] HARADA Y, OHYAMA J. Quantitative Evaluation of Visual Guidance Effects for 360-Degree Directions[J]. Virtual Reality, 2022, 26(2): 759-770.

[18] TSAI C H, HUANG J Y. Augmented Reality Display Based on User Behavior[J]. Computer Standards & Interfaces, 2018, 55: 171-181.

[19] ARMOUGUM A, GASTON-BELLEGARDE A, JOIE- LA MARLE C, et al. Physiological Investigation of Cognitive Load in Real-Life Train Travelers during Information Processing[J]. Applied Ergonomics, 2020, 89: 103180.

[20] YU Q, LIU F, SONG Y Z, et al. Sketch me that Shoe[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas: IEEE, 2016.

[21] KUHLTHAU C C. Inside the Search Process: Information Seeking from the User's Perspective[J]. Journal of the American Society for Information Science, 1991, 42(5): 361-371.

[22] KRIEGLSTEIN F, BEEGE M, REY G D, et al. Development and Validation of a Theory-Based Questionnaire to Measure Different Types of Cognitive Load[J]. Educational Psychology Review, 2023, 35(1): 9.

Comparative Study on Cognitive Load between Sketch-based and Text-based Retrieval for Miao Embroidery Patterns

CHEN Jingxi, CHEN Yang*, WANG Ziao, PENG Li

(Guizhou University, Guiyang 550025, China)

The work aims to explore a more efficient way of retrieving Miao embroidery patterns by conducting a comparative study on the cognitive load during hand-drawn sketch retrieval and text-based retrieval processes. A cognitive load information retrieval model was constructed to experimentally compare the average cognitive load and required time across five cognitive stages. Eye-tracking metrics (such as dwell time, saccade amplitude, and pupil diameter) and NASA-TLX evaluations were employed to analyze the cognitive load of the two retrieval processes. Finally, visual eye-tracking data (heatmap and gaze path) were obtained to validate whether they met the requirements of the retrieval task. The graph retrieval method based on hand-drawn sketches is found to be more suitable for Miao embroidery pattern retrieval. The efficiency of sketch retrieval is validated through subjective and objective integrated comparative experiments. Additionally, the correlation between eye-tracking and NASA-TLX is confirmed, making them more effective for measuring cognitive load.

sketch retrieval; cognitive load; eye-tracking; Miao embroidery pattern

TB472

A

1001-3563(2024)04-0253-09

10.19554/j.cnki.1001-3563.2024.04.027

2023-09-22

貴州省科技計劃項目（黔科合支撐【2021】一般396）