跨模態生成技術下面向文化產品的概念設計方法研究

摘要：文化產品是傳承傳統文化的重要方式，但目前市場同質化嚴重，設計研究效率低，人力成本高?？缒B生成技術可實現文化產品數字原型快速生成迭代，是數字化創新的有效途徑。文章提出了一種將跨模態生成技術與當前文化產品概念設計過程相結合的方法。根據文化產品特點和跨模態生成技術特點，結合文化意象層次知識，將設計過程中需要人為處理的大量跨模態設計任務，通過跨模態技術處理傳遞設計信息，快速生成創新概念方案，并對此設計方法流程進行研究。以“基于海晏河清文化的加濕器”為例，進行有效設計實踐，獲得相關文化產品初步概念設計方案。利用該概念設計方法可以促進文化產品概念設計階段快速迭代，為文化產品的創新和發展提供有力支持。

關鍵詞：文化產品；概念設計；跨模態；多模態；數字技術

中圖分類號：J52 文獻標識碼：A文章編號：1003-0069（2024）09-0014-05

Abstract：Cultural products are an important carrier of traditional culture，but the current cultural product market is seriously homogeneous， with low design and research efficiency and high labor costs. Realizing the rapid generation and iteration of digital prototypes of cultural products through crossmodal generation technology is an effective way to realize the digital innovation of cultural products. This article explores the way to combine cross-modal generation technology with it by studying the current conceptual design methods of cultural products. According to the characteristics of cultural products and the characteristics of cross-modal generation technology， combined with the level knowledge of cultural imagery， a large number of cross-modal design tasks that need to be handled by humans in the design process are processed and transmitted through cross-modal technology to quickly generate innovative concept solutions， and study the design process. Taking the “humidifier based on Haiyan Heqing culture” as an example to carry out effective design practice，the preliminary conceptual design scheme of related cultural products was obtained. Cross-modal generation technology can promote the rapid iteration of the concept design stage of cultural products， and provide strong support for the innovation and development of cultural products.

Keywords：Cultural product；Conceptual design；Cross-modality；Multimodality；Digital technology

引言

文化是國家強盛的基石[1]，在國家“十四五”文化改革發展規劃中明確提出，文化產業要加快數字化布局和科技賦能，并將創作優秀文化產品列入重點規劃項目中。文化產品以有形的載體來講述無形的典故，將文化內涵以產品的形式傳達給消費者，承載了傳播文化以及增強國民的文化自信的責任。

在文化產品概念設計研究中，設計師對多模態文化設計數據進行全新詮釋，結合設計創新活動，將定義不明確的設計問題轉化為低保真設計概念和原型[2]，是設計過程的基礎階段。目前，跨模態數據處理任務主要以人工為主，在設計活動中設計師的經驗占比較大，導致文化產品市場同質化嚴重[3]。應將先進科技作為文化產品創作的戰略支撐。隨著人工智能生成內容（AIGC，AI-Generated Content）的不斷發展，跨模態生成技術為文化產品數字化創新設計和科技賦能發展帶來了更多的機遇和可能性。

一、跨模態生成技術的特點和應用

跨模態生成技術是一種基于人工智能和深度學習的技術，旨在將一個模態數據（如文本、圖像、語音等）轉換為另一個模態數據，實現跨模態的信息傳遞和生成，如圖1。跨模態生成技術可以幫助計算機在需要大量人工參與的任務（如圖像生成和視頻描述等）進行學習，以降低昂貴的人工成本[4]。

跨模態生成技術在自然語言處理、計算機視覺、語音識別等領域得到了廣泛應用。在訓練數據和生成算法模型的基礎上，該技術可以創造新的多模態內容。Stable Diffusion、MidJourney等圖像生成模型，標志著藝術和科技的融合趨勢；OpenAI的大型語言生成模型ChatGPT，在自然語言處理領域展示了強大的應用潛力。相關技術呈現出的獨特創造力，在文化產品設計研究中具有良好的應用前景。

二、文化產品概念設計創作研究

概念設計位于設計過程的早期階段，在此階段探索文化產品的形式、功能和文化知識的融合方式。在此階段，設計師想要產出創造性的設計，需要重新審視和思考文化特征，并將其融入到產品設計中，盡可能多地探索設計空間。羅仕鑒和董燁楠以文物專家作為咨詢對象，利用錄像記錄焦點小組座談過程[5]，并挑選文物圖片展開設計師訪談。通過研究人員的跨模態分析處理，得出文物設計知識的分類框架，輔助設計師結合文物知識開展創新設計活動。黃晨霞開展問卷調查獲取消費者對區域文化圖片樣本的認知文本，通過人工語義分析提煉，為設計師進行文化產品概念設計提供幫助[6]。

在文化產品的概念設計中整體可分成設計檢索、設計實施、設計整合三個步驟，其中存在大量需要設計師進行跨模態數據處理的設計任務[7]，如圖2。通過這3個步驟，設計師可以結合專家意見，分析現有設計知識，對多模態信息轉化、總結、分類和整理，將文化知識和設計思想等信息，傳遞到最終的產品概念原型中，以設計說明、產品瀏覽圖和3D模型的形式呈現[8]。這3個過程既是線性的，又是迭代的，以便更好地理解設計問題，探索設計空間。

三、跨模態生成技術下文化產品概念設計方法探索

在概念設計過程中，人工地去處理轉化設計任務中的跨模態數據效率低下，人力成本高，跨模態生成技術為文化產品設計和數字化發展帶來了更多的機遇和可能性。但是原本粗放的跨模態數據存在大量的噪聲，不能滿足直接進行文化產品概念設計研究的需求。因此，探索出滿足文化產品概念設計研究需求的跨模態生成方法是非常重要并且亟待解決的問題。

（一）基于設計的文化層次多模態數據處理

1.多模態數據集分類

應用文化元素進行文化產品概念設計時，需要在設計的基礎上進行層次的劃分和映射，有助于設計師理解相關文化元素在不同層次上的作用[9]?！拔幕焙汀爱a品”這兩個設計對象都是復雜的集合體，分別由文化元素和產品屬性構成?；贚eong、林榮泰、包德福等人的設計模型，本文將在文化三層次的框架下，對初始檢索到的多模態數據進行劃分，如表1。

文化的外在層次，外有層是指能夠通過視覺觸覺感知的有形的、物質的文化總和，比如說色彩、材質、線條、紋理等，通過外顯文化意象反映在產品色彩、質感、造型等外形屬性中；文化的中間層次，行為層是指使用行為的、意識習俗的相關文化內容，反映在產品的功能、操作性、安全性等功能屬性中；文化的內無形層次則是指意識形態的，無形精神的文化內隱性價值層，反映在產品的特殊含義、故事性、文化內涵等情感屬性中?；诖?，對設計任務中多模態數據進行劃分，也有助于文化意象最終在產品上的表現力。

2.多模態數據匹配處理

本文利用分解思維構建元數據框架的方式，將文化數據和跨模態生成方法進行分別描述，以便直觀地看到相關文化元素的主要跨模態數據特征，如圖3。元數據框架是一種系統性的數據分解工具，能夠全面系統地將文化層次的元素屬性、主要模態數據類型和跨模態處理方式呈現出來，幫助設計師充分和理解文化知識，實現文化元素的充分呈現和有效運用。

從信息呈現的角度來看，不同文化意象層次的文化元素，其主要的模態數據類型也不同。文化的外有形層次所呈現的文化意象內容主要是指通過視覺和觸覺感知的物質文化內容，因而模態數據類型是圖片為主，文本為輔，比如說器物造型、文物材質等；中行為層次是能夠通過視覺和觸覺感知的動態行為文化的總和，因此，主要模態數據類型是視頻，字幕講解、文字描述為輔，比如說生活行為、象征儀式和風俗行為等；內無形層是指看不見、摸不著、不可直接感知的意識和觀念等精神文化的總和，其中包括文化典故、感性認知等，需要通過文字記錄，閱讀故事，或是視頻講解的方式呈現，模態數據類型以文字描述為主，以視頻呈現為輔，例如文學故事、價值觀念等。

（二）跨模態生成技術下文化產品概念設計方法流程

通過對文化產品概念設計過程中設計知識活動的解析，可以更好地了解其中多模態數據轉化的信息流，根據不同模態數據轉化的類型，選擇不同的跨模態生成技術，減少多模態信息轉化之間的噪音和人工處理的時間，提高設計任務的效率和準確性[10]。本研究基于前文概念設計三階段的基礎上，將跨模態生成技術下面向文化產品的概念設計方法流程劃分為多模態數據檢索、跨模態設計分析、多模態概念呈現3個階段，如圖4。

1.多模態數據檢索

多模態數據檢索是設計師充分了解設計任務后，運用多種方式收集相關設計信息，并有效整合處理的步驟。在實踐中，可以使用專利、文獻、計算機檢索、訪談問卷等多種方式來收集有用得多模態數據。結合上文提出的文化層次多模態數據分類方法，將檢索到的多模態數據集分類為U1、U2和U3。

在跨模態數據轉化處理的過程中，將視頻數據采用AI圖像提取的方式，提取關鍵幀，轉化為圖片信息；將圖片數據通過AI圖像描述（Image to Text）的方式，轉化為關鍵性語句；將文本數據通過AI文本模型提取關鍵信息，精煉為關鍵詞的形式。提取關鍵詞和關鍵語句作為該數據集的相關設計信息。最后，將外有形U1、中行為U2、內無形U3三層設計信息輸入AI文本模型進行信息提煉概括，轉化為文本形式的詳細設計信息。

2.跨模態設計分析

跨模態設計分析中強調探索新穎的設計概念。設計師集思廣益，探索設計空間，從外觀、功能、材質、紋案等多角度創造新穎的設計概念。在概念設計中，設計思想通常以草圖和文字描述的形式呈現。文字描述用于記錄和描述設計師的想法，草圖可以幫助形象化設計概念。

在此階段中，將上一階段所獲得文本形式的詳細設計信息，通過文本轉圖像（text to image）的跨模態生成技術，生成相關產品的初步預覽圖，設計師可以根據初步預覽圖繪制設計意向草圖，結合詳細設計信息，通過文本結合草圖轉圖像（textsketch to image）的生成技術，細化設計概念，進一步觸發創意設計想法。多輪細化之后，根據確定的預覽圖生成多視角的產品預覽圖獲得設計預覽圖集，如圖5。

3.多模態概念呈現

多模態概念呈現是設計師從先前步驟中收集多模態信息，系統完善后集成設計概念的步驟。以設計預覽圖集作為基礎，采用圖像轉模型（image to 3D）的生成技術，創建低保真3D模型以實現更好的可視化和確定概念設計方案后的進一步開發。在產品設計領域，產品概念方案是一個復雜的多模態數據集合，多模態數據是產品的組成形式，設計師需要結合前兩階段獲得的文本信息和圖片信息進行整合編輯，建立文化產品概念設計數字化方案的多模態信息集。對于編輯好的數字化信息集，既可以通過web端呈現，也可通過VR或AR的媒介展示相關概念設計方案，為設計過程的下一階段提供更好的可視化呈現，如圖6。

四、跨模態生成技術下文化產品概念設計實踐

以“基于海晏河清文化的加濕器”這一文化產品概念設計作品為例，闡述設計師如何利用跨模態生成技術輔助文化產品概念設計的應用過程。

（一）明確設計任務，檢索分析相關數據

在該設計任務中，設計師通過檢索“海晏河清”相關的關鍵詞，通過互聯網檢索大量相關的跨模態數據，檢索后發現以跨模態數據為主。結合上文提出的文化層次多模態數據分類方法，對海晏河清相關多模態數據集分類，發現在該案例中，線條、功能、操作和結構關系4種文化元素數據比較少或與其他文化元素數據內容相一致，因此結合實際情況對這4個文化元素內容內容進行去重。并通過Text processing model和Image Captioning等相關跨模態生成技術處理相關數據，結合相關知識思考設計寓意，如表2。

分析不同設計知識之間的潛在聯系來解構創作產品的物質實體，有助于設計的創新。產品作為文化的載體，依據前文的分析，分為3個層面即“造型-外有形U1，功能-中行為U2，內涵-內無形U3”，結合產品作為物質載體設計概念原型。在本案例中，“造型-外有形U1”主要包括色彩（霽青色釉、白釉、金色彩繪）、材質（瓷器）、紋飾（花卉紋、祥云紋）等，在下一步中會根據文化元素原本的造型特征，以形態同構的方式推敲特色文化產品的造型；“功能-中行為U2”主要包括工藝操作（凸壓、施彩、雙耳雕貼）呈現，在接下來的設計活動中，會通過邏輯相關的設計原則思考產品相關功能；“內涵-內無形U3”主要包括文化典故（劫后余生、緬懷歲月）、感性認知（盛世愿景、四海升平）、精神寓意（繁榮昌盛），代表了文化元素的傳承內核，在后文的設計推導中，會以認知共鳴和內涵傳遞的設計融入方式設計相關文化產品。

（二）跨模態生成預覽圖，繪制草圖

基于上一階段跨模態技術處理獲得的相關數據，設計師以自身設計知識為主，結合基于設計的文化層次和相關AI進行總結整理，如表3。

1.外有形層次設計觀點：在該層面會思考產品造型的呈現方式，在色彩上，海晏河清尊器身以霽藍色釉為底，表面以金彩繪制紋飾，釉色藍如深海，釉面勻凈，呈色穩定，霽藍色也象征河水清澈之意；在造型上，敞口短頸，是宮廷的陳設瓷，以觀賞為主；在紋飾上，頸部繪有金彩蕉葉紋飾，是瓷器的輔助紋樣，頸肩之間飾有祥云紋，寓意祥瑞之云氣，表達了吉祥、喜慶、幸福的愿望以及對生命的美好向往，腹部飾以金彩繪纏枝牡丹紋，是繁榮昌盛、美好幸福的象征，脛部施粉彩，凸雕蓮瓣紋、蓮實以及聯珠紋，寓意為文人士大夫出淤泥而不染的人格寫照。在造型上，宮廷的陳設瓷的特點與空氣加濕器的觀賞性特征契合，蓮瓣紋的潔凈特點也與產品特征相符。

2.中行為層次設計觀點：在該層面會思考產品功能的操作方式，海晏河清尊制作工藝繁復，包含貼、雕、凸壓等多道工序，需要多次入窯、施彩，在肩頸之間堆貼的海燕造型白釉雙耳，可以作為加濕器的提手或者霧化出口處呈現，在具體使用時暗含雕貼雙耳工藝。

3.內無形層次設計觀點：在該層面會思考產品文化內涵的傳遞方式，瓷尊通體霽藍釉，象征著黃河澄清，四海升平 ；雙耳雕貼白釉海燕，做展翅翱翔之狀，栩栩如生，暗合“海晏”之音；在英法聯軍攻入京師之時，又奇跡般劫后余生，躲過兵災。既承載了先輩對美好未來繁榮昌盛、四海升平的盛世愿景；又寄托了后人對往昔歲月的緬懷。設計活動中，在思考造型和功能時，要注重文化的認知共鳴和內涵傳遞，與產品的表現糅合在一起，體現海晏河清尊的文化內涵和歷史故事。

在Text to Image相關跨模態生成技術基于輸入的相關設計信息總結后，初步生成一系列設計瀏覽圖，為設計師縮短了跨模態數據轉化相關設計任務的時間。輔助設計師開展文化產品的概念設計。設計師可以從初步生成的設計瀏覽圖集中挑選合適的產品概念圖，結合3個層次的設計觀點思考，通過繪制草圖的方式進行細化，結合相關設計信息利用TextSketch to Imaged的跨模態生成技術，對相關設計瀏覽圖進行多輪細化，獲得“基于海晏河清文化的加濕器”相關產品概念設計預覽圖集。

（三）多模態文化產品概念設計方案呈現

在本階段中借助Image to 3D相關技術，將所獲得的“基于海晏河清文化的加濕器”相關產品概念設計預覽圖集輸入，獲得相關點云模型和浮雕模型，結合相關設計信息，建立“基于海晏河清文化的加濕器”的概念設計數字化方案的多模態信息集，在未來設計方案的深化中，設計師可以結合相關多媒體技術進行設計評價并建立高保真模型，如表4。

通過“基于海晏河清文化的加濕器”這一文化產品概念設計實踐，發現跨模態生成技術下文化產品概念設計方法可以有效幫助設計師有條理、層次地提煉設計數據；快速渲染草圖，生成效果預覽圖；生成低保真模型，輔助設計師快速呈現文化產品數字化概念設計初步方案，提高概念設計階段的設計效率。

結語

文化產品是傳承傳統文化的重要方式，是文化產業的重要支柱。針對文化產品過程中，同質化嚴重，設計研究效率低，人力成本高的問題。探索性地提出了一種跨模態生成技術下的文化產品概念設計方法，幫助設計師更有效地創新和優化文化產品概念設計。該方法可以快速處理跨模態的設計任務，幫助設計師設計出更具個性化的文化產品，將不同模態的信息結合起來，總結轉化有條理的設計目標需求，產生具有創新性和多樣性的文化產品概念設計方案；提高文化產品的設計效率，減少手工設計的時間和成本，使設計師能夠快速迭代和優化設計方案。將AIGC的相關技術結合在文化產品的概念設計過程中，為文化產品數字化創新設計和科技賦能發展提供了參考案例。當前，研究主要結合AIGC領域的開源AI模型為主，后期進一步研究中，可以結合針對文化領域訓練的相關AI模型優化跨模態生成的概念設計質量。

基金項目：浙江省大學生科技創新活動計劃項目“基于用戶動態評論的文化產品優化設計系統研究”項目編號：2022R403B072

參考文獻

[1]Wen Z. Precise Design Research of Regional Cultural and Creative Products Under Big Data[C]//2021 International Conference on Applications and Techniques in Cyber Intelligence：Applications and Techniques in Cyber Intelligence（ATCI 2021）Volume 1. Cham：Springer International Publishing，2021：784-789.

[2]劉啟虞. 數據驅動的產品創新設計概念生成方法研究[D]. 四川：四川大學，2021：21-45.

[3]劉夢琪. 基于用戶評論的文化產品優化設計研究[D]. 浙江：浙江工業大學，2021：1-47.

[4]汪敏. 基于跨模態語義關系的圖像生成關鍵技術研究[D]. 北京交通大學，2021：1-10.

[5]羅仕鑒，董燁楠. 面向文化創意設計的器物知識集成與管理[J]. 計算機集成制造系統，2018，24（4）：964-977.

[6]黃晨霞. 基于區域文化意象認知的產品設計評估研究[D]. 浙江：浙江工業大學，2014：16-45.

[7]Li X，Wang Y，Sha Z. Deep Learning Methods of Cross-Modal Tasks for Conceptual Design of Product Shapes：A Review[J]. Journal of Mechanical Design，2023，145（4）：041401.

[8]Emerging Technologies and Methods for Early-Stage Product Design and Development[J]. Journal of Mechanical Design，2023，145（4）：040301.

[9]張敏，劉林，熊志勇. 情景故事法在產品文化意象設計中的應用[J]. 包裝工程，2016，37（22）：164-168.

[10]何萌，張榮紅，侯思敏. 基于數字技術的荊楚文創產品設計研究[J]. 設計，2023，36（4）：10-13.