基于Stable Diffusion的虛擬人形象預設計的應用與研究

收稿日期：2023-09-21

基金項目：2022年浙江省大學生科技創新活動計劃暨新苗人才計劃（2022R470A009）

DOI：10.19850/j.cnki.2096-4706.2024.03.036

摘" 要：對當前AIGC在虛擬形象預設計方面的現狀及影響進行了分析和探討。以Stable Diffusion為例，詳細介紹了工程構建和實現，對相關模塊的作用、運行環境、使用方法及其指令等多個方面進行了綜合敘述、分析和探討，針對使用不同采樣方法、不同采樣參數及不同訓練模型生成圖片效果的優劣進行了說明及展示。隨后，通過項目實例，完整地展示了人物形象預設計的過程。最后，對AIGC等新技術可能帶來的社會影響進行了預測和總結。

關鍵詞：AI生成內容；Stable Diffusion；生成對抗網絡；提示詞；虛擬人形象

中圖分類號：TP18" 文獻標識碼：A" 文章編號：2096-4706（2024）03-0169-07

Application and Research on Virtual Human Image Pre-design Based on Stable Diffusion

ZENG Jianyong， SHEN Xiaoping

（College of Internet， Jiaxing Vocational and Technical College， Jiaxing" 314036， China）

Abstract： This paper analyzes and explores the current status and impact of AIGC （AI Generated Content） in virtual image pre-design. Taking Stable Diffusion as an example， this paper provides a detailed introduction to engineering construction and implementation， and comprehensively describes， analyzes， and explores the functions， operating environment， usage methods， and instructions of relevant modules. It also explains and demonstrates the advantages and disadvantages of the effect of using different sampling methods， sampling parameters， and training models to generate images. Subsequently， the process of the human image pre-design is fully demonstrated through project examples. Finally， the potential social impacts of new technologies such as AIGC are predicted and summarized.

Keywords： AIGC; Stable Diffusion; GAN; prompt; virtual human image

0" 引" 言

計算機視覺和生成模型領域的不斷演進，人工智能（AI）在圖像生成和處理方面取得了突破性的發展。從20世紀70年代開始，一些藝術家和計算機科學家就開始嘗試利用計算機程序來進行繪畫創作；從2012到2015年，一些人工智能與機器學習的權威和團隊開始利用深度學習網絡來進行圖像生成。到2021年，AI生成圖像進入到快速發展階段[1]。

現在市面上較為流行的models，如Stable Diffusion可以生成各種風格的人像圖像，可實現虛擬人物形象的預設計，可廣泛使用于影視制作、游戲設計等行業。類似工具的出現，可節省大量時間和資源，使創作者可以更加關注于故事創作和人物塑造[2]。

Stable Diffusion等生成模型在虛擬人形象預設計方面的應用，極大地改變了原有的內容生產方式，正在迅速顛覆現有的生產模式。模型生成的人像圖像質量已經足以用于電影、游戲等領域的預設計，與傳統的人工設計相比，Stable Diffusion的應用讓工作流程更加高效，大大減少了資金和時間成本。

AIGC應用于虛擬人形象預設計推動產業升級，影響深遠。更高效的虛擬人形象預設計將極大地促進虛擬現實、游戲、數字媒體等產業的發展，帶動創意產業的升級和創新。另外，新技術的應用可拓展應用領域，將涵蓋娛樂、教育、醫療、廣告等多個領域，為更多行業和領域帶來新的可能性和機會，創造全新的商業模式和產業生態[3，4]。

AIGC等新技術的涌現可能會帶來一系列的社會問題。一方面是關注到新技術產生的負面影響，例如AIGC被用于生成不良或非法內容、虛擬人形象在社交媒體中被濫用、虛假信息的傳播、被不法分子利用等；另一方面，新技術出現將影響社會生產組織方式和分配方式，調整就業結構和各產業競爭力。在現有社會法律法規和道德倫理的框架下，AIGC等新生技術的出現將面臨著一系列的挑戰[5，6]。

1" 工程構建

1.1" 工程實現路徑

1）訓練Stable Diffusion模型，此過程需要一個大規模的文本-圖像數據集，包含圖像及其對應的文本描述。需要確保數據集涵蓋當前大部分原有的設計，以產出不偏不倚的模型。

2）構建關鍵詞庫。收集描述人物外表特征的詞匯和短語，構建相關的關鍵詞庫。這些關鍵詞將作為輸入，由Stable Diffusion生成對應的人像。

3）關鍵詞到圖像的生成。輸入步驟2構建的關鍵詞庫中的詞匯，Stable Diffusion會生成相關的人物設定圖像。例如，輸入“女孩（girl），白發（white hair），紅眼（red eyes），微笑（Smile），精靈（Elf）”，會生成一張笑著的白發紅眼精靈女孩的形象，如圖1所示。

圖1" 關鍵詞到圖像生成的效果圖

4）重新生成和優化。對Stable Diffusion生成的初步人像結果，可以進行重新生成或者手工調整，以產生更符合需要的結果。這需要設計一個人機交互的界面，用戶通過更改關鍵詞或是調整圖像參數，即可看到重新生成的輸出，并在此基礎上選擇最終結果。

5）3D重建與動畫設計?；谏傻?D人像，使用其他3D建模與動畫工具將其重建為3D虛擬人物模型，并設計面部表情與動畫。此過程中需要多種技術不同工具的有效結合與協作。

6）分析和管理社會影響。在工程實現的每個步驟，都需要考慮相關的社會影響與偏見問題，并采取必要措施予以管理。這需要對系統的每個組成部分進行審查與監督，確保最終結果的公平、安全和透明。

在應用Stable Diffusion生成模型過程中，需要訓練數據集與模型、構建關鍵詞庫、設計人機交互界面、3D重建與動畫設計，并在每個步驟管理社會影響問題。只有技術與管理措施的有效結合，才能產出一個負責任的基于AI的虛擬人物預設計系統[7]。

1.2" Stable Diffusion應用

Stable Diffusion作為一款強大的文本到圖像的生成模型，通過提供關鍵詞可生成高質量高分辨率多風格的圖像，能夠生成逼真的虛擬數字人形象。

1）生成對應特征詞描述的人臉圖像。提供描述某人外表特征的關鍵詞，如“藍眼睛”“濃密眉毛”和“長臉部”，Stable Diffusion可以生成具有這些特征的人像。此步驟可幫助實現虛擬人物外表輪廓與特征的快速設計。

2）生成不同種族和性別的人像。通過提供相應的關鍵詞，如“女性”“歐洲人”和“東南亞人”，Stable Diffusion可以生成不同人群的人像。這能夠實現設計不同背景的虛擬人物，拓展創作的多樣性。

3）生成不同情緒和表情的人像。除外表特征外，關鍵詞還可以描述人物的情緒，如“開心的”“生氣的”“驚訝的”。Stable Diffusion會生成展現對應情緒的人臉圖像，能夠為3D虛擬人物設計復雜的面部動畫。

4）重新生成并優化人像結果。Stable Diffusion生成的人像圖像可以作為初始結果，根據需要進行重新生成或優化，即可實現二次生成。這可以產出更加符合創作者意圖的人物外表，增加設計的靈活性。

Stable Diffusion可生成高質量的人臉圖像，具有不同特征、種族、性別、情緒等，為虛擬人物的外表設計和面部動畫制作提供了便利。與人工設計相比，Stable Diffusion大大降低了資金和時間成本，使創作過程更加高效[7]。

1.3" Stable Diffusion文生圖基本功能參數

Stable Diffusion是一款基于diffusion models技術的開源圖像生成模型。相比較Video GANs和其他生成對抗網絡，Stable Diffusion具有更高的分辨率和更優質的圖片質量[8]。

如圖2所示的Stable Diffusion checkpoint，其中的Checkpoint可以理解為模型，它是在基礎模型的基礎上進行fine-tuning而得到的模型。Stable Diffusion提供的不同checkpoints代表的是模型訓練到不同Stage的結果。如圖3所示，在下拉列表中可選擇不同的模型。

圖2" Stable diffusion checkpoint

圖3" 選擇不同的模型

如圖4所示的標簽欄中，提供了包括文生圖、圖生圖、擴展插件等功能。具體的功能選項如表1所示。

圖4" 標簽欄選項

表1" 標簽欄基本選項

序號 功能選項 功能描述

1 txt2img 文生圖，標準的文字生成圖像

2 img2img 圖生圖，根據圖像成文范本、結合文字生成圖像

3 Extras 優化（清晰、擴展）圖像

4 PNG Info 圖像基本信息

5 Checkpoint Merger 模型合并

6 Textual inversion 訓練模型對于某種圖像風格

7 Settings 默認參數修改

文生圖參數區域中，可選擇不同的采樣方法（Sampling method），選擇用于生成圖像的采樣算法，可以選擇默認的Euler或DPM++，后者生成的圖像細節更豐富。采用不同的采樣方法生成的圖片有時會差異巨大，如圖5所示。

（a）Euler a" " " " （b）DPM++ 2S a

圖5" 使用不同的采樣方法

圖6中，Sampling steps為設置采樣步數，可指定生成圖像的迭代次數，數值越大則圖片質量越高，但耗時越長；Widthamp;Height用來指定生成圖像的寬高分辨率，數值越大需要越多顯存資源，默認為512×512；Batch count為每個圖像運行的最大迭代次數；Batch size用于設置一次可以生成的圖像數量。CFG scale用于控制圖像與文本的一致性，數值越大生成的圖像更接近文本，但大于7時圖像會變得過飽和；Seed為生成過程指定一個隨機種子數，相同的種子每次生成的圖像相同，有利于重復性；Restore faces開啟時會對生成的人臉圖像進行優化，但會出現虛化，適合遠景人臉。

1.4" Stable Diffusion模型

模型訓練主要的作用一般是為了獲得符合自己特定需求風格的圖像。Textual Inversion、Hypernetwork、Dreambooth和LoRA是四種不同的訓練Stable Diffusion模型的方法。它們都可以用來增強模型的功能或減少偏差，但各有優劣。

訓練模型的作用是通過學習特定數據集的信息，彌補和升級預訓練模型的功能。如果現有模型已能產生需要的內容，比如某種風格或特定人物，就可以直接使用。然而如果模型無法產生所需的內容或產生嚴重錯誤，則可以采取以下方法：

第一步，收集所需內容（人/物/樣式）的樣本圖像示例。

第二步，使用樣本數據訓練出一個嵌入向量（embedding），利用特定關鍵詞標記它。

第三步，在文本提示中使用該關鍵詞就能引導模型按訓練內容輸出圖片。

總的來說，當模型已滿足要求時，直接使用即可;當出現缺陷時，我們可以收集相關樣本，訓練出嵌入向量（embedding）并使用對應的關鍵字標記，以引導模型輸出我們期望的內容。

四種訓練方法各有優缺點，需根據實際需求權衡選擇。訓練出嵌入向量供模型調用，可以有效彌補模型所欠缺的內容，但需投入一定成本收集數據完成訓練。直接使用現有模型簡單直接，是否滿足需求要根據實際測試決定[9]。

1.5" 數據集

對于數據集的獲得可以通過以下的途徑來獲得數據集：

1）公開數據集：有很多大型公開的圖像數據集可以使用，如：ImageNet：包含超過一千萬張圖像；Flickr：Flicker上的公開圖片，數量非常龐大；Open Images：包含超過一億張圖象的開放數據集；COCO：包含了各種場景和對象的高質量圖像和標注；Visual Genome：具有細粒度標簽的圖像-文本對數據集。這些公開數據集的內容多樣化、規模巨大，適合Stable Diffusion模型的預訓練。

2）爬蟲：可以編寫爬蟲從網絡上采集符合需求的圖像作為訓練數據?？梢詮纳缃幻襟w平臺、購物網站、攝影社區等多個來源采集。

3）購買：從數據集交易站點購買符合要求的圖像數據集。如VoxCeleb、CelebA等人臉相關數據集，可以用于學習人物方面知識。

4）自建：如果公開和已有的數據集無法滿足需要，可以自己構建適合任務的訓練數據集。這需要投入大量時間和精力，數據質量和多樣性面臨挑戰，但可以精確滿足需要。

5）混合利用：可以組合使用多種途徑獲得的數據集，互補各自的短板，獲得更好的訓練數據。

6）數據增強：可以對獲得的數據集進行修正（錯別字、噪聲等）和增強（旋轉、翻轉、裁剪、混合等），擴充訓練樣本。

通過以上途徑相結合，可以獲得體量龐大、內容多樣化的圖像數據集，有助于訓練出更強大的Stable Diffusion模型。選擇合適的方式取決于項目實際情況、預算及時程等多方面因素。

1.6" Stable Diffusion擴展和調優

Stable Diffusion具備開源的特性，開發者可以為Stable Diffusion編制豐富的插件以實現更加豐富的功能和性能優化。

ControlNet是一個強大的Stable Diffusion插件，它通過學習一個更有效的表示方法（control code）來幫助用戶精細控制生成圖像。ControlNet可通過添加額外的條件（如邊緣檢測或人體姿態檢測）來增強Stable Diffusion模型，從而根據文本提示控制圖像的生成。

傳統的文本圖像生成模型如Stable Diffusion使用文本作為輸入，文本可以描述想要的內容和樣式，但復雜而模糊。而ControlNet不同，它學習出一個128維的控制碼，每個維度代表一種特性，如形狀、對象、背景和顏色。用戶可以直接輸入文本描述作為起點，ControlNet將會為該描述生成一個控制碼。另外，用戶也可以手動編輯每個維度來改變生成圖像。用戶隨時都可以觀察控制碼和生成的圖像，再進行進一步編輯。這可方便用戶探索圖像空間并精確地表達出想要的內容和樣式。

有了ControlNet，用戶不再受限于文本輸入，而是可以直接通過編輯控制碼來完全控制生成圖像，獲得想要的效果。相比Stable Diffusion，ControlNet生成的圖像更加穩定而多樣，如圖7所示。

圖7" 使用ControlNET生成圖像

ControlNet有多種預處理器（Preprocessor）和對應的模型（Model），如表2所示。

表2" ControlNet中的預處理器及對應的模式

Preprocessor Model

depth_xxxx control_xxxx_depth

lineart_xxxx control_xxxx_lineart

openpose_xxxx control_xxxx_openpose

其中，OpenPose是ControlNet的預處理器，用與提取人物骨架等。OpenPose檢測人體關鍵點，如頭部、肩膀、手等的位置，它對于復制人體姿勢而不復制其他細節，如服裝、發型和背景非常有用。所有的OpenPose預處理器都需要與ControlNet的模型下拉菜單中的OpenPose模型一起使用。如表3所示為OpenPose預處理器的列表[10]。

表3" OpenPose預處理器的列表

OpenPose 包括眼睛、鼻子、眼睛、脖子、肩膀、肘部、手腕、膝蓋和腳踝的位置

OpenPose_face OpenPose + 面部細節

OpenPose_hand OpenPose + 手和手指

OpenPose_faceonly 僅面部細節

OpenPose_full 包括以上所有細節

另外，在沒有樣板代碼的情況下使用，可使用定制的構建模塊。這些組件與領域無關，在視覺、自然語言處理等領域可以使用xFormers。xFormers包含尖端組件，這些組件尚未在主流庫（如PyTorch）中提供。xFormers包含自己的CUDA內核，但在相關時會調用其他庫；僅支持NVIDIA生產的圖像計算卡，因為這涉及NVIDIA CUDA的調用，啟用xformers能夠大幅度降低VRAM占用和加速圖像推理速度。

以Windows平臺為例，啟用xformers可以在stable diffusion文件夾根目錄下編輯webui-user.bat文件，添加“--xformers”參數，如圖8所示。

圖8" 添加“--xformers”參數

2" 項目示例

2.1" 素材來源

使用Stable Diffusion前需要事先準備一個訓練好的模型，可以直接使用其他人預先訓練好的模型，目前主流的model共享平臺主要有civitai.com和huggingface.com等。

2.2" 生成人物示例

2.2.1" 準備環境

1）下載安裝Python最新版本。

2）下載安裝Git最新版本。

3）進入到存放stable diffusion文件的目錄運行“git clone https：//github.com/AUTOMATIC1111/stable-diffusion-webui.git”。

2.2.2" 獲取模型

登錄civitai.com選擇一個模型后點擊右上方的Download下載模型，并將模型放在stable diffusion的models＼stable-diffusion文件夾中，如圖9所示。

圖9" 下載模型

2.2.3" 運行stable diffusion

雙擊webui-user.bat即可運行stable diffusion。

2.2.4" 輸入提示詞

AI經過訓練后學會了如何生成符合一般人類圖片的樣式，但是要生成特定主題或風格的圖片還需要人為地提供指引。

提示詞（prompt）是告訴AI期望生成什么樣的圖片。主要包括兩大類型：

1）正向提示詞（Positive prompt）描述你希望圖片包含的元素，如場景、主題、風格等。這將推動AI生成符合你描述的圖片。

2）負向提示詞（Negative prompt）描述你不想在圖片中看到的元素。這將避免AI生成你不需要的內容。

提示詞應以英文寫出。AI模型是通過大量英文文本訓練出來的，不能理解其他語言。提示詞的復雜度與圖片的質量之間通常需要找到一個平衡點。過于復雜的提示詞有可能無法被AI理解，導致效果不佳。不同的模型對于同一組提示詞可能生成不同的結果。

Stable Diffusion中的提示詞（prompt）除了一般的正向和負向提示詞外，還有一些特殊語法可以幫助生成更好的效果。

主要的語法包括：

1）強調語法（Attention/Emphasis syntax）：使用（）小括號和[]中括號來控制對提示詞的強調程度。

語法如下：

（）小括號：強調，一個（）增加1.1倍權重。（）嵌套會繼續增加。

[]中括號：減弱，一個[]減少1.1倍權重。[]嵌套會繼續減少。

語法示例：

（blue） eyes" - 強調\"blue eyes\"

[blurry] - 減弱\"blurry\"

2）提示詞編輯語法（Prompt Editing）：使用[]中括號來指定在第多少步生成時切換提示詞。

語法為：[prompt1：prompt2：step]。

語法示例：[orange：apple：15] - 第一15步生成橘子，之后生成蘋果。

3）可組合生成語法（Composable Diffusion）：使用 AND 連接兩個對象來生成一張包含兩個對象的圖片。

語法為bject1 AND object2。

語法示例為：orange AND apple - 生成橘子和蘋果的圖片。

4）其他一些獨有語法，如：

|符號來在每一步交替使用兩個提示詞；

@符號標記一個人/物體的名稱等。

除了上述語法外，一般還需要結合模型的特點和目標主題，編寫符合要求的正負向提示詞。

提示詞的使用示例如圖10中所示。

2.2.5" 調整生成參數

通過點擊“Generate”按鈕即可生成圖片，同時，可以在參數界面調整生產的圖像大小，stable diffusion的降噪方式等，如圖11所示。

2.2.6" 生產圖像

最終，經過參數調整后生成的效果如圖12所示。如果效果不達預期，可反復調整參數重新生成，以達到理想的效果。

圖11" 調整生成參數

3" 社會影響

基于Stable Diffusion的虛擬人形象預設計技術有潛力帶來生產力變革，影響以下幾個方面：

1）制造與生產過程的優化：虛擬人形象預設計技術可以應用于制造和生產領域，幫助優化產品設計和原型制作過程。傳統的物理原型制作需要時間和資源，而虛擬人形象可以在計算機環境中進行快速原型制作和測試，節省了大量的時間和成本。

2）藝術設計與創意產業的提升：虛擬人形象預設計技術為藝術設計和創意產業提供了新的工具和方法。設計師和藝術家可以利用這項技術進行快速的概念驗證和可視化設計，加速創作過程，提高創作效率和質量。

3）數字內容創作與媒體制作的加速：虛擬人形象預設計技術可以加速數字內容創作和媒體制作的過程。從電影制作到動畫制作，從游戲開發到廣告制作，虛擬人形象的應用可以提高內容的產出速度，縮短制作周期，增強創意實現的靈活性。

4）虛擬現實與增強現實的發展：虛擬人形象預設計技術對虛擬現實和增強現實的發展具有重要意義。通過虛擬人形象，用戶可以在虛擬環境中進行更自然、更沉浸的互動體驗，增強現實可以將虛擬人形象與真實世界相結合，創造出更豐富、更逼真的虛實融合體驗。

總的來說，虛擬人形象預設計技術的應用有望提高各個領域的生產力和效率。它能夠減少時間和成本，提高創作和設計的速度和質量，推動數字化轉型和創新，為產業帶來新的商機和發展機會。然而，同時也需要考慮到技術的可持續性、對人力資源的影響以及相關產業結構的調整等因素，以實現長期的生產力變革和可持續的發展。

4" 結" 論

通過使用Stable Diffusion模型和相關的控制網絡，能夠實現根據文本提示和額外條件生成與文本匹配的虛擬人物形象，通過使用邊緣檢測和人體姿態檢測等額外條件，可以進一步控制圖像生成過程，實現更精細的姿態和表情表達。這種技術的發展不僅在虛擬形象設計中有著廣泛的應用潛力，還將對人機交互和傳統美術行業產生深遠的影響。

基于Stable Diffusion的虛擬人形象預設計在人機交互中的應用潛力巨大，未來的研究可以進一步拓展應用領域，優化算法和模型，以實現更高質量、更逼真的虛擬形象生成，推動人機交互領域的發展。

參考文獻：

[1] 孫鳳華.打開“圖片盲盒”：AI繪畫助力新媒體深化 [J].全媒體探索，2023（7）：107-108.

[2] 鄭凱，王菂.人工智能在圖像生成領域的應用——以Stable Diffusion和ERNIE-ViLG為例 [J].科技視界，2022（35）：50-54.

[3] 朱繼華，王仁宗，張素香.基于增強現實的機械類專業情景教學探索 [J].無線互聯科技，2020，17（10）：99-100.

[4] 吳橋.數字媒體藝術設計在城市文化創意產業中的應用探討 [J].工業設計，2020（5）：111-112.

[5] 孫冬梅.基于生成對抗網絡的域適應表情識別方法研究 [D].鎮江：江蘇大學，2019.

[6] 李白楊，白云，詹希旎，等.人工智能生成內容（AIGC）的技術特征與形態演進 [J].圖書情報知識，2023，40（1）：66-74.

[7] 鄭凱，王菂.人工智能在圖像生成領域的應用——以Stable Diffusion和ERNIE-ViLG為例 [J].科技視界，2022（35）：50-54.

[8] 中國信息通信研究院，京東探索研究院.人工智能生成內容（AIGC）白皮書 [R/OL].（2022-09-02）.http：//www.caict.ac.cn/sytj/202209/P020220913580752910299.pdf.

[9] GITHUB. AUTOMATIC1111 [EB/OL].[2023-05-26].https：//github.com/AUTOMATIC1111/stable-diffusion-webui.git.

[10] 李博宇.基于OpenPose的人體關鍵點提取及參數測量 [J].數字技術與應用，2023，41（6）：13-16+22.

作者簡介：鐘建勇（2002—），男，漢族，浙江麗水人， 研究方向：計算機應用技術；通訊作者：沈曉萍（1982—），女，漢族，浙江平湖人，副教授，碩士，研究方向：計算機網絡技術。