基于深度攝像頭的虛擬試衣系統

張藝穎 馮茹夢 閆文莉 李千惠 代穩

摘要：隨著時代與科技的發展，越來越多的科技元素融入到我們的生活中來。在人機交互方面，虛擬試衣系統為人們提供了便捷可靠的全新試衣模式，免去了在購物時的不便與煩瑣。本文回顧了到目前為止國內外最新的虛擬試衣技術，并在此基礎上展開自己對所完成的虛擬試衣系統的技術點的論述。

關鍵詞：深度攝像頭;虛擬試衣;人機交互

中圖分類號：G642.0 ? ? 文獻標志碼：A ? ? 文章編號：1674-9324（2015）35-0212-02

一、緒論

（一）項目提出的背景及研究意義

就目前而言，人們大多采用的試衣方式是：先在店中選中自己喜歡的衣服而后逐一試穿，試衣者耗費了大量體力和時間。現如今凡事都追求快速高效，若是能在更少的時間內達成自己的訴求，必會獲得廣大消費者的青睞。

隨著類似于微軟Kinect等可以檢測出深度的攝像頭的出現以及三維建模技術的成熟，為虛擬試衣系統的誕生提供了可能。該系統界面簡潔友好，使消費者不用閱讀說明書就能較快上手，完成自己的試衣。

（二）國內外研究及應用現狀

虛擬試衣最先是以網頁2D虛擬替身類型出現的，這種類型的特點是成本低、開發時間短、技術手段相對成熟，僅需對真實模特和服裝的照片或者效果圖進行簡單處理即可。2D類型的虛擬試衣雖然操作簡單，對網絡帶寬和終端設備要求較低，一般僅能提供虛擬替身正面與背面兩組視角的試穿效果，因此對于服裝上身效果的細節并不能很細致地體現。

而之后發展出來的3D虛擬試衣在操作方式上與2D類似，都需要在試衣前選擇并設置用戶替身的身材比例，然后從網頁列表中選取并試穿服裝或者配飾后在預覽窗口中進行瀏覽。所有的服裝模型均為三維模型，因此可提供360度全方位的視圖瀏覽。它的視角比2D虛擬試衣更為靈活，但是就用戶真實度和體驗感來說而言仍是差強人意，原因是在3D虛擬試衣中每件服裝、配飾和虛擬模特都要進行三維構建。其次，三維服裝屬于柔體模型，易變形，達不到體驗者對美觀的要求。

基于增強現實AR（Augmented Reality）技術的服裝虛擬試衣是目前最新的應用類型，其高效、直觀、真實的優勢十分明顯，也是沉浸感和體驗效果最優的一種虛擬試衣體驗類型。

二、基于深度攝像設備的人體姿態的捕捉與識別

（一）彩色視頻流的獲取

首先進行人體信息的提取。Kinect有兩類攝像頭，近紅外攝像頭和普通的視頻攝像頭。視頻攝像頭提供了一般攝像頭類似的彩色影像。這種數據流是三種數據流中使用和設置最簡單的。因此我將他作為Kinect數據流介紹的例子。

使用Kinect數據流也有三步。首先是數據流必須可用。一旦數據流可用，應用程序就可以從數據量中讀取數據并對數據進行處理和展現。一旦有新的數據幀可用，這兩個步驟就會一直進行。我們使用Kinect彩色視頻攝像頭獲取視頻流信息，即看到的人像與背景。使用紅外攝像頭來獲取人體的骨骼信息與深度信息。

為了實現實時播放視頻流數據，在Kinect_ColorFrameReady方法中，我們首先通過打開或者獲取一個frame來提取Frame數據。ColorImageFrameReadyEventArgs對象的OpenColorImageFrame屬性返回一個當前的ColorImageFrame對象。這個對象實現了IDisposable接口。調用CopyPixelDataTo方法可以填充像素數據，然后將數據展示到image控件上。這樣在屏幕上就會出現一個實時錄制現實場景的視頻。

（二）手勢識別

對于Kinect來說，目前可以使用的有8個通用的手勢：揮手（wave）、懸浮按鈕（hover button）、磁吸按鈕（magnet button）、推按鈕（push button）、磁吸幻燈片（magnetic slide）、通用暫停（universal pause）、垂直滾動條（vertical scrolling）和滑動（swipping）。我們的系統里采用了push button，vertical scrolling和swipping。

打開程序，進入界面，在kinect攝像頭前揮手，機器自動識別出手勢并映射在界面上。此時不進行任何操作。

1.確認選擇的Push Button。下壓按鈕（Push Button）。手掌張開向前，在形式上有點像動態鼠標。下壓命令執行的結果就是用戶選擇的衣服將試穿在用戶身上。

2.用于瀏覽的Vertical Scrolling與Swip。左邊衣物選擇欄使用的是垂直滾動條（Vertical Scrolling）。當抬起或者放下手臂時會使得屏幕的內容垂直滾動，滾動的方向和大小由手臂和水平方向的夾角來確定。

使用劃動手勢（Swip）進行操作。SwipeTime和SwipeDeviation分別提供了劃動手勢經歷的時間和劃動手勢在y軸上的偏移閾值，在一定閾值范圍內對手部骨骼數據進行實時跟蹤。檢測出劃動手勢時滾動條將進行相應的響應。（如圖1）

3.用于抓取的握拳手勢。當使用者在瀏覽衣櫥的時候，需要上拉或者下拽。在使用者將手握拳抬起或者放下手臂時會使得屏幕的內容垂直滾動，是便于使用者確定瀏覽抓取點的設計。

三、虛擬衣物模型的建立

（一）衣物模型的選擇與建立

將衣物進行分類，分為上裝、下裝和全身裝。基本衣物的建模過程如下：

一些簡單的無袖裙裝、高跟鞋、短褲等，可以先建立一個類似的長方體，根據具體需要修改參數（包括長、寬、高，以及長寬高上的分段數），然后將整體轉化為可編輯多邊形;之后選中不需要的面片刪掉，剩下的即基本形狀。然后用合適的、方便操作的選取方法選中所需要調整的關鍵點，進行位移上的推拉。除此之外，還可以使用修改器中的球形化、擠出、彎曲、扭曲、噪波等。

修改器調整好整體形狀以后，需要通過細化、網格平滑、nurms細分等來使得對象更加平滑，適當地增加迭代次數可以達到更加滿意的效果，但迭代次數太高會導致電腦功率加大造成負擔;最后可以適當地在裙裝上采用松弛修改器來增加垂墜感。

（二）解決衣物與試衣者緊密貼合問題

在使用者試衣的過程中，一定會移動或者旋轉身體來體驗所試的衣服穿上身的效果。所以衣物與身體的貼合度的解決方案是將所建的模型進行截圖，并按照旋轉角度分幀來進行圖片的保存。在與Kinect結合的時候預先對使用者的身體轉向進行判斷，然后使用相對應的圖片對使用者相應的身體部位進行貼圖處理。（如圖2）

四、基于深度攝像頭的虛擬試衣系統的設計

（一）衣物的分類及它們與控件之間的對應關系

首先將衣服分為三類：TOPS，PANTS，TOPS，分別表示裙裝、下裝、上裝。KinectRegion里面不同的KinectTileButton代表不同的衣服，通過按鈕上的LABEL屬性獲取當前用戶選擇的衣服類型，三種不同的衣服屬性分別對應三張待替換的圖片IMAGE控件。

（二）衣服與待替換的圖片的關系

PANTS以hipcenter的坐標為參考點，即PANTS圖片的左上角與hipcenter的映射坐標對齊。

TOPS和DRESS以shoulderLeft的坐標為參考點，即TOPS和DRESS圖片的左上角與shoulderLeft的映射坐標對齊。

另外，當選中某一衣服時，程序通過獲取屬性類型，調用后臺準備好的相應的衣物說明信息，當用戶試穿該衣服時，衣服信息將通過WPF相關組件的功能顯示在屏幕右方的一塊panel上。至此為止衣物信息獲取結束。

（三）用戶狀態信息獲取

當前用戶狀態的判斷方法：Joint類型可以獲取用戶骨骼的坐標信息。

根據左右肩膀骨骼Z值，來判斷此時人體究竟是左側更靠近屏幕還是右側更靠近屏幕，即向右轉還是向左轉。判斷結果將影響我們從界面里看到的所試穿衣服的角度。

當用戶選擇要試用的衣物時，衣服就會以適當的角度準確舒適地貼合人體，達到良好的試衣效果（如圖3）。

五、總結與展望

隨著科技的進一步發展與人們更快節奏的生活，我們項目小組的同學都認為虛擬試衣這個課題還有很大的發展空間。為人們提供更加高效便捷的購物環境與全新的生活方式。

參考文獻：

[1]余濤.Kinect應用開發實戰：用最自然的方式與機器對話[M].北京：機械工業出版社.