基于深度學習的實時視頻通話人像摳圖方法

李曈

摘要： 文章提出基于深度學習的實時視頻通話人像摳圖方法，充分利用了多維監控空間進行摳圖特征多維識別，從而更加準確地提取人像邊緣和背景特征，進一步優化摳圖效果。研究通過生成人像三分圖，建立適用于實時視頻通話的人像摳圖模型，為人像編輯提供了更高質量的摳圖工具。實驗結果顯示，這一方法不僅在摳圖效果上表現出較高的連接度，而且具有較好的應用潛力，可以有效提升人像摳圖的精準性和實時性，對視頻通話等場景具有積極意義。

關鍵詞：深度學習；視頻通話；人像摳圖；摳圖方法

中圖分類號：G642? 文獻標志碼：A

0 引言

隨著互聯網技術的發展，視頻通話已成為人們日常溝通的重要方式。然而，視頻通話中的背景往往會影響通話體驗，尤其是當背景雜亂或與主題無關時。為了解決這一問題，人像摳圖技術應運而生［1］。該技術能夠將視頻通話中的人像從背景中分離出來，從而使用戶可以將人像置于任何所需的背景之上。然而，現有的摳圖技術往往存在處理速度慢、效果不佳等問題，無法滿足實時視頻通話的需求［2］。

針對現有技術的不足，本文提出了一種基于深度學習的實時視頻通話人像摳圖方法，通過實驗驗證了所提出方法的有效性和實時性。

1 基于深度學習的實時視頻通話人像摳圖方法設計

1.1 摳圖特征多維識別

創建多維監控空間，首先使用掃描設備進行初始面部掃描。接下來，通過復制面部圖像并進行分析，系統會比較面部特征［3］。利用人臉姿態估計技術，可以調整面部方向，從而擴大識別范圍并提高面部圖像識別的準確性。計算識別時標準人臉比例的公式為：

H=（1-θ）2∑χy+χθy+2（1）

在公式（1）中，θ表示瞳孔雙眼之間的距離，H表示標準人臉尺度值，y反映識別次數，χ反映瞳孔中心到鼻子末端的距離。表示識別率［4］。標準人臉尺度值是用于對特征進行標準識別的值，根據實際的識別需求和標準校準，對人臉的單個位置進行二次提取，收集獲得的數據以供進一步使用。

1.2 基于深度學習生成人像三分圖

本文的目標是根據人臉的大小，調整人像三分圖中未知區域的比例，使得摳圖方法更加靈活，能夠適應不同的人臉尺寸和比例，提高了算法的普適性和通用性［5］。將深度學習技術應用于生成人像三分圖中，能夠提高在實際應用場景中視頻摳圖對圖像影響的準確性。

為了實現這一目標，采用人臉檢測的方法來確定圖像中的人臉位置，獲取左右瞳孔、鼻型和左右嘴角等關鍵部位的轉向單元［6］。雙眼瞳孔之間的距離是一個重要的參考值，它反映了面部識別中使用的面部大小。然而，如果面部位置發生顯著變化，面部的寬度和高度也會隨之改變。當臉部左右旋轉的角度發生變化時，雙眼之間的距離也會相應改變。抬頭和低頭也會影響面部的高度。為了獲得相對穩定的參考值，使用方程（2）來表示。

S=max（P，N）（2）

在公式（2）中，S表示標度值，N是瞳孔中心到鼻子末端可移動的最大距離，P是瞳孔雙眼之間可移動的距離。

通常，用于訓練的人像三分圖是在α的標記圖像的基礎上繪制的。在α的圖像中創建人像三分圖，經過腐蝕和膨脹操作，從圖像α中去除每個像素，得到3個點的圖像。控制雙邊肖像上未知區域的占比具體方程如式（3）所示。

Ti=128|Dk（Ai）-HEk（Ai）|>th

Ai其他（3）

在公式（3）中，Ai表示原始像素值，Dk表示稀釋算子，Ek表示腐蝕算子，k表示函數核，th表示人像三分圖中未知區域的比例閾值。像素Ti有3個可能的值：0，127和254，分別表示背景、未知區域和地面。在阿爾法圖像中，像素Ai的值只有0和254。其中，0表示背景，254表示地面。通過這個公式，可以精確地控制人臉圖像的分割，從而提高圖像處理的準確性和穩定性。

通過調整人臉比值S，可以實現對腐蝕和擴展核大小、未知區域的專一率以及訓練和移除三角形等操作的精確控制，從而優化人臉圖像的分割過程，提高分割結果的準確性和質量。

使用上述方法進行面部標準化，將面部標準化為128像素×128像素。基于雙眼間的距離，使用相似的變換矩陣繪制128張標準化的面部圖像。與上述方法相同，使用比例縮放、平移和裁剪變換公式將肖像轉換為標準1024像素×1024像素，使用面部特征點作為參考點。變換矩陣如下：

τ=a0b

0ac（4）

a=48/S;b=γx-162;c=γy-255;（γx，γy）為原圖像中鼻尖關鍵點的坐標。

為了獲得更精細的人像三分圖，采用了基于深度學習的方法，對第三時刻表生產網絡進行訓練。輸入數據是來自RGB的3個特征圖像。該網絡具有多個通道，能夠提供前景、背景和未知區域的3個分割結果。特別地，采用了Resnet101結構進行訓練，該結構能夠產生3個部分的時間表。損失函數由交叉熵損失函數定義。在訓練過程中，使用了基于深度學習的18618個訓練視頻通話中的3個分割圖像。此外，還使用了方程（4）來裁剪成1026×513預訓練圖像。最后一層被修改為3個輸出類別。使用553個圖像數據進行訓練，該方法能夠改進該層的學習指標，降低整個網絡的學習指標，從而更好地協調整個網絡。

在三分圖生成網絡模型前向推斷過程中，根據方程（4），將彩色圖像轉換為1026×1026分辨率。模型結果為1026×1026的分割圖T。當將圖像I與分割圖T連接時，原始的3個Q生成通道是RGB圖像數據，第四通道則是4個T通道分割圖像中的圖像Q。為了將圖像Q縮小到320×320分辨率，從而生成人像三分圖。此外，必須在整個過程中記錄圖像的轉換參數，以便最終能夠重新建立原始分辨率的圖像。

1.3 構建實時視頻通話人像摳圖模型

基于之前獲取的三分圖像，利用圖像信號處理開發了一個智能人臉摳圖模型。首先，利用公共密鑰矩陣和三角形處理程序來獲得處理信號的簡化過程，構建了相應的顯示密鑰公式。其次，利用原始自然圖像來校準更深層次的信息和視覺有效性信息，對多級切割位置進行過度分割。通過集成形態學稀釋和侵蝕算法，可以測量分割單元的值，從而獲得所需的切割圖像。利用彩色紋理圖、熱特性圖以及儲量表示方法，通過完成初始閾值的處理來獲得地面目標閾值的精確結果，從而獲取精細的前景目標摳圖結果。

使用生成的人像三分圖，構建了透明度遮罩矩陣，即將人像和背景分離的掩模矩陣。為人像區域賦予一個透明度值，通常為1（完全不透明），表示該部分保留在最終圖像中。為背景區域賦予另一個透明度值，一般為0（完全透明），表示該部分在最終圖像中被完全去除。邊界區域則根據具體需求賦予中間的透明度值，用來實現人像和背景之間的自然過渡效果。將生成的透明度遮罩矩陣與原始圖像進行融合，根據遮罩矩陣中不同區域的透明度值，將人像和背景合成為一幅新的圖像。這樣就可以實現透明度遮罩效果，使得人像被準確地提取并與背景合成，達到更加自然、逼真的視覺效果。實時視頻通話人像摳圖模型的計算公式如下：

Eq=τ010110010

→En=τ00…0001…1001…1000…00（5）

在公式（5）中，Eq和En表示圖像采集和處理的膨脹過程。

2 實驗論證

本研究的主要目標是分析和評估基于深度學習的實時視頻通話人像摳圖方法在實際應用中的效果。為了實現這一目標，采用了比較分析的方法，建立了3個測試組，張遠等［3］的基于不同場景下三分圖擴展的圖像摳圖算法（傳統方法1）、劉相良等［6］的基于多級表征線索注意模型的輕量化摳圖方法（傳統方法2）以及本文提出的基于深度學習的實時視頻通話人像摳圖方法。在實驗過程中，根據實際需求和標準的變動，對最終的試驗結果進行了對比驗證。

2.1 實驗準備

利用綜合顯示技術分析和構建智能人臉測試環境。選擇100條人臉識別圖像視頻作為主要測試對象，其中訓練組40條，測試組60條。使用PyTorch處理核心視頻，然后獲取適當的數據和信息，將其集成到面部視頻中。主要的摳圖指標如表1所示。

根據表1，確定了摳圖的基本指標設定。此外，使用替換技術創建了多維回收空間，開發了動態嚴格訓練集，確定了字符像素值為205，將其他像素值設為? 0。使用獲得的人像三分圖視頻來膨脹完成基本的摳圖環境設置。

在預先構建的測試環境中，使用深度學習技術測試了實時視頻通話人像摳圖方法。為了測試結果準確，創建了6個摳圖任務，從選定的100個人臉視頻中選擇了60個進行摳圖處理。基于深度學習技術生成三分圖，對整個視頻進行方位統計和處理，使用模型和轉換模塊校準面部識別特征，創建適當的識別鍵坐標，最終轉換阿爾法視頻。通過調整視頻阿爾法的綜合指標和參數，通過在面部的相應位置進行摳圖，得出了摳圖數據集的平均分辨率標準。經過初步處理后，將其設置在指示器位置，測算摳圖后新圖像的連接度，最終得到實驗結果并進行記錄。在上述設置的基礎上，比較和分析實驗結果，實驗結果如圖1所示。

2.2 對比實驗

從圖1中可以看出，本文方法的圖像連接度超過了最低控制標準0.014%，均高于傳統方法1和傳統方法2，這表明該方法具有較好的摳圖效果，連接度較高，更具應用價值。

3 結語

隨著科技的不斷發展，人們對視頻通話的需求越來越高，對通話體驗的要求也越來越嚴格。因此，人像摳圖技術作為提升視頻通話體驗的關鍵技術，其研究具有重要的意義。本文所提出的基于深度學習的實時視頻通話人像摳圖方法，旨在解決傳統摳圖技術存在的問題，滿足實時視頻通話的需求。實驗結果表明，該方法在保證摳圖效果的同時，具有較好的實時性，為提升視頻通話體驗提供了有力支持。

參考文獻

［1］趙子榮，司亞超.基于U2Net的自動摳圖技術研究［J］.河北建筑工程學院學報，2023（3）：202-206.

［2］李國貞，潘紅改.Photoshop軟件中的摳圖方法和圖像合成應用［J］.漯河職業技術學院學報，2023（5）：24-28.

［3］張遠，黃磊.基于不同場景下三分圖擴展的圖像摳圖算法［J］.智能計算機與應用，2023（7）：128-133.

［4］李曉穎，李思琪，洪雪梅，等.采用精確摳圖的單條自然圖像背景虛化合成方法［J］.華僑大學學報（自然科學版），2023（3）：391-397.

［5］楊天成，楊建紅，陳偉鑫.圖像摳圖與copy-paste結合的數據增強方法［J］.華僑大學學報（自然科學版），2023（2）：243-249.

［6］劉相良，張林叢，朱宏博，等.基于多級表征線索注意模型的輕量化摳圖方法［J］.控制與決策，2024（1）：87-94.

（編輯 王永超）

Real-time video ting method based on deep learning

LI? Tong

（School of Computer Science and Engineering， Northeastern University， Shenyang 110819， China）

Abstract：? The article proposes a real-time video call portrait cutout method based on deep learning， which fully utilizes the multidimensional monitoring space for multidimensional recognition of cutout features， thereby achieving more accurate extraction of portrait edges and background features， and further optimizing the cutout effect. A portrait cutout model suitable for real-time video calls was established by generating a portrait tripartite graph， providing a higher quality cutout tool for portrait editing. The experimental results show that this method not only exhibits high connectivity in the cutout effect， but also has good application potential， which can effectively improve the accuracy and real-time performance of portrait cutout， and has positive significance for scenarios such as video calls.

Key words： deep learning; video call; portrait matting; matting method