基于YOLOv8算法改進的彩色素描生成研究

摘 要：NPR技術是計算機領域的研究熱點，其中彩色素描算法已有許多研究成果，但是存在算法復雜以及主體不突出等問題。本文針對這些問題提出一種基于YOLOv8對圖片進行預處理的算法，該算法識別主體后定義為重要區域，分別生成線條圖圖層和紋理圖圖層，使用梯度計算得到線條圖，再卷積不同方向的短線，生成具有手繪特點的素描線條，紋理圖是將手繪紋理映射至圖案中進行填充。進行分區域、分圖層的參數設置后合成2個圖層，得到主體突出的彩色素描畫。生成的彩色素描畫主體突出且具有手繪風格，更加符合NPR定義，能夠在計算機視覺領域得到廣泛應用。

關鍵詞：NPR技術；彩色素描畫；YOLOv8；線條圖；紋理圖

中圖分類號：TP 31 " " " " " 文獻標志碼：A

1 彩色素描畫相關算法

將自然圖像轉化為彩色素描是非真實感渲染（Non-Photorealistic Rendering，NPR）領域的重要分支，NPR技術采用計算機技術使圖像更具有藝術性[1]，例如將圖像轉換為彩色素描畫、水墨畫、水粉畫、鋼筆畫和木刻畫等。

其中，將自然圖像生成彩色素描是NPR技術領域的熱點，已有許多學者研究并得到成果。本文改進已有的彩色素描算法，突破性地在素描畫生成過程中使用YOLOv8算法檢測原始圖像目標，將檢測結果確定為主體區域，分區域設置參數，達到強化重要區域的目的。除檢測主體外，本文模擬人類繪制彩色素描的過程，將圖片分成2個圖層，分別為素描畫的線條圖層和填充的彩色紋理圖層。分區域、分圖層進行參數設置，使生成的彩色素描主體突出。

1.1 彩色素描仿真算法

自動生成彩色素描是藝術以及科研領域的研究熱點，已有許多成熟的算法。文獻[2]提供了一種利用形體特征的方法，使生成的鉛筆素描中的物體具有立體幾何感。文獻[3]的方法使用局部回歸模型獲得輸入圖片與生成的素描之間的映射關系，并將映射關系投射至輸出圖像中，使生成的鉛筆素描同時具有藝術特征。文獻[4]對提取的線條進行膨脹和腐蝕操作后去并集，得到雙邊輪廓，生成素描輪廓圖，再與運動模糊（Motion Blur）得到的紋理融合仿真成為鉛筆畫。文獻[5]使用的鉛筆畫方法的筆畫基于梯度信息，填充區域基于色調信息，圖像整體具備手繪風格。文獻[6]的筆畫圖和紋理圖使用線積分卷積（Line Integral Convolution，LIC）、模糊掩蓋銳化處理（Unsharp Mask，USM）和基于點向量場的3種方法。文獻[7]提出的彩色素描自動生成算法將輸入圖片中的純黑和純白像素點顏色重置為圖片的平均灰度值，作者認為這樣操作能夠解決彩色素描顏色失真的問題。

有一些生成彩色鉛筆畫算法[8]的思路與人類手工繪制素描一致，分階段生成素描畫，第一階段先用線條確定物體輪廓和形狀，第二階段用密集的筆畫填充形狀，表示所繪物體的紋理、顏色和明暗等特征。文獻[9]在生成線條圖階段對生成彩色素描算法進行改進，作者利用提取的線條進行形態學操作，將4個方向的探頭遍歷線條像素點，修復了線條之間的斷點，使生成的線條更連貫。

1.2 目標檢測算法

目標檢測（Object Detection）確定并定位圖片中的目標物體，目標檢測算法分為使用傳統方法檢測階段和使用基于深度學習的方法檢測階段，傳統方法模仿人類鎖定視覺中心的方法確定主體，由于技術限制，傳統方法存在準確率低的缺點，因此更多學者采用基于深度學習的方法，以計算步驟為劃分依據。基于深度學習的方法分為二階段目標檢測算法和一階段目標檢測算法。

在二階段算法中，第一階段生成粗略候選框以及對應標簽，第二階段使用卷積神經網絡確定目標候選框，是一個由粗到細的確定過程。最早的二階段目標檢測算法是R-CNN算法，該算法繼承傳統目標檢測算法的思路。首先，生成候選框；其次，對候選框進行訓練，生成標簽；再次，分類；最后，進行非極大值抑制等一系列操作來確定目標。R-CNN算法首次將深度學習運用于目標檢測中，意義重大，但是存在計算復雜的缺點。后來提出的SPP-Net算法利用空間金字塔池化層在不同層次中收集并生成具有固定長度的特征圖，以減少在檢測過程中由于多次縮放造成的影響，但是SPP-Net存在在池化過程中參數不可更改的缺點。Fast R-CNN算法對上述算法進行了改進，整合了R-CNN算法的思路和SPP-Net空間金字塔池化層模型，創新地引入ROI池化層，使算法在計算速率方面明顯提升。

一階段算法中最典型的模型是由YOLOv1發展至如今YOLOv8的YOLO（You Only Look Once）系列算法。YOLO算法使用一個CNN將目標檢測算法優化為一個單一回歸問題，不需要對圖片進行訓練或預測，不僅簡化了檢測過程，還提高了檢測精度，具有即時性。基于這個特點，本文使用改進后的的YOLO算法，即現在已經發展成熟的YOLOv8算法來確定彩色素描畫的主體。

2 基于YOLOv8的彩色素描畫生成過程

本文對傳統生成素描的方法進行改進，創新地使用YOLOv8確定原圖主體，在繪制鉛筆畫的過程中采用分圖層生成方法。首先，繪制素描線條圖層，其次，繪制填充的紋理圖層，最后，進行融合，達到彩色素描效果。

2.1 改進的YOLOv8目標檢測算法

YOLOv8創新地引入SOTA模型，YOLO系列算法的最新技術是將原系列的C3模塊改進為C2f模塊，其借鑒了YOLOv5和YOLOv6等算法的思路，保留了YOLO算法過程簡潔這個優點，進一步壓縮了算法的時間開銷，提高了準確率。YOLOv8 網絡結構改進對比如圖1所示，由圖1可知YOLOv8改進有以下5個部分。

2.1.1 改進一

YOLOv8骨干網絡部分使用C2f模塊替換了YOLOv5中的C3模塊，具體改動內容包括以下3個部分。1）將YOLOv5第一個卷積層的內核大小由6×6改為YOLOv8的3×3，簡化了卷積計算。2）增加Split層，提高了精度。3）Block數由YOLOv5中C3模塊的3-6-9-3改為YOLOv8中C2f模塊的3-6-6-3，降低了計算開銷。

2.1.2 改進二

與YOLOv5相比，YOLOv8的Neck區域減少了1×1采樣層，在優化計算復雜度方面有所改進。

2.1.3 改進三

Head區域中YOLOv8采用Decoupled-Head，Decoupled-Head最典型特征即分類頭和檢測頭互不影響。同時Anchor-Free替換為Anchor-Based。

2.1.4 改進四

分類損失采用改進交叉熵損失函數（VFL Loss）。回歸損失使用的是DFL Loss與CIoU Loss結合的損失函數。

2.1.5 改進五

標簽分類過程使用了個性化分配（Task-Aligned Assigner）方法，未使用YOLO系列的交并比或單邊比方法。

2.2 彩色素描畫線條圖的生成

素描畫的線條具有交叉且不連貫的特點，因此需要將提取的邊緣進行卷積運算，生成具有人工手繪素描特點的線條。

采用梯度計算提取圖像中的邊緣，如公式（1）所示。

（1）

式中：df/dx為變化率的值；ε為極小距離值；f（x）為點x處的函數值；f（x+ε）為與x處距離為ε的點的函數值。

根據坐標值x、y確定像素點，因此梯度計算的公式也應對x和y 2個坐標值進行二階求導，由于在圖片中相鄰像素點的距離是1，因此應將二階求導中的ε替換為固定值1，求導化簡過程如公式（2）所示。

（2）

式中：gx為像素點在水平方向的梯度值；f（x+1，y）為點（x，y）在水平方向上的變化值；f（x，y）為點（x，y）的RGB值；f（x，y+1）為點（x，y）在豎直方向上的變化值；gy為像素點在豎直方向的梯度值。

得到點（x，y）處梯度值為g（x，y）=（gx2+gy2）1/2，至此已經提取輸入圖片的邊緣信息，為生成具有手繪風格的素描畫線條，將提取的邊緣進行進一步操作。操作方法如下：對邊緣信息進行反向運算，設置不同方向的短線條，與邊緣圖進行卷積運算，使用卷積運算將同一個方向相應的邊緣與短線條進行置換，使原本連貫的邊緣置換為由短線條交叉連接的素描線條圖，素描畫線條圖生成過程如圖2所示。

2.3 彩色素描畫填充圖生成

觀察發現素描畫的圖案空白部分由1組密集、平行的短線填充而成。基于這個特點，本文將手繪好的紋理轉化為素描畫，預設的填充紋理如圖3所示。

填充圖案的映射過程如公式（3）所示。

T=Hβ* （3）

式中：T為映射后的紋理；β*為涂抹密度；H為圖3中預先繪制的紋理圖。生成的素描畫中的填充圖為彩色紋理，顏色由對應像素點的RGB值確定。

3 彩色素描畫合成效果以及試驗結果分析

為生成主次分明的彩色素描畫，本文基于目標檢測提取的主體將輸入圖片分為主體區域與非主體區域，利用不同區域的參數設置進行區分，突出繪制提取的主體。

3.1 基于不同區域的參數設置

在繪制線條的過程中，線條長度為輸入圖片長度的1/8，經驗證將目標物體線條寬度設為2，非目標物體線條寬度設為1，在視覺上可以達到突出主體的效果。由公式（3）可知，根據β*確定填充紋理的密度。為突出目標區域，非主體區域的β*值等于原值的0.8倍。

3.2 試驗結果與分析

確定不同區域的參數后將線條圖層和填充紋理圖層進行合成，得到基于YOLOv8預處理后的彩色素描畫，素描畫生成效果如圖4所示。

對原圖細節信息進行篩選，確定需要突出表示的區域，對不重要的區域進行削弱，使原圖轉換的彩色素描畫的主體獲得更多的視覺關注，生成效果如圖5所示。文獻[8]基于同樣的思路對非重要區域進行抑制，文獻[8]生成的素描畫紋理不自然且非主體區域信息全部丟失。本文不僅突出了目標主體，而且沒有完全剔除背景區域的信息，生成的畫面自然、完整。本文預設紋理筆畫，產生素描鉛筆畫紋理效果，生成的紋理在顏色方面與原圖一致，效果與人工手繪無異，生動自然。

4 結語

本文提出一種分圖層、分區域合成彩色素描畫的算法，創新地在素描生成算法中使用YOLOv8目標檢測算法提取原圖中的目標主體，不同圖層設置不同參數，對主體進行加強繪制，對非主體區域進行削弱處理，使生成的素描圖案主次分明。由于線條是卷積生成，因此效果接近手繪風格。填充的紋理是事先預設的手繪紋理，降低紋理計算的時間開銷。

試驗結果表明，該算法在目標檢測準確率、素描畫生成和生成速率方面均表現較好，將該技術運用于動態視頻中是未來的研究方向。該算法的缺點是參數設置復雜，這是未來研究致力于解決的問題。

參考文獻

[1]錢文華，曹進德，徐丹，等.非真實感繪制技術研究現狀與展望[J].中國圖象圖形學報，2020，25（7）：13.

[2] 莫曉斐，丁友東 . 利用形體特征的鉛筆素描畫生成 [J]. 中國圖象圖形學報，2013，18（2）：6.

[3]吉娜燁，柴秀娟，山世光，等.局部回歸模型驅動的人臉素描自動生成[J].計算機輔助設計與圖形學學報，2014，26（12）：2232-2243.

[4]李智慧，范鐵生，唐春鴿，等.具有層次素描紋理的素描畫繪制方法[J].計算機應用，2012，32（10）：4.

[5]王瑜，羅廣征，田恒屹.一種全自動鉛筆畫生成方法研究[J].計算機應用與軟件，2023，40（9）：184-187.

[6]孫丹丹，唐棣.一種鉛筆畫仿真新方法[J].計算機工程與應用， 2010，46（11）：3.

[7]謝黨恩，張志立，徐丹.一種改進的二維彩色鉛筆畫自動繪制算法[J].計算機應用與軟件，2013（8）：28-31.

[8]李瑞瑞，孫世豪，楊孝輝，等.基于多層次顯著圖的自動鉛筆畫生成[J].計算機輔助設計與圖形學學報，2018，30（1）：9.

[9]ZHOU H， ZHOU C， WANG X.Pencil drawing generation algorithm based on GMED[J].IEEE Access，2021（9）：41275-41282.