基于深度學習的唐卡邊緣檢測技術研究

于翔宇 樊瑤

西藏民族大學信息工程學院，咸陽 712082

唐卡是一種傳統的藏族繪畫藝術，具有深刻的宗教、文化和藝術意義。它用于傳達佛教和印度教的宗教教義，裝飾寺廟，祈禱和保護信徒，同時代代傳承藏族文化和藝術傳統。這些作品不僅在視覺上傳達了宗教故事，還是藏族社會中的重要文化遺產，具有出色的繪畫和色彩技巧。但是唐卡作品通常繪制在布料或紙上，使用天然顏料，這些材料隨著時間的推移會受到風化和退色的影響。此外，唐卡通常會在寺廟或家庭中懸掛，因為經常接觸光線、塵土和濕氣等環境因素，也可能導致其褪色和腐蝕。為了維護宗教、文化和藝術遺產的完整性，應該加強對唐卡的數字化保護。

數字化唐卡可以保存每件作品的詳細信息，同時可以通過互聯網和數字媒體進行虛擬展覽，向全國觀眾傳播。此外，數字化備份可以確保其文化和宗教價值的長期保存。現有的深度學習模型更是可以對唐卡圖片進行相關的圖像處理，比如邊緣檢測有助于分析唐卡的繪畫技巧和線條，可以更好地理解唐卡的構圖和繪畫風格，這對于研究和鑒定唐卡的制作者和時代很有幫助。而圖像修復則能夠修復一些受損的唐卡圖像，使它們恢復原貌。這樣既可以避免唐卡的二次損害，又能進一步為非物質文化遺產保護與傳承提供幫助。

邊緣檢測是圖像處理中的基礎任務，它提供了有關圖像中結構和信息的重要線索，有助于使圖像數據更容易分析和理解，為各種領域的圖像處理任務提供基礎，同時對于許多計算機視覺應用和研究都具有關鍵意義。

早年傳統的邊緣檢測［1］方法一般以圖像的梯度信息（如一階和二階梯度）為原理來進行計算和工作，如：Canny 算子、Prewitt 算子以及Sobel 算子等。但是它們存在著很多問題，如噪聲敏感、邊緣的不連續、參數選擇困難、非旋轉不變性、不適應復雜背景等等。

近年由于深度學習的興起，邊緣檢測方法也得到了進化。自適應特征學習、高魯棒性、高精度等優點使得深度學習模型能夠處理更加復雜的圖像，提取到更加細致的邊緣。比起傳統方法，基于深度學習的網絡模型在圖像的邊緣檢測方面取得了更好的效果，也成為未來發展的一大趨勢。

2015 年，Xie 等提出了HED 框架，它是一種整體嵌套邊緣檢測框架，采用端到端的網絡架構,解決了傳統方法的缺陷。2021 年,Su 等［2］為了進一步解決現有方法存在的缺陷，采用像素差分卷積的方式將傳統的Canny 算子與卷積神經網絡相結合,提出了PidiNet 模型。這段時間內，研究者們進行了不斷的探索，出現了不少如CED、RDS［3］和DSCD［4］等 不 錯 的 模 型。2017 年，Liu 等首先利用對象多尺度和多級信息，對標注進行處理，構成RCF 模型。2021 年,Xuan等［5］提出了FCL-Net 模型，增強了多尺度模型對細小目標的識別率。但是多尺度方法仍然存在缺陷，為了彌補它的不足，一些研究者［6-14］開始對側面特征提取模塊進行探索和創新。2019 年，He 等［15］提出了一種新的單向模型——雙向級聯網絡結構（BDCN）。2018 年，Deng 等［16］發現使用深度卷積神經網絡進行邊緣檢測時，有時會導致產生邊緣較粗或模糊的邊緣圖。這是因為深度學習模型可能傾向于生成某種程度的邊界模糊或平滑化的輸出。Kelm 等［17］結合ResNet 和RefineNet［18］語義分割方法，提出RCN 算法。2020 年，Soria 等［19］基于Xception［20］和HED 模型，提出了DexiNet 方法。他們對BIPED 數據集進行了標注預處理，并引用引入上采樣模塊進行進一步優化，使得不同尺度的輸出層能夠產生精細邊緣。從研究者們進行的實驗和嘗試來看，多尺度模型依舊是效果最佳、拓展性最強的模型，在未來仍是熱門研究方向。

為了避免梯度消失，獲取更多特征信息，得到更加清晰的邊緣圖像，本文提出了DMSCNN（Deep Multi-scale Convolutional neural network）網絡模型。比起一般的多尺度模型，它通過構建更深層的網絡結構，能夠提取更多的特征信息。同時引入全局注意力模塊，使神經網絡能夠在處理輸入數據時將局部信息與全局信息相結合，從而提高模型的性能。最后，將不同尺度的特征信息進行融合，得到邊緣特征更加高效、特征信息更加明顯的邊緣圖像。實驗證明該模型比起傳統的Canny 算子和RCF 模型能夠得到更加清晰的唐卡邊緣圖像。

1 邊緣檢測方法

1.1 Canny算子

Canny 算子是一種經典的邊緣檢測算法，它的主要目標是識別圖像中的邊緣，通常用于計算機視覺和圖像處理任務。Canny算子的主要步驟包括：

（1）高斯濾波：圖像會經過高斯濾波，以減少噪聲的影響。這一步會平滑圖像，使邊緣檢測更加穩定。

（2）計算梯度：在平滑后的圖像上，通過計算得到每一個像素點的梯度方向和強度。

（3）非最大抑制：在梯度計算后，只保留局部梯度最大的像素，以細化邊緣線。

（4）雙閾值檢測：Canny算子使用兩個閾值來分辨圖像真正的邊緣。一般認為，如果像素點的梯度值比高閾值高，那么它就是強邊緣。反之如果像素點的梯度值比低閾值低的話，就是弱邊緣。而位于兩者之間的像素被標記為弱邊緣。接下來，通過連接強邊緣像素，形成一條邊緣路徑。

（5）邊緣跟蹤：最后，通過連接強邊緣像素和與之相鄰的弱邊緣像素，形成完整的邊緣線。

Canny 算子在圖像邊緣檢測中被廣泛使用，因為它能夠有效地找到圖像中的細節邊緣，并且對噪聲有一定的抵抗能力。使用Canny算子對唐卡進行邊緣檢測，其效果如圖1所示。

圖1 Canny算子輸出Figure 1 Canny operator output

1.2 RCF模型

RCF 引入了多尺度特征分支，允許模型同時考慮不同尺度的特征。這有助于檢測圖像中各種尺度的邊緣，使得RCF在處理復雜圖像場景時更具優勢。它作為深度學習模型，RCF 可以通過端到端的訓練學習適用于邊緣檢測任務的特征表示。這使得它能夠從提供的豐富的數據集中不斷的學習、能夠提高自己提取特征信息的能力。相對于傳統方法需要手工設定特征值、參數值更具有優勢。同時RCF使用結構相似性損失函數來保持生成的邊緣圖像的結構和細節，從而減少噪聲和不必要的細節。這有助于提高邊緣圖像的質量。

此外，RCF 在多個數據集上經過了充分的實驗驗證，并在邊緣檢測任務中取得了出色的性能。它通常能夠提供高質量的邊緣檢測結果，特別是在復雜的圖像中。使用RCF模型對唐卡進行邊緣檢測，其效果如圖2所示。

圖2 RCF模型輸出結果Figure 2 The output results of the RCF model

1.3 ResNet模型

隨著網絡深度的加深，在神經網絡的深層層次中梯度值會變得非常小，接近于零，從而使權重參數幾乎不發生更新。這會導致網絡在訓練過程中無法學習到有效的表示或特征，因為梯度太小，不能推動權重更新，網絡的性能停滯不前。它通常在深度神經網絡中的激活函數中出現，特別是在使用sigmoid 或tanh 激活函數時更為明顯，因為這些函數在輸入較大或較小的情況下梯度接近于零。

ResNet 模型通過引入殘差模塊（residual block），允許網絡跳過一定數量的層，直接傳遞信息到后續層，從而防止梯度消失。殘差塊包含了恒等映射和殘差映射兩部分，它們分別表示從輸入到輸出的路徑和差異。這個殘差映射被添加到恒等映射上，從而產生了殘差塊的輸出。

ResNet非常適合構建非常深的神經網絡，它的架構由殘差塊組成，可以使我們設計出避免出現梯度問題深層網絡。目前具有ResNet-18、ResNet-34、ResNet-50 等不同的深度版本存在，可以根據任務的需求選擇合適的模型。ResNet 在計算機視覺和圖像處理領域取得了顯著的成功。ResNet 中的殘差塊結構如圖3所示。

圖3 ResNet中的殘差塊結構Figure 3 Residual block structure in ResNet

2 DMSCNN模型

2.1 模型概述

與自然圖像相比，唐卡圖像的內容更豐富、色彩更鮮明、紋理更細致，具有更復雜的特征信息。針對上述問題，提出了一種具有全局長程上下文信息的、網絡深度比起一般模型深的、多尺度的深度學習模型。

在模型中分階段輸出特征圖，并將不同尺度下的特征圖像進行融合。這樣就提取出了多個尺度不同的特征圖，提高了模型的精度，得到了更加精準的邊緣圖像。并且為了能夠使模型每個階段提取到的邊緣圖像特征性更強，引入自注意力機制模塊，將局部信息和全局特征相結合，融合上下文信息，改善通道之間的相關性，以增強邊緣圖像的特征性。最后，網絡結構由殘差塊堆疊而成。殘差結構的引入可以解決模型網絡退化等問題，讓我們得到更加深層次的特征信息。

2.2 模型結構

DMSCNN模型主要由100個卷積層組成。為了將圖像的特征信息更適用于邊緣檢測，選擇將這一百個卷積層分成5 個stage，分別學習和提取不同尺度下的圖像特征信息，然后將不同階段下得到的特征圖像進行融合，最終得出邊緣預測圖。

Stage0 的作用是對原圖像進行預處理，方便后續對圖像進行特征提取操作。它不包含殘差塊，由一個大小為7×7、深度為64 的卷積層和一個3×3 的池化層組成。接下來四個階段結構相似，都包括一個Block 塊、一個1×1-21 的卷積層、一個亞像素卷積和一個loss 損失函數。其中Block1-4 包含的殘差塊數分別為3、4、23 和3，作用是對圖像進行逐步的特征提取，每一個階段的特征圖像都會得到輸出。在利用不同Block 的輸出前，需要使用一個1×1-21 的卷積層對上一步得到的特征信息進行針對通道的降維操作，然后再利用亞像素卷積（Sub-pixel Convolution）對其進行針對尺度的上采樣操作。亞像素卷積能夠設置不同倍率的上采樣因子，從而將特征圖放大為不同的倍率。利用亞像素卷積可以使不同Block得到的多尺度特征圖變為相同的尺度，便于后續的特征拼接。然后在每一個stage 的最后添加了一個loss 層以計算損失，更新參數。

本文在融合不同階段的特征圖像時使用了concatenate方法。在深度學習中，concatenate方法也常用于在指定的維度上連接張量，通常在處理神經網絡中的不同層或分支時使用。該算法將不同特征圖作為某一通道進行合并，不改變每一張特征圖本身包含的信息，僅僅增加特征圖的通道數，完好的保留了原特征圖的信息。此處使用它將多個尺度下，具有相同尺度的圖像連接在一起，以構建更加精確的特征圖像。

不同尺度會輸出含有不同特征信息的圖像，淺層含有較少的特征信息，而深層含有較多的特征信息，但是深層也存在著特征信息提取不完全的可能。所以選擇融合從淺層到深層的多個尺度的特征圖像信息，綜合全局的邊緣特征，最終會得到一個細節更完備的特征圖像。DMSCNN的網絡結構如圖4所示。

圖4 DMSCNN模型結構Figure 4 DMSCNN model structure

2.3 Block模塊的結構

殘差結構（residual block）使深層網絡具有了更好的收斂效果和更快的收斂速度，解決了梯度爆炸的問題，讓模型可以提取到更加復雜豐富的特征信息。通過堆疊殘差塊來構造深層次的網絡結構。

Block模塊由多個網絡層組成，每一層包括一個殘差塊（residual block）、一個1×1-21的卷積層和一個自注意力機制（Self attention module）。不同Block模塊中含有不同數量的殘差塊，其中殘差塊也具有不同數量的卷積核。網絡越深，卷積核的數量越多，從而可以提取到更加豐富的特征信息。Block1-4中所包含的殘差塊數量以及卷積核的大小和數量如圖5所示。

圖5 不同Block中殘差塊和卷積核大小與數量Figure 5 The size and number of residual blocks and convolution kernels in different blocks

每個殘差塊（residual block）都會輸出對應的特征圖像。然后對同一個Block 下的不同殘差塊輸出的特征圖進行處理，以Block1 中的三個殘差塊為例。

首先利用一個1×1-21 的卷積層進行升維，然后充分利用自注意力機制（Self attention module），提高模型的上下文感知能力，捕捉重要信息，降低位置敏感性，使每層輸出的圖像特征性更強，提高模型的性能。再使用cancatenate 方法將不同殘差塊得到的特征圖像進行通道上的疊加，得到該Block 模塊最終輸出的特征邊緣圖。Block1 模塊的結構如圖6 所示。

圖6 Block1模塊結構Figure 6 Block1 module structure

2.4 殘差結構

為了減少殘差模塊的參數，從而減少計算量，與一般的殘差塊不同，文中模型使用了瓶頸結構的殘差塊。具體原理是：通過1×1 和3×3 的卷積核來調控特征圖像的通道維度，卷積核的數目既不受上一層輸出的影響，又不會對下一層的輸入造成干擾。由于本模型的主干結構由殘差塊堆疊形成，所以使用瓶頸結構可以極大的提高模型的性能。在短路連接上同時也存在著一個1×1 的卷積層，它的作用是用來調控底層輸入和高層輸出的通道數，只有具有相同的維度，兩者才可以正常進行疊加操作，所以這一步不可避免。DMSCNN 中所使用的瓶頸殘差結構如圖7 所示。

圖7 DMSCNN中的瓶頸殘差結構圖Figure 7 Structure of bottleneck residuals in DMSCNN

2.5 全局通道自注意力機制

在深度學習中，全局長程上下文信息是指模型能夠考慮輸入數據的廣泛范圍或全局性信息，而不僅僅局限于局部細節。這種全局上下文信息對于理解復雜關系、長距離依賴關系和整體語境非常重要。

如果缺少了全局長程上下文信息，會導致模型缺乏對整體的理解、局部化錯誤、性能下降、長距離依賴關系問題以及難以應對多層次特征等問題。

本模型采用全局通道自注意力機制，它是一種自注意力機制的變種，目標是在通道之間建立權重，以捕獲全局上下文信息，并改善特征表示。全局通道自注意力模塊的結構如圖8所示。

圖8 全局通道自注意力機制結構圖Figure 8 Structure of the self-attention mechanism of the global channel

該結構分為全局模塊和通道模塊。全局模塊利用一個1x1 的卷積層WG 和一個Softmax 函數對全局特征進行池化操作，可以得到特定于每一個位置的全局上下文注意力圖。然后經由該全局上下文注意力圖將所有位置的特征信息加權聚合，從而得到特定于每一位置的全局上下文特征。然后將特定于每一位置的全局上下文特征聚集到每個位置，使網絡能夠獲得全局長程上下文信息，通過聚集來自其他位置的信息來增強每一位置的特征。

通道模塊的作用是為了計算每個通道的重要性，重新校準通道響應。通過兩個1×1的卷積層進行特征變換，從而獲取通道的相關性。由于兩層瓶頸變換增加了算法的復雜度，所以選擇在Relu之前加入一個歸一化層進行優化，同時也起到了調節的作用，有利于性能的提升。這兩個卷積層分別表示瓶頸模塊的兩次卷積運算，LN表示歸一化運算，Relu表示Relu激活函數。

因為優化后的算法復雜度比較小，成本較低，所以選擇在每一個殘差塊后都加入該注意力機制。

3 實驗結果與分析

3.1 實驗結果

本文除了選取BSDS500 進行測試外還選取了三百張經過預處理的唐卡圖片進行測試，圖像主要為佛像圖片，分辨率均為256×256。

本實驗提出的模型以及其他方法是在Win10 系統下利用pycharm 編程實現，顯卡型號是RTX 3060。分 別 用Canny 算 子、RCF 模 型、HED 模 型 以 及DMSCNN 這模型對測試圖像進行邊緣提取，檢測結果如圖9所示。

圖9 其他方法與DMSCNN結果對比圖Figure 9 Comparison of other methods with DMSCNN results

根據實驗可以看出，相比于傳統的Canny 算子和目前效果比較好的HED、RCF 模型，本文提出的DMSCNN 模型得到的邊緣圖像效果更好，富有更多的特征信息和細節紋理。具有更好的視覺表現。為后續對唐卡文物的保護以及圖像處理工作提供了良好的保障。

3.2 結果分析

當從客觀上評估邊緣檢測方法的性能時，有兩種常見的方法：ODS（Optimal Dataset Scale）和OIS（Optimal Image Scale）。

（1）ODS（Optimal Dataset Scale）：這是一種全局性能評估方法，它要求在整個數據集上使用相同的閾值進行邊緣檢測。目標是找到一個固定的閾值，使整個數據集上的F1 分數最大化，從而確保在不同圖像之間的比較具有一致性。

（2）OIS（Optimal Image Scale）：與ODS 不同，OIS是一種基于每張圖像的性能評估方法。對于每個圖像，它會選擇不同的閾值，以獲得每張圖像上的最佳F-sore分數。

F-score 是一種用于衡量分類模型性能的指標。它結合了模型的精確度（Precision）和召回率（Recall），通常用于評估二元分類問題中的性能。F-score 的計算方式如下：

F-score=2×(Precision×Recall)/ (Precision +Recall)邊緣檢測中一般使用ODS值和OIS值作為檢驗邊緣檢測方法性能的指標。

本文提出的模型加深了網絡深度，并通過使用殘差結構，解決了隨著網絡深度的增加而造成的梯度爆炸的問題。使得模型能夠從原始圖像中提取出更具代表性的、越來越高級的特征。這些特征可以幫助模型更好地理解圖像中的復雜信息，從而得到效果更佳的邊緣圖像。

同時本文在網絡模型中添加了全局通道自注意力機制，將局部信息和全局長程上下文信息進行融合。通過考慮全局信息，算法可以更容易區分對象的邊緣與背景的邊緣，可以更好地理解對象之間的相對位置和邊界,能夠準確地定位邊緣，從而改進邊緣檢測的性能。即使面對唐卡這種比較復雜的圖像，該模型也能得到比較完好的邊緣圖。

通過上述兩方面的改進，使得本文提出的DMSCNN模型相比于其他模型在公共數據集和自建數據集上都取得了更好的效果，實驗結果如表1、表2所示。

表1 在BSDS500上的性能指標比較結果Table 1 Comparison results of performance metrics on BSDS500

表2 在唐卡圖像上的性能指標比較結果Table 2 Comparison results of performance metrics on Thangka images

4 結語

在本研究中，我們探討了唐卡數字圖像的邊緣檢測，以提高對這些寶貴藝術品的數字分析和保護。采用了先進的邊緣檢測方法，結合唐卡圖像的獨特特點，實現了有前景的結果。本文給出了一種多尺度的深層邊緣檢測模型，它既使用殘差結構解決了梯度爆炸的問題，又通過多尺度輸出，配合自注意力機制，將局部特征和全局特征相結合，使輸出的邊緣圖片含有全局上下文信息，得到了特征信息更豐富、細節更顯著、視覺效果更好的唐卡邊緣圖片。

盡管本研究取得了不錯的成果，但也承認存在一些局限性。唐卡圖像具有獨特的挑戰，例如復雜的顏色和紋理，這些問題需要更深入的研究。希望未來能夠有更多的研究者加入到相關研究中，為保護和傳承唐卡的寶貴文化遺產提供幫助。