基于區域分割和DM642的數字圖像修復系統研究

摘" 要： 由于數字圖像中顏色通道之間關聯性顯著，改變某顏色分量，會導致剩余分量隨之變化，使數字圖像整體視覺效果出現變化，針對該問題，文中研究基于區域分割和DM642的數字圖像修復系統。將DM642處理器作為系統核心處理器，在該處理器協助下，針對破損數字圖像采用基于分通道自體理論的數字圖像區域分割方法，利用圖像顏色信息和像素間的空間關系，實現圖像修復區域分割。針對需修復區域，通過基于Criminisi算法的數字圖像修復方法提取修復像素點生成修復塊，利用圖像自相似性，在未破損區域找到與修復塊匹配度最高的樣本塊，用此樣本填充修補破損區域。實驗結果表明，此系統能夠有效分割數字圖像的修復區域，修復視覺效果較好，且修復后數字圖像不存在明顯失真問題，可實現多圖像并行快速修復。

關鍵詞： 區域分割； DM642處理器； 數字圖像； 修復系統； 分通道自體理論； Criminisi算法； 置信度； 修復塊

中圖分類號： TN911.73?34； TP391" " " " " " " " "文獻標識碼： A" " " " " " " " " " 文章編號： 1004?373X（2024）11?0059?05

Research on digital image restoration system based on region segmentation and DM642

QU Meiting， JI Yiqing

（Northeast Agricultural University， Harbin 150030， China）

Abstract： Due to the significant correlation between color channels in digital images， changing a certain color component can lead to changes in the remaining components， which results in changes in the overall visual effect of the digital images. In view of this， a digital image restoration system based on region segmentation and DM642 is studied. The DM642 processor is used as the core processor of the system. With the assistance of this processor， a digital image region segmentation method based on the subchannel self theory is adopted for damaged digital images. The image restoration region segmentation is achieved by image color information and spatial relationships between pixels. For the regions that needs to be restored， a digital image restoration method based on the Criminisi algorithm is used to extract the pixel points that need to be restored and generate restoration blocks. The image self?similarity is used to find out the sample block with the highest matching degree with the restoration block in the undamaged region. This sample is used to fill and restore the damaged region. The experimental results show that the proposed system can effectively segment the digital image region that needs to be restored， and the visual restoration effect is good， and there is no obvious distortion in the restored digital images. Therefore， the proposed system can achieve simultaneous and fast restoration of multiple images.

Keywords： regional segmentation; DM642 processor; digital image; restoration system; subchannel self theory; Criminisi algorithm; degree of confidence; restoration block

0" 引" 言

數字圖像修復是一種利用計算機技術和算法來修復圖像中丟失、損壞或殘缺部分的過程[1]。這種技術可以用于各種場景，如博物館中的藝術品修復、電影和電視制作中的特效處理，以及日常生活中的照片修復等[2]。數字圖像修復技術的發展，使得圖像修復變得更加高效和精確。與傳統的手工修復相比，數字圖像修復具有更高的效率和更低的成本。同時，隨著深度學習等人工智能技術的發展，數字圖像修復的效果也得到了顯著的提升[3]。然而，數字圖像修復仍然面臨一些挑戰和限制。例如，對于某些復雜的圖像損壞情況，如大面積的缺失或嚴重的噪聲干擾，修復效果可能仍然不夠理想[4]。

文獻[5]使用邊緣生成網絡和圖像補全網絡，并引入推理注意力機制，提高圖像修復的精度和逼真度，但由于該方法采用了復雜的神經網絡結構和推理注意力機制，因此需要較高的計算資源來支持訓練和推理過程，這可能會限制該方法在某些資源受限的應用場景中的使用。文獻[6]研究了基于曲率擴散的圖像修復方法，利用圖像中已知區域的曲率信息來指導圖像修復過程，從而達到恢復圖像的目的。雖然曲率擴散方法可以在一定程度上修復損壞的圖像，但對于某些復雜的損壞情況，如大面積的缺失或嚴重的噪聲干擾，其修復效果可能不夠理想。文獻[7]對在全分辨率圖像中提取的高級特征進行壓縮，然后根據尺度大小順序驅動這些特征進行多級注意力特征傳播，從而實現細粒度圖像修復重建。該方法未對圖像進行分割處理，導致修復結果中出現信息混淆，影響圖像質量。除此之外，還有學者提出基于塊匹配的圖像修復方法，通過在圖像中尋找相似塊進行修復，不足之處是對于復雜圖案和結構的缺失，效果可能不理想。

針對上述問題，本文設計了基于區域分割和DM642的數字圖像修復系統，DM642是TI公司推出的高性能數字信號處理器，具有強大的運算能力和高度的靈活性，每秒可以進行數十億次的乘累加運算，使得系統能夠實時處理大量的圖像數據，滿足高速圖像處理的效率需求。同時，將圖像劃分為不同的區域進行修復，這種方法可以提高修復的精度和效率，減少修復過程中的誤差和失真。

1" 數字圖像修復系統設計

基于區域分割和DM642的數字圖像修復系統的結構框圖如圖1所示。

當CCD相機采集數字圖像后，發送至解碼器進行數字化處理后，便會轉換為數字并行碼流，按照EDMA傳輸模式發送至DM642處理器，DM642將圖像進行區域分割、修復后，由編碼器轉換為碼流發送至顯示器。

DM642處理器的結構框圖如圖2所示。

DM642處理器能夠在600 MHz時鐘頻率中按照4800M IPS的處理速度并行處理8條32 bit指令。如圖2所示，DM642處理器具有兩級緩存結構，首級是LIP（16 KB）、LID（16 KB），次級是L2（256 KB），且處理器存在64個獨立通道的存儲訪問控制器EDMA，其功能是控制次級存儲結構和其他外設間的信息交互，此種結構可優化處理器的運行速率，提高數字圖像的修復性能。

1.1" 基于分通道自體理論的數字圖像區域分割方法

使用自體理論獲取需要分割的數字圖像自身無破損的局部區域，將其設成分割所用的參考圖像樣本[8]。因為數字圖像中顏色通道之間關聯性顯著，改變某顏色分量，便會導致剩余分量隨之變化，致使數字圖像整體視覺效果出現變化。為此，使用強關聯的sRGB模式，把需要修復的數字圖像參考樣本變換成序列各異的LAB模式[9]，且A、B色度通道的使用可解決圖像區域分割時分割規則無法自適應變換的問題。

為了判斷數字圖像和參考圖像的最優篩選閾值，全面分析參考圖像的內部交互關系，把需要修復的區域、無需修復區域之間，像元差異最大的屬性通道設成分割依據。把參考圖像區域屬性通道的標準差、最大最小值差的最優加權值設成分割最優篩選閾值。

[n=b1Hmax-Hmin+b2βH] （1）

式中：[Hmax]、[Hmin]依次代表參考圖像[H]屬性通道的上限值、下限值；[βH]代表參考圖像[H]屬性通道的標準差；[b1]、[b2]為權重系數，兩者和為1。對于不同數字圖像而言，最佳加權系數的設置規則需設置不同數值。如果參考圖像內部像元間[H]屬性通道值存在明顯差異，則[b2gt;b1]，反之，[b2lt;b1]。

為了保證數字圖像分割效果，需要全面分析待分割數字圖像和參考圖像每個像元的8?鄰域屬性[10]，然后結合Welsh算法理論改進分割規則。使用需修復區域、無需修復區域像元差異最顯著的屬性通道[H]、需分割像元的8?鄰域屬性均值[α]與標準差[β]，把[H]、[α]、[β]和參考像元之差的最佳加權值[P]設成需修復數字圖像區域和參考圖像的區域分割依據。

[P=b3Hj-Hi+b4αj-αi+b5βj-βi] （2）

式中：[Hj]、[Hi]分別代表需修復數字圖像區域和參考圖像的像素通道值；[αj]、[αi]代表像素的[H]通道8?鄰域均值；[βj]、[βi]代表[H]通道8?鄰域標準差。

針對需修復的數字圖像區域而言，運算區域各個像素和參考圖像中全部像素[i]的[P]值設成[Pg]，將其和最優篩選閾值[n]對比，則分配結果為：

[j=0，Pggt;n1，Pg≤n] （3）

如果需修復的數字圖像區域像素[j]和參考圖像中全部像素[i]的[P]值大于最優篩選閾值[n]，便把像素[j]設成無需修復區域像素，反之，把像素[j]設成需修復區域像素。按照此方法，完成需修復區域、無需修復區域分割。

1.2" 基于Criminisi算法的數字圖像修復方法

Criminisi算法在修復數字圖像需修復區域時，可全面分析修復區域的填充次序。首先運算需修復區域邊緣全部目標塊優先權，優先權在前的目標塊優先填充修復。算法的修復標志示意圖如圖3所示。

設置修復前整張數字圖像為[Ω]，將上文方法分割獲取的需修復區域設成[J]，修復區域的邊緣是[?J]，以點[q]為中心的矩形小塊是[φq]，[?J]在點[q]的切線單位法向量是[mq]。

圖像修復時，需要先填充修復邊緣[?J]，使用置信度項與數據項運算填充修復邊緣的各個像素優先值。

[Qq=Dq×Cq×Pg] （4）

式中：[Dq]、[Cq]分別表示[J]與無破損區域之間置信度項、填充修補數據項。

檢索優先級別最靠前的像素點[q]，將此點設成中心點，構建需修復塊[φq]，在無破損區域中檢索和[φq]像素平方差和最小的修補所用最佳匹配塊，將其設成[φp]，使用[φp]填充修復目前需修復塊。

[φp=argmindφq×Qq] （5）

式中[dφq]是像素修復塊之間的歐氏距離。

如果[φp]中需要修復的區域被填充修復完畢，更新需要修復區域的邊緣。

[Dq=Dq-φp] （6）

基于Criminisi算法的數字圖像修復步驟如下：

1） 初始化數字圖像需要修復區域的邊緣，將其設成[?J]，如果迭代[m]次，則邊緣為[?mJ]，如果[m]次迭代完畢[?mJ=0]，表示修復結束；

2） 運算邊緣中全部點的修補優先權[Qq]，檢索優先權最靠前的點，構建數字圖像的像素修復塊；

3） 基于無破損區域檢索修補可用的最優匹配塊；

4） 把檢索的最優匹配塊信息復制至需要修復的塊內，實現數字圖像修補；

5） 循環步驟4），當數字圖像需修復區域全部被修補便可完成修復。

2" 實驗分析

2.1" 實驗環境搭建

為測試本文系統在數字圖像修復問題中的使用效果，將本文系統嵌入某圖像處理軟件中，此軟件在計算機嵌入后，主要對佳能SX30 IS數碼相機采集的數字圖像進行處理。圖4是搭建的實驗環境。表1是佳能SX30 IS數碼相機的參數詳情。圖5是相機采集某人物的數字圖像進行老化破損處理后的圖像效果圖。

2.2" 數字圖像修復功能測試

圖6與圖7分別是本文系統對老化破損數字圖像修復時，區域分割的掩膜邊界標注示意圖和修復效果圖。

如圖6、圖7所示，從視覺角度分析，本文系統能夠有效分割數字圖像的修復區域，并取得較好的修復視覺效果。

為進一步測試本文系統對數字圖像的修復效果，使用結構相似性（SSIM）與修復加速比作為測試指標。在照片修復中，SSIM是用于評估修復后圖像質量的重要工具。SSIM基于人眼視覺系統的特點，將圖像的亮度、對比度和結構信息相結合，通過計算原始圖像與修復后圖像之間的相似性得分來評估修復質量。這個得分范圍通常在-1～1之間，得分越高表示修復后的圖像與原始圖像越相似，即修復質量越好。修復加速比是一個衡量修復效率的重要指標，它通常表示修復算法在處理速度上的優化程度，即修復技術在相同時間內能夠處理的圖像數量，或修復單個圖像所需時間減少的比例。本文系統對多張數字圖像的修復性能測試結果如表2所示。

分析表2數據可知，當需修復的數字圖像數量從5張增加至50張，本文系統修復后數字圖像與原始數字圖像效果之間結構相似性均達0.99，即修復質量較好。修復進程的加速比隨著照片數量的增多而提升，且為正向提升狀態，說明本文系統可并行高效處理數字圖像的修復問題，原因是本文系統利用了DM642處理器，可實現并行式圖像修復處理。

3" 結" 論

本文設計一種基于區域分割和DM642的數字圖像修復系統，此系統能夠通過數字圖像修復區域分割、DM642處理器，更準確地識別并修復圖像中的損壞部分，通過對圖像進行區域分割，系統可以將圖像劃分為多個小塊，然后對每個小塊進行獨立的修復。該方法可以充分考慮圖像局部的特性，避免全局修復可能帶來的模糊和失真。結合DM642的高性能處理能力，可以更快地實現圖像修復處理。經測試，本文系統具有高效的處理能力、準確的修復效果、快速的實現速度，這些優勢使得該系統在數字圖像修復領域具有廣泛的應用前景。

參考文獻

[1] 孫劉杰，劉倩倩，龐茂然.基于傅里葉卷積和多特征調制的圖像修復網絡[J].包裝工程，2023，44（21）：286?293.

[2] 劉微容，米彥春，楊帆，等.基于多級解碼網絡的圖像修復[J].電子學報，2022，50（3）：625?636.

[3] 李海燕，尹浩林，鐘杏苑，等.基于改進知識一致性注意力的圖像修復算法[J].華中科技大學學報（自然科學版），2023，51（9）：110?117.

[4] 彭進業，余喆，屈書毅，等.基于深度學習的圖像修復方法研究綜述[J].西北大學學報（自然科學版），2023，53（6）：943?963.

[5] 譚駿珊，李雅芳，秦姣華.基于推理注意力機制的二階段網絡圖像修復[J].電訊技術，2022，62（11）：1545?1553.

[6] 張子迎，稅午陽，周明全，等.數字壁畫病害提取與修復算法研究[J].計算機應用研究，2021，38（8）：2495?2498.

[7] 曹承瑞，劉微容，史長宏，等.多級注意力傳播驅動的生成式圖像修復方法[J].自動化學報，2022，48（5）：1343?1352.

[8] 陳永，陳錦，艾亞鵬，等.基于邊緣缺失重構和改進優先權的壁畫圖像修復[J].激光與光電子學進展，2021，58（24）：231?240.

[9] 孫宇，李晗.基于結構?紋理分解的數字圖像分層修復算法[J].計算機仿真，2023，40（6）：220?224.

[10] 徐國彬，于藝銘，李潔，等.基于改進BSCB算法的缺陷國畫類數字圖像修復研究[J].激光與光電子學進展，2022，59（10）：81?89.

[11] 李敏.基于多光譜技術的建筑彩畫虛擬修復系統設計[J].現代電子技術，2021，44（4）：142?145.

[12] 崔小洛，欒曉飛.基于深度強化學習的圖像修復算法設計[J].物聯網技術，2019，9（6）：58?60.

[13] 齊巨慧.基于圖像分塊和改進Criminisi算法的圖像修復方法[J].現代電子技術，2020，43（1）：63?66.

作者簡介：曲美亭（1982—），女，山東牟平人，碩士研究生，講師，研究方向為數字媒體、數字影像、數字圖像、動態圖像。

冀軼卿（1983—），男，吉林磐石人，碩士研究生，講師，研究方向為數字媒體設計。