一種基于立體注意力機制的立體圖像超分辨算法

羅傳未，張子慧，賀子婷，周孟穎，馬 健

（安徽大學 互聯網學院，安徽 合肥 2 300001）

0 引 言

隨著雙目成像技術的發展，雙目相機和雙目攝像頭在手機和自動駕駛上的應用越發流行，立體圖像超分辨（Stereo Image Super-Resolution）領域逐漸被人們關注。立體圖像應用發展的同時，立體圖像超分辨任務也面臨著涉及圖像處理、計算機視覺、立體視覺等領域的基本問題。

基于現有的圖像超分辨率研究成果，領域內學者從不同角度對其進行了總結[1-3]。JEON等[4]提出一種基于視差先驗的立體圖像超分辨重建算法。該算法將右圖水平移動不同像素，生成64張副本圖像，將其與左圖級聯后送入網絡重建。WANG等[5]提出基于視差注意力機制的立體圖像超分辨算法，將self-attention引入到雙目視覺中，并通過設計valid mask解決左右圖遮擋問題。ZHANG等[6]提出用于立體圖像超分辨率的循環交互網絡（RISSRnet）來學習視圖間依賴關系。YING等[7]提出一個通用的立體注意力模塊（Stereo Attention Module，SAM），將其安插至預訓練好的單圖超分辨率（Single-Image-Super-Resolution，SISR）網絡中（如SRCNN[8]）并在雙目圖像數據集Flickr1024上進行微調，結合左右圖互補信息的同時保持對單圖信息的充分利用，進一步提升了超分辨性能。ZHU等[9]提出了一種基于交叉視點信息捕獲的立體圖像超分辨算法。DAI等[10]提出一種基于視差估計的反饋網絡，可同時進行立體圖像超分辨重建和視差估計。

（1）雙目圖像中，視差的巨大變化使得左右圖互補信息難以被充分捕捉；

（2）在捕捉到左右圖的關聯后，如何充分利用雙目圖像提供的信息也具有挑戰性；

（3）雙目圖像超分辨在結合左右圖的互補信息的同時，還要充分利用一幅圖內的信息。……