基于形變估計與運動補償的醫學CT圖像層間超分辨率算法

摘 要：針對醫學斷層圖像層間分辨率較低的問題，提出了基于形變估計與運動補償的醫學CT圖像層間超分辨率算法用于生成切片間圖像，從而提高層間分辨率。首先利用U－Net對相鄰兩幅圖像作多尺度特征提取與融合；其次，為了處理層間圖像的復雜形變，使用基于自適應協作流的變形扭曲模塊來實現相鄰切片間的雙向形變估計，設計層級信息遞進融合模塊對金字塔特征層進行特征聚合，對生成圖進行運動補償；最后經過后處理網絡以減少異常像素點。該算法在兩種CT數據集上進行驗證，平均PSNR值分別達到了35.59 dB和30.76 dB，輸出圖能較好地恢復圖像細節。與現有的一些方法對比，相關實驗證明了該算法的有效性。

關鍵詞： 層間超分辨率；卷積神經網絡；三維醫學圖像；形變估計

中圖分類號： TP391.41文獻標志碼：A 文章編號： 1001－3695（2024）04－040－1234－05

doi： 10.19734/j.issn.1001－3695.2023.07.0345

Medical CT images inter－slice super－resolution algorithm based on deformation estimation and motion compensation

Zheng Zhizhen， Zheng Qianying， Yu Jinling

Abstract：Aiming at the problem of low interlayer resolution in medical tomographic images， this paper proposed an interlayer super－resolution algorithm based on deformation estimation and motion compensation. The method aimed to enhance interlayer resolution by generating interslice images. Firstly， the algorithm employed U－Net for multi－scale feature extraction and fusion of two adjacent images. To handle the complex deformation of interlayer images， it estimated slice bidirectional deformation by utilizing a warping module based on adaptive collaboration of flows. Multi－scale information fusion module performed feature aggregation onpyramid feature layers， to compensate for the motion of the generated map. Finally， it employed a post－processingnetwork to reduce pixel outliers. The results on two CT datasets show that the PSNR of the proposed algorithm reaches 35.59 dB and 30.76 dB， the output effectively restores image details. Comparative experiments with existing methods demonstrate the effectiveness of the proposed algorithm. Key words：inter－slice super－resolution; convolutional neural network; 3D－medical images; deformation estimation

0 引言醫學斷層成像的分辨率從空間上可以分為二維空間分辨率以及層間分辨率。由于物理成像系統的硬件限制、輻射劑量、掃描時長以及噪聲等因素的影響，成像的分辨率受到了一定的限制［1］。在成像系統性能受限的情況下，要想獲取到具有更高分辨率的圖像，就需要更大射線劑量或更長掃描時間，然而在CT成像中，大劑量輻射或長時間掃描是不符合實際情況的，可能會損害機體的免疫系統，對人體造成潛在的影響。因此在圖像處理方面，對CT圖像的分辨率進行提升成為了一個值得研究的方向［2］。關于傳統的平面超分辨率（super resolution， SR）方法，對于CT圖像而言，就是對某一二維切片進行超分重建。Dong 等人［3］首先將深度學習引入SR任務，以三層卷積神經網絡的結構實現了低分辨率圖像到高分辨率圖像的映射學習。隨著ResNet與DenseNet的提出，殘差結構與密集連接的思想也被應用于SR問題上［4］。 近年來，更多高效的超分網絡被提出，通過使用特征信息蒸餾［4］、參數共享策略［5］與注意力機制［6］等，使得計算效率得到了提升。其中注意力機制著重從不同的角度實現對于圖像某一部分特征信息的加強或抑制，在一定程度上有利于SR任務的特征表達。然而對于醫學斷層圖像，平面超分重建無法獲得清晰可靠的相鄰橫斷面圖像。 在三維CT圖像中，切片的層內采樣分辨率遠大于層間分辨率。空間位置上相鄰的二維切片間具有一定的運動連續性。為了獲取具有更窄間距的二維切片，本文算法借鑒了視頻插幀的思想，利用在空間位置上相鄰兩層圖像來恢復出中間層的二維切片，以提高CT圖像的層間分辨率，該任務定義為醫學CT圖像層間超分辨率重建。解決醫學斷層圖像插值的一類方法是非剛性配準。非剛性配準主要分為基于空間仿射變換的配準，如多項式法、樣條函數法等，基于各種物理模型的配準，如粘性流體模型、彈性模型和光流模型等。He 等人［7］利用了圖像塊間的自相似性構造高斯過程回歸模型， 分塊逐步構建插入層的數據，該方法耗時較長，且重建質量不夠理想。Heinrich等人［8］結合梯度方向與光流對多模態醫學圖像進行非剛性配準。然而上述基于光流場的配準，并不能確保計算的光流場是同構的。文獻［9］采用CLG－TV光流估計配準算法與幀間非局部自相似性生成CT中間切片，但該算法在兩幅圖像組織形態變化過大時無法很好地處理。醫學斷層圖像的層間超分辨率可以同自然視頻圖像幀插值歸于序列圖像插值問題。近年來，基于深度學習的視頻插幀算法得到了關注，Niklaus等人［10］提出了一種基于空間自適應卷積核的算法來跟蹤圖像中每個像素的運動，該方法的重建質量超過了傳統的以光流方程為基礎的插幀算法。然而該方法對于大于計算卷積核的運動估計的效果欠佳。文獻［11］中提出了SloMo算法，該算法憑借U－Net架構計算輸入圖之間的雙向光流，將輸入的兩幅圖像根據深度神經網絡推理出的光流場進行扭曲和線性融合。Lee 等人［12］提出AdaCoF模型，該模型利用空間自適應可變形卷積作像素級的輸出預測，該方法在處理大型復雜運動上具有優勢，但欠缺保存上下文信息的能力。與自然圖像場景相比，醫學圖像層間的形態變化與組織運動情況顯得更為復雜多變和難以估計。本文提出了一種基于形變估計與運動補償的圖像層間超分辨率算法。基于DS－Conv操作的雙向形變估計模塊對模型處理大的形變提供了較高自由度，使得模型可以追蹤更大的像素運動范圍。然而其在保留更精細的紋理邊緣與細節方面的能力上是缺失的，同時還會殘留一些偽影。于是增加一個級聯的特征金字塔層級信息融合模塊，為產生的輸出作進一步的融合和完善，以產生更貼合原有真實圖像的組織形態與特征。

1 本文方法對于一組空間密集采樣的CT數據，可將其定義為

一般地，按照解剖學上的劃分，將x軸定義為矢狀軸，y軸定義為冠狀軸，z軸定義為垂直軸，則垂直軸切片表示為

沿著垂直軸方向上的切片是一組離散序列圖像，設z 軸切片數量為N。圖像層間超分辨率的目的是通過深度神經網絡尋求一組變換，使得

為了獲取真實的參考圖像對網絡輸出的合成圖作指標量化與視覺評價，如圖1所示，對一組密集采樣的三維CT圖像數據作間隔抽取，例如對于垂直空間上連續的三張橫斷面切片，將切片Iz 與Iz+1作為輸入圖，將切片Iz+1/2作為參考圖像，并依此類推得到多組訓練數據。

本文實現CT圖像層間超分辨率的主要方法是通過輸入相鄰的兩張切片到深度神經網絡變換，使得網絡能夠輸出具有可信度的兩切片中間位置切片。在訓練與測試中，本文采用真實薄層CT的連續斷層切片劃分成三元組，Iz與Iz+1作為輸入圖，將網絡合成圖Iout與真實中間切片Iz+1/2進行對比評估，以驗證模型性能。對于CT斷層圖像，其層間序列圖像具有一定的運動連續性，故可以通過神經網絡從相鄰兩切片中恢復出中間層切片信息，提高層間分辨率。本文方法恢復中間切片分為兩步，即形變估計與運動補償。形變估計是對雙向輸入圖提取特征后，網絡對組織結構形態變化的初步預估；運動補償則是在估計圖的基礎上根據全局特征對局部進行補償，以增強圖像質量。

1.1 網絡框架本文提出了一種基于形變估計與運動補償的醫學CT圖像層間超分辨率網絡（deformation estimation and motion compensation for inter－slice super－resolution of medical image，DEMC－Net），如圖2所示。DEMC－Net是一個端到端的可訓練網絡，主要由四個部分構成：U－Net結構作為主干網絡的核估計網絡、層間雙向形變估計網絡（bidirectional deformation estimation module，BDEM）、圖像運動補償網絡和后處理優化模塊（post－processing optimization module，PPOM）。

對于輸入圖像Iz與Iz+ 其表示在空間垂直方向上相鄰的兩張橫斷面切片，Iout表示網絡最終合成輸出的圖像。層間雙向形變估計網絡對雙向的輸入圖各作一次形變估計，得到前向估計圖與后向估計圖，通過遮擋圖，從兩張估計圖中選擇有效的像素，合成一張初步中間估計圖。圖像運動補償網絡是由結合了強化空間注意力機制（enhance spatial attention， ESA）的層級信息遞進融合模塊 （hierarchical information progressive fusion module，HIPFM）所實現的，ESA強化了層間圖像合成中更感興趣的區域，自適應地為其分配權重，將金字塔特征圖作遞進融合得到輸出圖，與形變估計圖融合，使得估計圖獲得運動補償部分的像素增強。最后經過一個殘差結構的后處理優化模塊，將生成圖中的異常像素點作優化處理，得到輸出的中間層橫斷面切片圖像。

1.2 基于自適應協作流的雙向形變估計模塊BDEM自適應協作流是文獻［12］中提出的一種通用的圖像扭曲變形模塊，其關鍵組件為一種空間自適應可變形卷積操作（deformable separated convolution， DS－Conv）。該組件用于實現從一幅輸入圖像到一幅輸出圖像的扭曲變形映射。該卷積操作設計源于可變形卷積的啟發。對于可變形卷積而言，（i， j）位置的像素，其尺寸為K的可變形卷積核對應的K2個采樣點，都具有一個位置偏移向量，即

首先，為了讓可變形卷積具有更大的感受野，且提升卷積核搜索的范圍，DS－Conv在可變形卷積基礎上加入了偏移矢量 d 。對于DS－Conv操作，可描述為

其中：K表示可變形卷積核的大小。對于輸入圖Iin的（i， j） 位置處的像素進行預測時，Wm，n（i， j）為該點像素的內核權重。與可變形卷積不同之處在于，在不同參考像素位置處，DS－Conv是不共享權重的，即每個像素點都具有其對應的權重參數。BDEM中采用兩組DS－Conv分別對Iz與Iz+1作形變估計，得到兩張指向中間層的形變估計圖，然后使用一個遮擋對兩張估計圖進行融合，得到I′。該過程可以表示為

其中：M表示一個可學習的遮擋層；Τf、Τb分別表示前向估計與后向估計計算； J 為全一矩陣。對于DS－Conv操作，該運算所需參數需要由若干子網絡來表示，其中子網絡根據輸入特征估計DS－Conv的參數。故子網絡的映射表達能力對于BDEM的性能有一定的影響。encoder－decoder結構可以在保留信息的同時去除冗余信息，相較于簡單的重復規模卷積層的堆疊，可有效改善其作為參數層時的表達能力。BDEM中對輸入作雙向估計，其所需參數包括圖權重以及水平、豎直方向上的卷積核偏移向量圖，總計需要六個子網絡估計塊。考慮到參數量與性能的平衡，本文將U－Net進行裁剪得到Mini－Unet作為子網絡，以映射生成所需的參數。

1.3 結合ESA的金字塔層級信息遞進融合模塊HIPFM由于經過BDEM估計的誤差或者遮擋層的影響，融合得到的圖像細節上仍有缺失與不平滑，并可能出現偽影，所以結合ESA的HIPFM以融合更多上下文信息，補償通過遮擋初步合成的圖，HIPFM結構如圖3所示。

由于醫學圖像相對自然圖像的場景更單一，高層、低層語義特征對于醫學圖像都很重要。前置特征提取網絡U－Net在上采樣傳播過程中，構建出特征金字塔層，特征金字塔可以視為卷積層在提取特征過程中不同程度上的抽象表示，通過有效地組合這些層間信息， 修復像素強度不足的區域，為初步估計圖作進一步的運動補償。在HIPFM的融合過程中，特征圖融合由底逐級向上融合，即先從底層特征圖開始，與上一級尺度的特征圖作一次融合，將融合結果作為下一次融合的低級特征圖輸入。由于不同層級特征圖對于遞進融合網絡的貢獻程度是不同的，所以引入注意力機制。本文采用RFANet中［13］提出的ESA注意力。ESA引入了深度殘差的設計，以強制特征關注到更加感興趣的區域，將網絡層中突出的特征進行聚合。ESA注意力同時還具有足夠輕量化的特點，可以方便地集成到其他模型中。HIPFM融合基本單元如圖4所示。對于每一級低層特征與高層特征的融合過程，可以描述為

其中： fesa表示ESA注意力模塊； fup表示特征圖上采樣層； f1×1表示卷積核大小為1×1的卷積層計算；xl（1）為第一次融合后得到的特征層，將xl（1）作為下一級輸入的低層特征圖與特征金字塔中的更高層進行下一次融合，按照此規則進行迭代，直至融合到最高尺度層級。

1.4 后處理優化模塊PPOM由于經過多重特征圖的混合生成過程，生成圖像可能會出現一些異常像素點，影響了輸出圖像的質量效果，所以在網絡末端引入后處理優化模塊來提高生成質量。將BDEM模塊輸出的前向、后向估計圖以及生成的中間估計圖作為PPOM的輸入，在PPOM的輸出加上中間層圖像，此設計使得后處理優化模塊強制學習網絡生成圖與真實參考圖之間的殘差。該模塊可以在一定程度上提高生成圖像的指標。

1.5 損失函數設計在圖像生成任務中，內容損失與感知損失聯合使用是常見的做法，這樣可以在圖像擬合程度與視覺感知效果上取得一個較好的平衡。本文模型訓練采用的聯合損失函數為

首先，本文算法采用一種帶有懲罰項的L1損失作為基礎內容損失，該損失函數可以改善L1損失有時生成的圖像過于平滑的問題［14］。該損失定義為

在模型訓練過程中，設定α= β=0.0 γ=0.001。

2 實驗結果與分析

2.1 數據集與評價指標本文實驗使用兩個公共數據集：a）安德森腫瘤中心可變形圖像配準實驗室（DIR－LAB）開源的4D肺部CT數據集［16］，該數據集中五組CT數據的層內分辨率為0.97～1.16 mm，層間分辨率均為2.5 mm；b）IEEE8023的20組為研究新型冠狀病毒（COVID－19）收集的肺部CT數據集［17］，該數據集的層內分辨率為0.6836～0.7246 mm，層間分辨率均為1 mm。原始數據經過預處理后，訓練集由1 000組CT圖像組成，兩種數據集總計測試了100組圖像。本文采用三種指標來對生成圖與真實圖像進行定量評估，分別是峰值信噪比（PSNR）、結構相似度（SSIM）及可學習感知圖像塊相似度（learned perceptual image patch similarity，LPIPS）。PSNR通過計算均方誤差來衡量生成圖與原圖的差異，SSIM根據結構、亮度和對比度來判斷相似度，其公式如下：

將兩幅圖像輸入到SqueezeNet中，輸出歸一化處理后記為yl0hw、yl1hw，經過權重w點乘后計算L2距離得到LPIPS。其值越低，代表輸入的兩幅圖像越相似。LPIPS較傳統的圖像質量評價指標在人類視覺感知效果上具有更好的一致性。其公式為

2.2 實驗設置與訓練細節

本文采用對薄層CT的橫斷面序列圖像進行間隔抽取來獲取訓練集，例如對于三元組I0、I1與I2，將I0、I2輸入到網絡，I1作為參考圖，進行有監督訓練。訓練使用的CT圖像統一裁剪成256×256，在數據增廣方面，隨機對不同的三元組內圖像統一執行旋轉90°、垂直翻轉、水平翻轉操作，保持三元組CT橫斷面圖像對齊。本文訓練采用的優化器為Adamax，動量參數β1與β2分別設置為0.9、0.999。初始學習率lr設置為0.00 每隔50輪迭代lr衰減一半，總的訓練輪數設置為200。本文算法使用設計的聯合損失函數進行訓練，具體實現在1.5節中闡述。本文實驗使用的服務器運行Windows 10操作系統，CPU配置為Intel Core i9－11900K，GPU為NVIDIA RTX 3080Ti，運行內存為32 GB， 本文算法采用PyTorch深度學習框架實現，環境中的Python版本為3.9，使用PyCharm用于訓練與測試。

2.3 消融實驗為了驗證本文提出各模塊的作用，對DEMC－Net設計了如下的消融實驗。首先是驗證BDEM模塊直接輸出合成圖的效果，BDEM－S代表使用了Mini－UNet作為子網絡BDEM的實驗。在BDEM－S的基礎上，逐次添加HIPFM模塊、結合ESA的HIPFM模塊，以及PPOM模塊。

消融實驗在測試集上的指標結果如表1所示。結果表明，設計的各個模塊對于生成圖的質量均有不同程度的貢獻，可以提升指標性能。其中HIPFM模塊使得兩類測試集的PSNR值分別提高了0.408 dB與0.428 dB。這說明基于特征金字塔層的HIPFM模塊可以有效地綜合上下文信息，為BDEM模塊的輸出作進一步的補償與修復。將ESA引入到網絡設計中，ESA能夠自適應地為網絡層間富含低頻或高頻信息的特征圖進行信息增強或抑制，ESA機制使得特征圖減少了信息丟失，使得網絡更容易捕獲到輸入CT圖像到生成CT圖的映射關系。本文算法通過添加后處理模塊PPOM，綜合多個處理模塊輸出的特征層信息，有效地對異常像素點進行修復，同時一定程度提高了生成圖像的客觀評價指標。

2.4 對比與分析

本文選取了六個較有代表性的算法，包括Phase－Based［18］、 SepConv［10］、RRIN［19］、AdaCoF［12］、CDFI［20］與EDSC［21］。其中Phase－Based是基于相位的插幀算法，SepConv、RRIN、AdaCoF、CDFI與EDSC是近年來基于深度學習的插幀算法。以上算法在本數據集上的定量評估結果如表2所示。

本文采用輸入兩幅相鄰CT切片經過神經網絡來生成中間層切片的方法來獲取更多切片，使得切片間具有更小的層間距離以提高層間分辨率。從表2可以看出，基于深度學習的層間插值方法在指標上大幅超過了基于相位變換的方法，證明了神經網絡算法在CT圖像層間超分辨率重建中的效果。SepConv中可變形卷積的提出，提高了模型追蹤不規則邊緣的能力，使得合成圖像的質量得到了大幅提升，也帶來了指標上的提高。AdaCoF方法通過自適應形變卷積實現了對復雜運動的估計，然而其帶來的是較為冗余的參數量問題。DEMC－Net在PSNR與SSIM兩項指標上實現了最優性能，其在DIR－LAB數據集上分別達到了35.593 dB與0.938 0。同時較低的LPIPS值說明了生成圖像與真實圖的視覺感官的一致性。本文通過計算模型浮點運算數FLOPs與參數量Params來衡量網絡的復雜度。表2中的數據表明，DEMC－Net在可接受的運算量與參數量的情況下，取得了性能與復雜度上的平衡。圖5是不同算法對某一組切片進行中間層生成的效果展示，其中右下角是對圖中紅框范圍內圖像的細節放大展示。Phase－Based方法生成的圖像較為模糊，不能滿足基本要求。SepConv方法使用卷積神經網絡來合成中間圖，其客觀指標超過了傳統的基于相位的方法Phase－Based，然而其輸出的圖像視覺效果仍然較差。CDFI與EDSC生成的圖像在小組織的邊緣細節紋理上仍有缺失與模糊。結果顯示，本文方法生成的中間層切片得到了更接近真實切片的組織細節與邊緣，得到了相對光滑且清晰的圖像，具有良好的視覺感官效果。

為了進一步驗證本文方法的有效性，在測試集中選取了六組圖像用于可視化展示，如圖6所示。其中第一、四行分別表示相鄰切片Iz與Iz+ 第二行Iz+1/2（gt）表示被抽取的真實中間層切片，第三行表示使用本文方法生成的中間層切片。圖6顯示本文方法產生了較為貼近真實圖的切片，實現了層間超分辨率的目的。本文方法生成的中間層CT切片圖像中，肺實質與血管的邊緣輪廓清晰可見，且不同位置的CT切片合成圖都具有一致的生成質量穩定性，與真實切片圖像具有極高的相符度。本文算法不僅在定量指標上取得了最優的結果，并且在人眼視覺感受方面同樣顯示出良好的效果。

3 結束語

本文針對三維醫學CT圖像數據體中，圖像層內分辨率遠大于層間分辨率的問題，為了實現在更低輻射劑量與更快掃描速度的條件下，達到輸出更高層間分辨率圖像的目的，提出了一種基于形變估計與運動補償的醫學CT圖像層間超分辨率網絡，利用空間位置上連續的兩張切片合成出中間層的切片。以DS－Conv為基礎的形變估計模塊通過融合雙向的形變估計圖得到較為精確的預測圖，結合ESA的HIPFM模塊為初步生成圖補全細節信息，實現運動補償。與其他算法相比，本文算法合成出的圖像具有較高的客觀指標評價與較好的視覺感知效果。由于醫學CT圖像具有復雜多變的組織運動，所以可考慮引入更多層的切片，給予網絡更多的先驗信息。同時可嘗試在現有網絡設計基本不變的情況下，對網絡進行模型剪枝，以達到降低網絡參數的目的，提升模型的處理效率。

參考文獻：

［1］Isaac J S，Kulkarni R. Super resolution techniques for medical image processing ［C］//Proc of International Conference on Technologies for Sustainable Development. Piscataway，NJ：IEEE Press，2015： 1－6.

［2］Yang Hujun，Wang Zhongyang，Liu Xinyao，et al. Deep learning in medical image super resolution： a review ［J］.Applied Intelligence， 2023， 53 （18）： 20891－20916.

［3］Dong Chao，Loy C C，He Kaiming，et al. Image super－resolution using deep convolutional networks ［J］.IEEE Trans on Pattern Analysis and Machine Intelligence ，2015， 38 （2）： 295－307.

［4］Li Y，Sixou B，Peyrin F. A review of the deep learning methods for medical images super resolution problems ［J］.IRBM ，202 42 （2）： 120－133.

［5］Tai Ying，Yang Jian，Liu Xiaoming. Image super－resolution via deep recursive residual network ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2017： 2790－2798.

［6］盤展鴻，朱鑒，遲小羽，等. 基于特征融合和注意力機制的圖像超分辨率模型 ［J］. 計算機應用研究，2022， 39 （3）： 884－888. （Pan Zhanhong，Zhu Jian，Chi Xiaoyu，et al. Image super－resolution model based on feature fusion and attention mechanism ［J］.Application Research of Computers ，2022， 39 （3）： 884－888.）

［7］He He，Siu W C. Single image super－resolution using Gaussian process regression ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2011： 449－456.

［8］Heinrich M P，Schnabel J，Gleeson F，et al. Non－rigid multimodal medical image registration using optical flow and gradient orientation ［C］// Proc of Conference on Medical Image Analysis and Understanding.2010： 141－145.

［9］林毓秀，劉慧，劉紹玲，等. 三維CT層間圖像超分辨重建與修復 ［J］. 計算機輔助設計與圖形學學報，2020， 32 （6）： 919－929. （Lin Yuxiu，Liu Hui，Liu Shaoling，et al. Super－resolution reconstructionand repair of 3D CT interslice images ［J］.Journal of Computer－ Aided Design amp; Computer Graphics ，2020， 32 （6）： 919－929.）

［10］Niklaus S，Mai Long，Wang O. Revisiting adaptive convolutions for video frame interpolation ［C］// Proc of IEEE/CVF Winter Confe－rence on Applications of Computer Vision. Piscataway，NJ： IEEE Press，2021： 1098－1108.

［11］Jiang Huaizu，Sun Deqing，Jampani V，et al. Super slomo： high quality estimation of multiple intermediate frames for video interpolation ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2018： 9000－9008.

［12］Lee H，Kim T，Chung T，et al. AdaCoF： adaptive collaboration of flows for video frame interpolation ［C］// Proc of IEEE/CVF Confe－rence on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2020： 5315－5324.

［13］Liu Jie，Zhang Wenjie，Tang Yuting，et al. Residual feature aggregation network for image super－resolution ［C］// Proc of IEEE Confe－rence on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2020： 2356－2365.

［14］Liu Ziwei，Yeh R A，Tang Xiaoou，et al. Video frame synthesis using deep voxel flow ［C］// Proc of IEEE International Conference on Computer Vision. Piscataway，NJ： IEEE Press，2017： 4473－4481.

［15］Wang Xintao，Yu Ke，Wu Shixiang，et al. ESRGAN： enhanced super－resolution generative adversarial networks ［C］// Proc of European Conference on Computer Vision. Cham： Springer，2018： 63－79.

［16］Castillo R，Castillo E，Guerra R，et al. A framework for evaluation of deformable image registration spatial accuracy using large landmark point sets ［J］.Physics in Medicine amp; Biology ，2009， 54 （7）： 1849－1870.

［17］Cohen J P，Morrison P，Dao L，et al. Covid－19 image data collection： prospective predictions are the future ［EB/OL］. （2020－06－22） . https：//arxiv. org/pdf/2006. 11988. Pdf.

［18］Wadhwa N，Rubinstein M，Durand F，et al. Phase－based video motion processing ［J］.ACM Trans on Graphics ，2013， 32 （4）： 1－10.

［19］Li Haopeng，Yuan Yuan，Wang Qi. Video frame interpolation via residue refinement ［C］// Proc of IEEE International Conference on Acoustics，Speech and Signal Processing. Piscataway，NJ： IEEE Press，2020： 2613－2617.

［20］Ding Tianyu，Liang Luming，Zhu Zhihui，et al. CDFI： compression－driven network design for frame interpolation ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Pisca－taway，NJ： IEEE Press，2021： 7997－8007.

［21］Cheng Xianhang，Chen Zhenzhong. Multiple video frame interpolation via enhanced deformable separable convolution ［J］.IEEE Trans on Pattern Analysis and Machine Intelligence ，202 44 （10）： 7029－7045.

收稿日期：2023－07－20；修回日期：2023－09－11 基金項目：國家自然科學基金資助項目（62271151）；福建省科技廳重點產業引導項目（2020H0007）

作者簡介：鄭智震（1999—），男，福建莆田人，碩士研究生，CCF會員，主要研究方向為計算機視覺、醫學圖像處理；鄭茜穎（1970—），女（通信作者），福建福州人，副教授，碩導，博士，主要研究方向為人工智能、計算機視覺（zqy@fzu.edu.cn）；俞金玲（1983—），女，福建福州人，教授，博導，博士，主要研究方向為半導體以及拓撲絕緣體的自旋相關光電流.