結合判別分析和分布差異約束的領域適應方法

覃姜維，唐德玉

廣東藥科大學 醫藥信息工程學院，廣州 510006

信息技術的快速發展促使新領域的數據不斷產生，同時也帶來了針對新領域數據的分析需求。然而，新領域數據往往具有維度高、類別多、標記數量缺失的特點，由于傳統機器學習嚴格的數據同分布假設要求，無法直接利用領域外存在的大量標記數據輔助模型訓練，容易導致在新領域上學習到的模型判別表征能力不足。而人工準備大量標記數據費時費力，這使得新領域知識的學習變得十分困難。近年來提出的遷移學習[1]可以在訓練數據和測試數據分布不同的情況下，將知識從源領域遷移到目標領域。

領域適應[2]是遷移學習的一個重要分支，其目標是在帶標記數據的源領域上學習一個分類或者回歸模型并將其適配到無標記數據且數據分布不一致的目標領域。領域適應的首要任務是進行域間分布適配，常通過能夠縮減領域間分布差異的特征變換實現。常用的領域分布差異度量方法有最大均值差異（MMD）[3]，Wasserstein距離[4]，基于熵的KL 散度[5]和正交距離（orthogonal discrepancy）[6]等。基于MMD 及其變種，文獻[7-9]利用特征變換對源和目標域進行分布適配，學習到不同領域間共同的特征嵌入表示以減小數據總體分布差異。近年來，深度學習由于其良好的特征表示性能被廣泛研究，文獻[10-13]在深度學習的基礎上結合MMD約束及特征對齊或者對抗機制來重構源和目標域的特征，目的同樣是學習到領域間不變的特征表示。為了更好地利用已有的判別信息提升目標領域分類任務性能，類結構刻畫和保持被利用到特征映射過程中，基于類散度[14-16]和圖嵌入[17-18]的判別設計是常用的方法。實際上，基于均值差異度量的領域適應方法從整體上實施不同域的數據中心對齊，是一種全局方法。然而，基于全局約束的特征變換過程往往忽略了樣本的局部結構保持，為此，相關研究[19-22]將局部結構的保持作為求解域不變特征過程中的重要約束條件。

研究表明，領域適應在進行域間分布適配所進行的特征變換會破壞原始空間的類別特征和數據的局部特征，這些特征對目標分類任務的精度提升十分重要。然而，現有工作對類別判別保持和局部保持的優化并不充分，如LPJT[19]未考慮已有判別信息在領域適應過程中的使用，JGSA[23]僅考慮了源域上的判別結構而忽略了目標域的判別結構，JCDFA[15]強調域分布偏移優化和判別保持但忽略了樣本的局部結構保持。針對以上不足，本文在跨域分布全局適配的基礎上，聯合能夠避免原始空間信息損失的判別保持和局部保持，提出一種結合判別分析和分布差異約束的領域適應方法（domain adaptation method combined with discriminant analysis and distribution discrepancy constraints，DADD）。基于自適應特征變換，將低維嵌入、域分布差異優化、類別散度最優化和局部結構保持納入同一框架。首先，構造領域分布差異度量，用于縮減領域間邊緣分布和條件分布差異；其次，構造類內散度和類間散度度量，用于保持類別判別結構；同時，基于數據分布結構信息構造不同類型的差異權重，分別用于約束分布距離度量和類散度度量，實現判別保持和局部保持的聯合優化；最后，基于上述度量最優化的特征變換，將源域數據和目標域數據通過相應的轉換矩陣投影到低維子空間執行分類任務。目標問題可以通過求解一個帶約束的二次規劃問題獲得最優值。圖1 展示了算法DADD 的整體框架。DADD 結合樣本的全局和局部分布信息、類別判別信息，構造了具有幾何意義的領域分布差異度量和類散度度量，在領域適應過程中不但能夠縮減領域分布差異，最小化同標記嵌入樣本的距離和最大化不同標記嵌入樣本的距離，同時形成緊致的類內結構和明確的類邊界，整體上兼顧了域分布適配、類別判別保持和數據局部結構保持。

圖1 DADD框架Fig.1 Framework of DADD

本文的主要貢獻如下：

（1）針對基于全局分布適配的域適應算法容易導致特征結構損失的問題，提出使用判別分析和分布差異約束來進行域適應過程中的判別保持和局部保持，同時提出判別分析和分布差異約束兩者聯合優化的具體形式，構造了具有幾何意義的域差異度量和散度度量，能夠提升域適應性能。

（2）為了進一步加強領域適應過程中的判別保持和局部保持，對源域和目標域數據分別實施了不同的特征轉換，提出了結合分布適配、判別保持、局部結構保持和子空間差異優化相融合的域適應框架。

（3）通過在多個公開數據集上構造的跨領域分類任務的實驗結果表明，DADD在跨領域數據分類的精度上要優于對比的其他算法。

1 相關工作

本文的工作主要圍繞基于特征學習的領域適應方法展開。領域適應的特征表示學習方法可分為淺層學習方法和深度學習方法。淺層學習常通過帶約束的特征變換來學習到領域間不變的共享特征。文獻[12，18]利用MMD約束特征變換過程，學習到源域和目標域共同的特征嵌入表示。文獻[8-9]利用核方法在再生希爾伯特空間中學習到領域無關的特征核表示。近年來，深度學習由于其良好的特征表示性能被應用到領域適應問題中。深度方法中方法通常通過特征對齊和對抗學習機制來重建源和目標域的特征表示。文獻[10，24]在深度網絡中加入MMD 差異結構或者高階統計結構消除領域間特征差異，實現不同域之間的特征對齊。利用對抗策略可以生成混淆鑒別器和生成器的特征[11-13]，消除域間數據分布差異，同時得到域無關的特征表示以提高信息遷移的性能。

領域適應過程中的特征變換可能會引發特征空間的拉伸或擠壓，從而導致判別信息的損失。為了保留源和目標域中的類別判別信息，文獻[14，16]引入類散度度量來提升投影空間中同類樣本的類內緊致度和類別邊界的分離度。文獻[15]首先在源和目標領域分別通過監督方法和無監督方法學習到各自的判別表征，然后實施類別對齊以求解域不變特征表示。文獻[17-18]利用圖嵌入建立判別遷移特征并進行跨域特征對齊，使相同類別的樣本在重構后的結構表達上更緊湊。文獻[25]設計了一種放射狀的結構將特征按類別在不同的方向進行展開，通過迭代更新讓特征變得具有判別性。

另一類方法[19-22]在領域適應過程中對數據局部特征進行了保持。文獻[19]利用樣本的K近鄰刻畫局部結構，在目標優化公式中對局部流形的一致性進行保持。文獻[20]利用流行嵌入同時在幾何上和統計上進行域對齊，同時保留樣本的局部結構信息。文獻[21]通過圖模型在多個源數據上學習到本地化的結構信息并學習目標域的低維嵌入。文獻[22]在對抗網絡中設計了樣本間的結構信息，學習到域無關且具有局部結構保持的特征表示。

不同于現有方法，本文將領域全局分布適配、判別保持和局部結構保持納入到同一特征學習框架中進行聯合優化，同時對類別保持和局部保持進行加強，以實現有效的領域知識遷移。

2 方法

2.1 問題定義

領域適應方法常被用來解決分布不一致的分類學習問題，其目標是學習領域間共同的一個低維特征嵌入表示Ah∈?m×k,得到Xs和Xt的低維嵌入表示,其中z=Ahx∈?k(k?m)。一般來說，通過對嵌入過程實施MMD約束，使得嵌入空間中的Zs和Zt的邊緣分布與條件分布趨于一致，進而能夠利用傳統分類器進行分類任務的學習。

2.2 域分布差異度量

由于源域和目標域數據分布不同，領域適配的首要任務是進行分布差異縮減。為避免對分布參數進行估計，文獻[26-27]利用使用經典的最大均值差異方法對領域分布距離進行度量。

公式（1）將原始空間中的樣本Xs和Xt投影到公共空間中進行均值對齊，從而消除邊緣分布偏差。顯然，公式（1）通過全局分布刻畫域間差異度量，認為所有樣本對領域分布差異度量的貢獻度一致。但全局方法具有局限性，無法揭示數據的內在局部流行。為了反映樣本分布的局部差異對領域適應的影響，設計分布差異權重wa(i)用于描述樣本xi對領域差異的貢獻度，wa(i)定義為：

結合分布差異權重wa(i)，本文設計新的領域邊緣分布差異度量為：

其中，was(i)和wat(j)分別是源域和目標域的樣本差異權重。為了更好地保留各域內樣本的內在結構，使用獨立的轉換矩陣As∈?m×k和At∈?m×k將源域和目標域數據進行投影轉換。

將源域和目標域的分布差異權重矩陣分別擴展如下：

M0中，1s和1t分別是長度為ns和nt的全1向量。

為了進一步消除領域分布差異，除了縮小領域邊緣分布的距離，還需考慮縮小領域間條件分布的距離。引入樣本分布差異權重來描述類別c中樣本xi對領域間條件分布差異的影響，定義如下：

其中，Mc為類別條件分布MMD矩陣，定義為：

聯合公式（6）和（12），構造基于領域分布差異度量為：

2.3 類別判別度量

為實現領域間分布對齊而進行的特征變換可能會扭曲類別結構和數據結構，從而影響目標分類器的判別表征。為此，對嵌入過程進行判別信息的約束，引入類內散度和類間散度來提升領域適應效果。此外，對數據的局部結構進行保持，也是一個重要的任務。不同于一般領域適應方法中將局部結構作為獨立的正則化項進行優化的過程，本文將類別判別結構和樣本局部分布結構結合起來。受文獻[29]的啟發，設計了適用于領域適應的基于差異權重的類內散度和類間散度。差異權重的構造來自于樣本的局部分布結構，采用成對點距的指數距離來進行計算，類內散度和類間散度則用于描述類別的內外結構信息。這種設計結合了線性判別分析（LDA）和局部結構嵌入（LLE）的特點，在領域適應的特征變換過程中能夠同時進行判別信息的保持和數據局部特征的保持。

2.3.1 類內散度

源域內類別c的類內散度可以重寫為：

源域總體類內散度定義為：

同樣，目標域類內散度可定義為：

綜上，總體類內散度可定義為：

其中，Sw=diag(Ss,w,St,w) 為總體類內散度矩陣。

2.3.2 類間散度

令Qcs,b為源域中類別c的類間散度度量，定義為：

對公式（23）的直觀理解為，類別c在原始空間中與樣本中心的距離越大，越小，通過最大化公式（23）可以使得嵌入空間中對應的類別數據遠離中心，類別之間形成更加明顯的界限。

進一步將散度矩陣（23）重寫為：

源域的總體類間散度定義為：

同樣，定義目標域的類間散度為：

令Sb=diag(Ss,b,St,b)，總體類間散度定義為：

2.4 子空間差異

DADD 利用不同的轉換矩陣As和At對源域和目標域數據進行獨立的投影變換，因而還存在投影子空間的差異，與文獻[23]類似，定義子空間差異為：

2.5 目標函數

綜合上述分析，為了獲取最優的特征變換，需要同時最小化領域數據分布距離、最小化類內散度、最小化嵌入空間距離和最大化類間散度，聯合公式（14）、（22）、（29）和（30）可得總體優化函數為：

其中，α,β和λ是正則化參數，用于控制模型的復雜度。注意到優化目標與A的尺度縮放無關，可將公式（31）重寫為（32）：

公式（32）是一個帶約束的二次規劃問題，顯然，可以通過拉格朗日乘數法求解。定義拉格朗日乘子Φ=diag(θ1,θ2,…,θn)，得到公式（32）的拉格朗日函數為：

令?L(A)/?A=0，得到方程（33）：

對方程（34）進行廣義特征值分解，由前k個最小特征值對應的特征向量構成轉換矩陣A。最后得到源和目標域的轉換矩陣分別為As=A(:,1:k)和At=A(:,k+1:end)。

DADD算法：

輸入：源域數據{Xs,Ys}；目標域數據Xt；迭代次數T；嵌入空間維度k；尺度參數t；正則化參數α,β和λ。

輸出：目標域數據標簽Yt。

（1）構建矩陣M,Sw,Sb和N；

（2）令n=1；

（3）對公式（34）進行特征值分解，由前k個最小特征值對應的特征向量構造轉換矩陣A。計算As=A(:,1:k)和At=A(:,k+1:end)；

（4）將Xs和Xt分別通過As和At進行投影轉換，得到Zs和Zt；

（5）在數據集{Zs,Ys}上訓練分類器f，利用f對Zt進行分類并更新目標數據的標記；

（6）根據{Xs,Ys}和{Xt,}更新矩陣M,Sw和Sb；

（7）n=n+1，當n

（8）返回目標數據的標記Ys。

2.6 算法復雜度分析

對DADD進行算法復雜度分析。步驟1和步驟6中構建矩陣Sw和Sb的時間復雜度均為O(TC(ns+nt)2)，構建矩陣M的時間復雜度為O(T(C+1)(ns+nt)2)；步驟3中特征值分解的時間復雜度為O(Tkm2)；其他步驟的時間復雜度為O(Tm(ns+nt))。綜上，算法DADD的總體時間復雜度為O(T(3C+1)(ns+nt)2+Tkm2+Tm(ns+nt))。

3 實驗結果及分析

3.1 數據集

本文將在4 個公開數據集上構造遷移任務并展開實驗對比分析。

Office+Caltech256數據集。Office數據集包含了三種不同途徑收集的真實圖像，分別為Webcam（使用低分辨率攝像頭拍攝的圖像），DSLR（使用高分辨率攝像頭拍攝的圖像）以及Amazon（從在線交易網站下載的圖像）。Office 數據集包含31 個類別共4 652 幅圖像。Caltech是另外一個真實物體圖像數據，共包含256個類別和30 607 幅圖像數據。實驗中使用了兩種不同的特征處理方式（SURF和Decaf）對圖像進行特征抽取，形成兩組不同的數據集，基于每組數據集可分別構造出12個遷移學習任務，A →W,A →D,A →C,…,D →W。

MNIST+USPS數據集。MNIST是一個手寫體數字的圖片數據集，包含了250 個不同人手寫的數字圖片，共10 類字符，圖像大小為28×28，訓練集和測試集大小分別為60 000和10 000。USPS是另外一個手寫體數據集，共10類字符，圖像大小為16×16，訓練集和測試集大小分別為7 291和2 007。與文獻[10]類似，從MNIST和USPS 中分別隨機抽取2 000 幅和1 800 幅圖像，構造MNIST →USPS和USPS →MNIST兩個遷移學習任務。

COIL20 數據集。數據集包含20 類物體共1 440 張灰度圖像。每一類物體按照旋轉角度每隔5°拍攝一幅圖像，共拍攝72 張圖像。圖像分辨率為32×32，灰度值為0～256。數據集包含兩個子集，第一個子數據集COIL1包含了角度[0，85]以及[180，265]的圖片，第二個子數據集COIL2 包含了角度[90，175]以及[270，355]的圖片。因此，COIL1和COIL2具有不同的數據分布。基于COIL20數據集構造兩個遷移任務，分別為CO1 →CO2和CO2 →CO1。

各數據集的樣本統計數據如表1所示。

表1 實驗數據集Table 1 Experiment dataset

3.2 實驗設置

為分析DADD算法性能，將1NN、SVM、TCA[30]、JDA[27]、GFK[31]、CORAL[32]、DICD[14]、JGSA[23]和SPDA[33]作為對比算法。1NN 和SVM 是傳統分類算法，其余為領域適應學習算法。

實驗中，算法1NN 和SVM 首先在源數據上進行模型訓練，然后將學習到的分類模型應用到目標數據中執行分類任務。TCA、JDA、GFK、CORAL、DICD、JGSA和SPDA等方法首先特征變換空間，然后在目標空間中使用分類器學習模型并對目標數據進行分類。公平起見，基礎分類器均采用1NN算法。算法TCA、JDA、GFK、CORAL、DICD、JGSA 和SPDA 算法的參數采用對應論文中的最佳參數來進行設置。實驗對比環節發現，算法DADD 可以在一個較廣泛的參數范圍內取得穩定分類精度效果，最終可將參數設置為：T=10,t=300,β=0.1,λ=0.1；針對四個不同的數據集Office+Caltech（SURF）、COIL20、MNIST+USPS、Office+Caltech（Decaf），k分別設置為20、10、10 和20，α分別設置為0.5、0.1、0.05 和0.1。采用分類精度作為目標領域數據分類結果的評價指標，定義分類精度為：

其中，f(x)為目標分類器預測未標記目標領域數據的結果，y(x)為樣本的真實標記。

3.3 實驗結果分析

表2 至表5 為DADD 與對比算法在4 組數據集Office+Caltech（SURF）、COIL20、MNIST+USPS和Office+Caltech（DeCaf）共28 個遷移任務上的分類精度對比結果，分類結果數值越高效果越好。由表2 至表5 的結果分析可得出以下結論：

表2 數據集Office+Caltech（SURF）上的分類精度對比Table 2 Classification accuracy comparison on dataset Office+Caltech（SURF） 單位：%

表3 數據集COIL20上的分類精度對比Table 3 Classification accuracy comparison on dataset COIL20 單位：%

表4 數據集MNIST+USPS上的分類精度對比Table 4 Classification accuracy comparison on dataset MNIST+USPS 單位：%

表5 數據集Office+Caltech（DeCaf）上的分類精度對比Table 5 Classification accuracy comparison on dataset Office+Caltech（DeCaf） 單位：%

（1）從整體上看，DADD 在Office+Caltech（SURF）、COIL20、USPS+MNIST、Office+Caltech（DeCaf）4 個數據集大部分跨領域分類任務的精度上均優于其他對比的算法。DADD 在所有任務上的平均分類精度為73.66%，取得了所有對比算法中最好的平均分類性能。

（2）傳統算法1NN 和SVM 在所有數據集上的總體平均分類精度分別為53.19%和57.12%，DADD 相對于1NN和SVM分別提升了38%和29%。算法1NN和SVM由于沒有考慮領域間分布差異的問題，因而在跨領域數據分類中取得較差的效果，而領域適應算法更適合于數據分布不一致的跨領域分類任務。

（3）領域適應算法TCA、JDA和GFK求解域間公共特征變換來縮減領域差異。TCA和JDA將源數據和目標數據映射到公共的特征空間并對齊數據中心，GFK求解基于核方法的子空間對齊，但三者僅考慮了全局結構的對齊，由此產生的特征變換會損壞原始空間的結構，因而它們都未能在所有分類任務上取得最佳效果。

（4）值得注意的是，在部分跨領域分類任務上，如算法CORAL 在任務C→A（SURF）上、算法DICD 在任務D→C（SURF）上、算法JGSA 在任務W→D（SURF）上都取得了相應任務中的最好結果，這表明領域適應過程中融入判別保持或者局部保持能夠提升知識遷移性能。但單一的判別保持或者局部保持并不足夠。由于CORAL保留了數據的局部特征但忽略了判別信息的保持，而DICD和JGSA在特征變換中融入了判別表征約束但忽略了數據的局部幾何結構保持，因而未能在整體分類任務的性能上取得最佳效果。

（5）SPDA 在4 個數據集上的總體平均分類精度為72.40%，獲得了總體平均第二的分類性能。DADD在所有任務上的平均分類精度相比SPDA提升了2%。SPDA和DADD 相對于CORAL、DICD 和JGSA 等方法，在分類精度上有了進一步提升，這表明領域適應過程中的結構保持，特別是判別結構和局部結構的保持十分關鍵。然而，SPDA對源和目標域數據使用相同的特征變換矩陣，因而在判別保持和局部保持上并不充分。不同的是，DADD 實施了局部分布差異和判別分析的聯合優化，同時針對源和目標域使用不同的轉換矩陣，加強模型在映射子空間中形成同類相近異類遠離的趨勢，有利于生成對目標域數據的清晰判別結構，提升從源到目標域的判別遷移效果。

此外，注意到在部分數據集上，DADD相較于SPDA的提升有限，如在數據集Office+Caltech（DeCaf）上DADD的平均分類性能與SPDA幾乎一致。由于Office+Caltech（DeCaf）數據集的特征表示是一種較為魯棒的深度特征表達，這使得源和目標域的特征空間差異較少，獨立特征轉換矩陣的發揮的作用較小。盡管如此，DADD 在Office+Caltech（DeCaf）上的12 個任務中仍有超過一半的任務的分類性能超越了SPDA，這表明DADD相對于SPDA仍然具有優勢。

（6）上述分析表明，整體分布適配是域適應的基礎，這是由域間數據分布差異決定的。然而整體分布適配破壞了類別結構和數據結構，這使得在領域適應過程中關注判別保持和局部保持尤為重要。DADD 在所比較的任務上取得優于其他方法結果的原因在于綜合性地考慮了領域數據分布的全局差異、數據分布的局部差異、類別判別的先驗信息以及轉換子空間的差異，從而能夠有效進行領域適配，實現源到目標域的信息遷移。

3.4 有效性分析

為了進一步分析判別保持、局部保持及獨立的特征轉換矩陣對DADD的影響，本節在幾組跨領域分類任務上進行了消融實驗。

（1）算法V1，令wa、wd、ww和wb表示的相關參數取值為1，且As=At，忽略樣本分布差異及各域特征轉換空間的差異，用于驗證使用判別信息是否能對領域適應產生正面的影響；

（2）算法V2，令As=At，使用判別分析和分布差異約束進行領域適應過程的判別保持和局部保持，用于驗證判別保持和局部保持的聯合優化是否能提升領域適應的效果；

（3）算法V3，在聯合判別分析和局部分布差異的基礎上，使用獨立的異構特征轉換矩陣As和At分別對源和目標域進行特征變換，用于驗證異構特征轉換矩陣是否能夠進一步加強領域適應效果。

表6 展示了變種算法與經典領域適應算法JDA 在6 組跨域分類任務上的分類精度結果對比。算法JDA將源和目標域的數據映射到公共的特征空間并對齊數據中心，是典型的基于全局結構對齊的方法。算法V1和算法JDA的結果對比顯示，融合判別分析與分布適配的結果要優于僅進行分布適配的領域適應結果，這表明判別保持有利于提升領域適應的效果。此外，算法V2的結果整體上優于V1，這表明聯合判別保持和局部保持對領域適應能進一步產生積極的影響。進一步，算法V3，即本文提出的DADD，在聯合判別分析和局部結構保持的基礎上，使用異構特征轉換矩陣對判別分析和局部保持進行加強，其結果優于或等于算法V1和V2的結果。分析顯示，在領域適應過程中進行判別保持、局部結構保持尤其是針對兩者的聯合優化和加強能夠促進領域適應效果，本文提出的聯合優化方法能有效提升這一性能。總體來說，判別保持、局部保持和獨立的特征轉換矩陣都是DADD的重要組成部分。

表6 DADD變種算法的分類精度比較Table 6 Classification accuracy comparison of different variants of DADD 單位：%

3.5 參數分析

為了考察DADD 與迭代次數、嵌入空間維度、伸縮參數的關系以及對正則化參數的敏感性，隨機選擇了4組遷移任務并繪制了DADD 使用不同參數情況下在這些任務上運行的結果。

（1）DADD 采用迭代的方式求解目標特征轉換矩陣，在求解過程中將迭代次數范圍設置為[0，20]。圖2為迭代次數和DADD精度的關系。由圖2可見，隨著迭代次數的增加，算法精度總體不斷提升并趨于穩定，最終可以將迭代次數設置為T=10。

圖2 DADD分類精度與迭代次數的關系Fig.2 Classification accuracy of DADD w.r.t iteration steps

（2）圖3 繪制了嵌入空間維度與DADD 精度的關系，根據繪制的精度曲線可將實驗中的嵌入空間維度范圍設置為k∈[8,60]。

圖3 DADD分類精度與嵌入空間維度的關系Fig.3 Classification accuracy of DADD w.r.t dimension of embeded space

（3）圖4繪制了參數t與DADD精度的關系，由圖4可見DADD對t的取值較為不敏感。

圖4 DADD分類精度與t 的關系Fig.4 Classification accuracy of DADD w.r.t parameter t

（4）圖5（a）～（c）繪制了正則化參數與DADD 精度的關系，可見DADD敏感于參數α、β和λ，但在一定范圍內，DADD具有較優的精度值且受參數α、β和λ變化的影響較小。根據圖5所示，可確定正則化參數最佳取值范圍分別為α∈[0.000 5,0.1],β∈[0.05,0.5],λ∈[0.001,0.1]。

圖5 DADD分類精度與正則化參數的關系Fig.5 Classification accuracy of DADD w.r.t regularization paramters

3.6 運行時間分析

本節對算法DADD的運行時間進行實驗分析，并分別選取綜合平均分類性能第二和第三的算法DICD 和算法SPDA進行比較。實驗環境的硬件設置為CPU Intel Core i5 2.0 GHz，內存16 GB。從表7中可以看出，相對來說，DICD具有較高的計算效率，這是由于DICD僅考慮了部分領域適應相關的約束及其計算。SPDA 使用EM方式在每次迭代中對多個參數進行交互優化，具有較高的計算時間復雜度。總體來說，DADD在獲得最優分類性能的同時具備可以接受的計算時間復雜度。

表7 DICD、SPDA和DADD運行時間比較Table 7 Running time comparison of DICD，SPDA and DADD 單位：s

4 結束語

本文提出一種領域適應學習方法DADD，通過設計新的分布差異度量和類結構判別度量，將域全局差異信息、局部差異信息、類別判別信息及子空間差異信息納入到同一個框架中。所提出的方法能夠在特征變換過程中實現領域的整體分布適配，同時避免類別結構和樣本局部結構遭到破壞，從而能夠將源域數據更有效的用于目標域數據的分類任務中。在多個跨領域的分類任務上的實驗結果表明，所提出的方法較對比的方法具有一定的優越性。DADD方法還存在一定的不足，一是算法的運行效率不夠高，存在進一步優化的空間，二是存在多個敏感參數，如何自動尋找最佳的參數設置也是下一步的主要工作。