高級生成對抗網絡架構在稀疏數據集中的數據填充應用

摘要：醫療、金融和社交網絡等許多領域的數據集通常存在大量的缺失值，這給數據分析和模型訓練帶來了巨大的挑戰。文章提出一種基于高級生成對抗網絡（Generative Adversarial Networks，GAN）的架構，用于稀疏數據集中的數據填充任務。該架構通過結合生成對抗網絡的強大生成能力和深度學習技術，旨在更準確地填補數據集中的缺失值，從而提升數據質量和后續分析的準確性。實驗結果表明，該框架的填補平均準確率約為85%，而相較于均值填補方法，其準確率提升約10.2百分點。在稀疏數據集上均取得顯著的提升效果，為稀疏數據處理提供了新的解決方案。

關鍵詞：生成對抗網絡（GAN）;數據填充;稀疏數據集

中圖分類號：TP399 文獻標志碼：A

0 引言（Introduction）

在當今數據驅動的時代，數據的質量對于機器學習和數據分析任務的成敗有著至關重要的影響。然而在實際應用中，數據分析經常會遇到數據稀疏的問題，即數據集中存在大量的缺失值或未觀測到的數據。這種情況在醫療、社交及金融數據等領域尤為常見，嚴重影響數據分析和模型訓練的準確性。

為解決數據稀疏問題，傳統的數據填充方法如均值填充、中位數填充或最近鄰填充[1-2]等，雖然簡單易行，但是無法捕捉到數據的復雜分布和潛在結構，導致填充效果不盡如人意[3]。近年來，隨著深度學習技術的飛速發展，尤其是生成對抗網絡（Generative Adversarial Networks，GAN）的出現，為數據填充提供了新的思路。為了提高數據填充的準確性，在傳統GAN 的基礎上，結合數據掩碼（Masking）機制和判別器輔助任務，生成對抗填充網絡（Generative Adversarial Imputation" Networks，GAIN）被提出。

1 方法論（Methodology）

1.1 數據填充問題的背景

在許多實際應用場景中，收集到的數據常常存在缺失，這對后續的數據分析和模型訓練造成了不利的影響。處理稀疏數據集中的缺失值是一項關鍵挑戰，傳統的方法如均值填充、插值法和最近鄰填充等，在應對高維數據和復雜模式時效果有限[4]。為解決這一難題，生成對抗網絡（Generative Adversarial Networks，GAN）提供了一種強有力的工具，可以通過生成樣本來填補缺失數據。

通過這種方式，判別器不僅能評估數據的真實性，還能評估數據的完整性，從而更精確地指導生成器提高生成數據的質量。這種方法能夠有效地增強生成器在填補缺失數據方面的性能。

1.4 其他數據填充模型

除了生成對抗網絡，變分自編碼器（Variational Autoencoder，VAE）也值得深入探討，它通過巧妙地學習數據的潛在分布，實現了高效的數據生成[5]。自回歸模型（Autoregressive Model）則通過精確建模數據的條件分布，為缺失值的填充提供一種有效的方法[6]。此外，基于圖的模型（Graph Vbased Model）亦不容忽視，它充分利用數據的圖結構特性，實現了精準的數據填充[7]。這些模型各具特色，在不同的數據集和應用場景下各有優勢，因此它們不僅可以作為生成對抗網絡的有益補充，而且還提供了豐富的對比實驗材料，有助于更全面地評估不同數據填充方法的性能。

1.5 模型優化與參數調整

為了提高模型的性能，必須對生成對抗網絡及其變種模型進行細致的參數調整和優化。在這一過程中，對學習率的調整顯得尤為重要，可以采用學習率調度器或自適應學習率優化器（如廣泛使用的Adam優化器）對學習步長進行動態調整，確保訓練過程的穩定性和收斂速度。此外，為了防止模型過擬合，研究人員廣泛應用了正則化技術，如L2正則化、Dropout等，它們能夠有效地提升模型的泛化性能[8]。同時，數據增強技術作為一種強有力的手段，通過生成更多的訓練樣本，進一步提升了數據的多樣性，從而進一步增強了模型的泛化能力。這些優化方法和技術的綜合運用，對于提升GAN及其變種模型的性能至關重要。

1.6 實驗環境與工具

為全面驗證生成對抗填充網絡在稀疏數據集上的優越性能，本研究在統一且配備高性能硬件的計算環境中進行了詳盡的實驗。選擇Python作為編程語言，在深度學習框架方面選用TensorFlow和PyTorch。實驗所依賴的硬件環境包括具備CUDA兼容性的NVIDIAGPU，利用并行計算顯著提升了模型訓練的效率;配備了高性能CPU和大容量內存，以應對數據預處理和大規模數據集加載的需求。在軟件環境方面，采用了穩定可靠的Linux操作系統，并配置一系列數據處理和可視化工具，包括NumPy、Pandas、Scikit-learn及Matplotlib等。為確保實驗的可重復性和結果的準確性，本研究遵循了嚴格的實驗步驟：從數據預處理開始，通過清洗、標準化和歸一化等操作準備好數據集;根據方法論構建GAIN模型，并利用優化算法對其進行訓練;在模型評估階段，采用多種評估標準來全面衡量模型的填補效果，并與傳統方法和其他先進模型進行了性能對比。

2 實驗設計與數據集（Experimental design and datasets）

2.1 數據集的選擇與預處理

本研究選用了中國社會經濟調查中的居民收入數據集，該數據集常用于經濟學和社會學研究，具有較高的應用價值和代表性。數據集包含50000個樣本和12個屬性，目標是預測居民的年收入是否超過150000元。居民收入數據集屬性描述如表1所示。

數據預處理是實驗設計的關鍵步驟，它能確保模型高效且準確地處理數據。數據預處理主要包括以下幾個階段。

（1）數據清洗

在實際數據集中，常常存在缺失值、異常值及不一致的數據格式。因此，需要對數據集進行清洗。

①缺失值處理：檢查每個屬性的缺失情況，數據集缺失值統計如表2所示。對于缺失值比例較高的屬性（如職業類別、職業和原籍），保留這些缺失值，用于后續的填補實驗。

②異常值檢測與處理：使用箱線圖和Z分數法檢測數值型屬性中的異常值，對極端值進行適當處理或標記。

③數據一致性檢查：確保類別型屬性的一致性，統一屬性值的命名格式，例如將性別屬性中的“男”和“女”統一為小寫形式。

（2）數據標準化和編碼

為適應模型的輸入要求，需要對數據進行標準化和編碼。

①數值型屬性標準化：對數值型屬性（如年齡、最終權重、受教育年數、資本收益、資本損失、每周工作小時數）進行標準化處理，將數據縮放到均值為0、標準差為1的范圍內。

②類別型屬性編碼：使用獨熱編碼（One-Hot Encoding）將類別型屬性轉換為數值格式。職業類別屬性獨熱編碼示例如表3所示，獨熱編碼后生成7個二進制屬性。

（3）數據集劃分

為全面評估模型的性能，將數據集劃分為訓練集、驗證集和測試集。

①訓練集：用于模型訓練，占總數據的60%。

②驗證集：用于調參和模型選擇，占總數據的20%。

③測試集：用于最終模型評估，占總數據的20%。

劃分過程采用隨機抽樣的方法，確保各個子集數據分布的一致性。

（4）數據增強

為進一步提升模型的泛化能力，采用數據增強技術對訓練數據進行擴展。

①噪聲注入：在數值型屬性中添加隨機噪聲，以提高模型的魯棒性。

②類別平衡：對類別不平衡的屬性進行過采樣或欠采樣，以平衡各類別的樣本數量。

通過以上詳細的數據預處理步驟，可以確保數據集的質量和適用性，為后續的實驗設計和模型訓練提供了堅實的基礎。

2.2 實驗設計與實驗組設置

本實驗旨在評估生成對抗填充網絡（GAIN）在填補居民收入數據集中缺失值的有效性。實驗設計包括多個實驗組，以全面分析不同模型和參數設置對數據填補效果的影響。

2.2.1 實驗組設置

為驗證GAIN模型的優越性，設置多個實驗組，每個實驗組對應不同的填補方法和模型配置。具體的實驗組設置如下。

（1）基準組（Baseline）

使用常見的缺失值填補方法，如均值填補（Mean Imputation）和最近鄰填補（K-Nearest Neighbors" Imputation，KNN）。這些方法作為對比基礎。

（2）傳統方法組

①均值填補（Mean Imputation）：用每個屬性的均值填補缺失值。

② 中位數填補（Median Imputation）：用每個屬性的中位數填補缺失值。

③最近鄰填補（KNN Imputation）：使用最近的k 個鄰居的值進行填補。

（3）深度學習方法組

①自編碼器填補（Autoencoder Imputation）：訓練自編碼器模型生成缺失值。

②變分自編碼器填補（Variational Autoencoder，VAE）：使用VAE進行數據填補。

③生成對抗填充網絡，為本實驗的主要方法，使用GAIN 模型進行數據填補。

2.2.2 GAIN模型參數設置

GAIN模型的參數設置如下。

（1）GAIN-1：學習率（Learning Rate）為0.001，批量大小（BatchSize）為64，生成器和判別器的隱藏層神經元數量均為128。

（2）GAIN-2：學習率（Learning Rate）為0.0005，批量大小（BatchSize）為128，生成器和判別器的隱藏層神經元數量均為256。

（3）GAIN-3：學習率（Learning Rate）為0.0001，批量大小（BatchSize）為32，生成器和判別器的隱藏層神經元數量均為64。

2.2.3 實驗步驟

首先，對數據進行預處理，包括數據清洗、標準化和編碼處理，并將數據集劃分為訓練集（60%）、驗證集（20%）和測試集（20%）。其次，在訓練集上對各種模型進行訓練，同時在驗證集上對超參數進行調整，確保結果的穩定性和可靠性，并且對每個實驗組都進行多次實驗[9]。最后，使用均方誤差（MSE）、均絕對誤差（MAE）和填補準確率等評估指標，對不同模型的填補效果進行全面的比較。

通過以上實驗設計與實驗組的設置，本文將全面評估GAIN模型在填補居民收入數據集中缺失值的性能，并與其他傳統和深度學習方法進行性能對比，為實際應用中的數據填補提供有力的理論和實踐支持。

2.3 評估標準與期望結果

為了全面評估生成對抗填充網絡在填補居民收入數據集中缺失值的效果，本研究采用多種評估標準，從不同角度衡量填補數據的質量。具體評估標準和期望結果如下。

2.3.2 期望結果

（1）低MSE和MAE：期望GAIN模型在MSE和MAE兩項評估標準上表現優異，相較于傳統方法（如均值填補、中位數填補、KNN填補）和其他深度學習方法（如自編碼器填補、VAE填補），能夠實現更低的誤差水平。

（2）高填補準確率：期望GAIN模型在類別型屬性的填補準確率上表現出色，顯著高于傳統方法和其他深度學習方法的填補準確率。高準確率表明GAIN模型能有效地捕捉數據的類別分布，并且能準確填補缺失類別。

（3）數據分布一致性：期望GAIN模型填補后的數據在分布上與原始數據的分布保持一致。通過可視化分析發現，填補后的數據應在各個屬性上呈現出與填補前相似的分布特性，以確保數據填補過程的合理性。

（4）魯棒性和泛化能力：期望GAIN模型在不同缺失值比例和不同數據集上的填補效果展現出良好的魯棒性和泛化能力。通過在驗證集和測試集上的多次實驗驗證，確保了模型填補效果的穩定性和一致性。

評估標準期望結果如表4所示。

通過以上評估標準和期望結果的設定，可以全面衡量GAIN模型在居民收入數據集缺失值填補方面的性能表現，并為其在實際應用中的推廣提供理論和實踐支持。

3 結果與分析（Results and analysis）

表5展現了均值填補、中位數填補、KNN填補、自編碼器填補、變分自編碼器VAE和GAIN模型在均方誤差（MSE）、均絕對誤差（MAE）和填補準確率（Imputation Accuracy）3項評估標準上的性能表現與比較結果。

從表5中的數據可以看出，GAIN模型在所有評估標準上均表現優異，具有最低的MSE和MAE以及最高的填補準確率，顯著優于其他傳統方法和深度學習方法的指標數據。

4 討論（Discussion）

本研究通過一系列實驗，評估不同缺失值填補方法在居民收入數據集上的性能表現，重點分析了生成對抗填充網絡（GAIN）的優勢與局限性。

4.1 GAIN模型的優勢

（1）高精度填補效果：GAIN模型在均方誤差（MSE）、均絕對誤差（MAE）和填補準確率等指標上均表現優異，顯著高于傳統填補方法（如均值填補和KNN填補）以及其他深度學習方法（如自編碼器和變分自編碼器）的相關指標數據。這一結果表明，GAIN模型能有效地捕捉數據的復雜模式，并能生成高質量的填補數據。

（2）處理高維數據的能力：GAIN模型能夠處理高維數據且在不同屬性上均表現出色。在處理包含多種類別型和數值型屬性的居民收入數據集時，GAIN模型展現出了較強的魯棒性和適應性。

4.2 GAIN模型的局限性

（1）計算復雜性和訓練時間：GAIN模型的訓練過程需要調節生成器和判別器之間的博弈關系，導致計算開銷較大且訓練時間較長。相比之下，傳統方法（如均值填補）計算簡單、速度較快。因此，在實際應用中，需要根據具體需求在模型精度和計算資源之間做出權衡。

（2）超參數調節：GAIN模型的性能對超參數（如學習率、批量大小、生成器和判別器的結構等）的設置高度敏感，因此選擇合適的超參數組合對于模型性能的提升至關重要，但這也增加了模型調參的復雜性和難度。本研究通過驗證集上的實驗對超參數進行了調整，但需要注意的是，這種調整不能保證在所有的數據集上都取得最佳效果。

（3）對數據分布的依賴：盡管GAIN模型能夠很好地捕捉數據的復雜模式，但是其填補效果依賴于訓練數據的分布。當數據分布發生顯著變化或存在極端值時，GAIN模型的填補效果可能會受到影響。因此，在應用GAIN模型進行數據填補時，需要確保訓練數據具有足夠的代表性和多樣性。

5 結論（Conclusion）

本研究旨在探索生成對抗填充網絡（GAIN）在稀疏數據集中的缺失值填補性能。通過對居民收入數據集進行實驗與分析，驗證GAIN模型在填補缺失值方面的優越性，尤其在均方誤差（MSE）、均絕對誤差（MAE）及填補準確率等評估標準上顯著優于傳統方法和其他深度學習方法。

研究結果表明，GAIN模型不僅能夠生成高質量的填補數據，而且還能夠保持填補前后數據分布的一致性。這一特性在實際應用中尤為重要，特別是對于需要保留數據原始分布特性和復雜模式的場景。盡管GAIN模型在計算復雜性和超參數調節方面面臨一定的挑戰，但是其在處理高維數據和復雜模式時展現出的優勢為其廣泛應用提供了有力支持。

未來的研究可以進一步優化GAIN模型，探索混合填補策略、多任務學習和遷移學習等方法，以提高模型的泛化能力和計算效率。同時，需要在更多實際應用場景中驗證和調整GAIN模型，以確保其在各種數據集和應用環境中的適用性和有效性。

作者簡介：

王碩（1996-），女（漢族），鐵嶺，助教，碩士。研究領域：不完整數據的聚類研究。