有關數據預處理的探討

梁曉佳+周菊玲

摘 要 本文對居中型和區間型兩種適度指標進行論證和例證，考察了這兩種數據處理方法對主成分和因子分析這種綜合評價結果的影響。另外，本文用文獻①“初始化”思想對極差法進行分析，得到結論，即處理后數據的協方差矩陣不僅消除了指標量綱和數量級的影響，還能包含原始數據的全部信息。

關鍵詞 數據處理 同趨勢化 標準化 變異

中圖分類號：TP391 文獻標識碼：A

The Discussion of Data Preprocessing

LIANG Xiaojia， ZHOU Juling

（Department of Mathematical sciences， Xinjiang Normal University， Urumqi， Xinjiang 830054）

Abstract Argument and illustration of some kinds of appropriate indicators is done in this paper， such as the indicators of medium and interval. And the paper looks at the effect of the comprehensive evaluation results from the two data processing method on principal components analysis and factor analysis. In addition， this article analyses the process according to the method of "Initialization" in the literature [1]， then come to a conclusion of which the data covariance matrix after processing not only eliminate the influence of index dimension and order of magnitude， and also can contain all the information in the raw data.

Key words data processing； communalities； standardized； variation

0 引言

綜合評價是依據被評價對象的過去或當前一段時間的相關信息，對被評價對象進行客觀、公正、合理的全面評價。由于來自實際的指標數據可能是各種各樣的，每個評價對象又涉及多個指標，特別是對于不同類型、不同單位、不同數量級的數據存在著不可公度性，所以在一個較復雜的綜合評價問題中，可能同時含有極大型指標、極小型指標、居中型指標和區間型指標.做這樣的綜合評價問題時，必須先將不同類型的數據做一致化處理，即通過一定的數學變換把性質、量綱各異的指標轉化為可以綜合的一個相對數， 即對數據進行標準化。

對于數據的處理，目前很多學者已經進行了多方面的研究，并已獲得了一定成果。例如：韓中庚提出了定性數據指標的量化處理方法；②陳軍才論述了同趨勢化方法對綜合評價的影響，并指出了適用條件；③張立軍、袁能文分析與比較了各種指標一致化與無量綱化方法對綜合評價結果的影響，并對有效性進行測度；④張衛華、趙銘軍找到了一種“合理排序”來進行無量綱化方法的優選；⑤俞立平、潘云濤、武夷山根據選擇標準化方法的三大原則篩選出一種正項指標標準化方法，并提出一種負項指標標準化方法；⑥郭亞軍、易平濤構建了一種復合無量綱化方法——“極標復合法”；⑦賈明輝、華志強提出了一種新的無量綱化方法——初始化法，并討論了這種方法的優勢。

本文研究陳軍才文獻中的同趨勢化方法對主成分和因子分析的影響，欲對另外兩種適度指標（居中型和區間型）進行論證和例證，考察這兩種數據處理方法對綜合評價結果的影響。另外，本文用賈明輝文獻中 “初始化”思想對極差法進行分析，考察極差法的性質。

1 兩種同趨勢化方法對主成分和因子分析的影響

這里的同趨勢化方法均取自韓中庚文獻中的方法，探求使用此方法處理后的數據間發生的變化。

1.1 將居中型化為極大型

其中，、分別為的極大值和極小值。

命題：通過這種變換后，數據間正負相關關系的變化不確定。

證明：不妨設為其他指標，為居中型指標。

樣本相關系數 = 。

設 = 0，因為>0，>0，當 = 0時， = 。

只需證與·是否同號。即原來負相關的關系，可能變為正相關，也可能負相關，也可能變換前后關系不確定。

∵· = ·（）

∴簡化為只需證與·（）是否同號。

若變換前后關系不定，只要舉例求證<0時，判斷·（）（Department of Mathematical sciences， Xinjiang Normal University， Urumqi， Xinjiang 830054）與 0的大小關系即可。

例證：樣本數據為{（-1，1），（-2，2），（-3，3），（6，1）}時：

= -8<0，·（）= -8<0，兩者相等；

樣本數據為{（-1，1），（-2，2），（-3，3），（5，1）}時：

= -9<0，·（）= -8<0，兩者同號；

樣本數據為{（-1，0），（8，0），（2，-1）}時：

= -2<0，·（）= 7<0，兩者異號。

這里只驗證第一部分，同理可證第二部分。endprint

運用這種居中型向極大型的變換方法，變換前后正負相關關系不確定。

命題成立。

1.2 將區間型化為極大型

對于區間型指標[，]，

其中 = {， }，、分別為的極大值和極小值。

命題：運用這種區間型向極大型的變換方法，變換前后正負相關關系不確定。

證明：這里只驗證第一部分，不妨設>。

這樣只需證與（ ）是否同號即可。

∵·（ ） = ·

只需證與·（）是否同號。

故同理，可以例證說明<0時，·（）可能大于0，也可能小于0，即說明了經過此方法的變換后，居中指標與其他指標之間的正負相關關系仍不確定。命題成立。

綜上，得到以下結論：經過對上述兩種適度指標的分析：（1）這兩種極大型變換會將原指標均變為非負數；（2）這兩種極大型變換對極大型指標與其他指標之間的相關關系的改變不能確定。

2 極差法的優良性質

設變換前第個評價對象第個指標為（ = 1，2，…，； = 1，2，…，），各指標的相關系數為，極差變換后第個評價對象第個指標為（ = 1，2，…，； = 1，2，…，），利用“極差化”方法來消除量綱后，各指標的相關系數為，令 = {，，…，}， = {，，…，}，有 = ， [0，1]。

記（）的協方差矩陣為 = 。

∵ = （）（），

= = = [（）] = ，

類似地 = ，

，

其中為原始數據（）的協方差。

特別的，當 = 時， = 。

因此，使用“極差化”方法來消除量綱得到的新數據的協方差矩陣主對角元素反映出了各指標變異程度的差異信息。

然后有：。

這就證明了“極差化方法”的處理不改變各指標間的相關系數，保留了原始數據間的差異。

所以，“極差化”處理后數據的協方差矩陣不僅消除了指標量綱和數量級的影響，還能包含原始數據的全部信息。因此“初始化”“極差化”在數據標準化中是非常合理的方法。

3 小結

對數據進行處理時，采用不同的方法會直接影響綜合評價結果與排序的準確性。本文就兩種同趨勢化方法對綜合評價方法的影響，以及極差法這種無量綱化方法的一些優良性質進行探討，發現這兩種同趨勢化方法對綜合評價方法的影響是不確定的，而“極差化”也同樣具有“初始化方法”的優勢，即處理后數據的協方差矩陣不僅消除了指標量綱和數量級的影響，還能包含原始數據的全部信息。關于文中同趨勢化方法對評價影響的不確定性，必須說明的是其中的例子只是為了求證變換前后相關關系的不確定性、以及對最終評價結果的影響。這種不確定往往與樣本數據有關。

但是值得一提的是，綜合評價是評價者的主觀行為，在每一個環節上都體現著評價者主觀的意志和導向，所以在實際問題中需要評價者根據具體情況選擇數據處理方法，處理方法應盡可能地簡潔并具有可操作性。總之，評價者應遵循綜合評價的理論研究始終為綜合評價的實踐活動服務的原則。

基金項目：2013-2014年度新疆師范大學研究生科技創新項目《運用統計方法實現S-P法的改進》.

注釋

① 賈明輝，華志強.主成分分析數據處理方法探討[J]. 2008.7.23（4）：379-381.

② 韓中庚.數學建模方法及其應用（第二版）[M].北京：高等教育出版社，2009（7）.

③ 陳軍才.主成分和因子分析中指標同趨勢化方法探討[J].統計與信息論壇，2005.3.20（2）：19-23.

④ 張立軍，袁能文.線性綜合評價模型中指標標準化方法的比較與選擇[J].統計與信息論壇，2010.8.25（8）：10-15.

⑤ 張衛華，趙銘軍.指標無量綱化方法對綜合評價結果可靠性的影響及其實證分析[J].統計與信息論壇，2005.5.20（3）：33-36.

⑥ 俞立平，潘云濤.武夷山 學術期刊綜合評價數據標準化方法研究[J].圖書情報工作，2009.6. 53（53）：136-139.

⑦ 郭亞軍，易平濤.線性無量綱化方法的性質分析[J].統計研究，2008.2.25（2）：93-100.endprint