數據的偏見

uck Dormehl在《算法時代》一書中講了一個名為羅伯特·摩西的設計者，在二十世紀20至70年代，為紐約設計并修建了多處道路、公園和橋梁。在羅伯特·摩西的設計下，進入公園前的橋梁特別矮，只有2.7米左右，這就使得那些買得起轎車的有錢富人才能進入公園，而乘坐公共汽車的窮人（其中有很多是黑人）只能繞道而行。這在當時是一種有代表性的觀念，現在來看，則是難以容忍的偏見——這種偏見并不是訴諸文字法律，而是嵌入在城市的設計中了。

在數據的時代，數據的采集者和算法的設計人員很可能存在一些他們自己都意識不到的偏見，這些偏見會影響他們對數據采集的重點，并隱蔽地藏在他們的代碼中，最終產生有偏見的結果。

舉個例子，我們在與某銀行就企業貸款的貸后管理進行合作時，注意到某個特定籍貫人員開設的企業存在大量貸款償還延期甚至惡意支付的現象。在我們把數據分析的結果反饋給銀行的同事后，他們針對主要自然人股東中有相應籍貫或者法人股東注冊在該地區的企業，添加了新的需要提供的盡調內容（更多的數據），并且人為收緊了放貸。這個結果是我們分析人員不可控的，也是一個典型的頭痛醫頭腳痛醫腳的方法，我個人認為不會產生一個解決方案，而只是讓數據和模型變得復雜和丑陋。很可能這個地區之所以出現高風險，是該地區特定經濟形勢造成的，例如鄂爾多斯等地曾因能源價格下降發生過系統性經濟風險，溫州商人的現金流曾因非法集資遭受整體性的影響，等形勢過去后，問題就會緩解甚至自動消失。但是等到那個時候，銀行的這一批技術人員很可能已經離職或者升職，下一批同事也許都不能理解這些與眾不同的數據采集和風控模型背后的邏輯了，所以這個針對特定地區的風控偏見，可能會一直持續下去。

公共安全的管理也會存在類似問題。比如有豐富經驗的公安人員，對于什么樣的人會涉毒、什么樣的人有暴力犯罪的危險，都有自己的一套判斷方法，這和他個人曾經成功的經歷以及他自身的性格特點有關。因此，一個用來管理高風險人群并進行提前預警的系統，如果確認第一批數據采集的方向和內容，那么咨詢A專家和B專家，得到的結果一般是不同的。

讓我們不安的是，這種因為系統設計人員帶來的初始偏見，有可能隨著數據的積累和算法的運轉慢慢強化放大。舉個例子，如果現在我們有一套抓小偷的工具，而能夠抓到的小偷只是真實小偷總數的一小部分。如果說中國的小偷主要來自于兩個地方：A地和B地，大約各占一半。設計這個系統的人以前抓過的小偷大部分來自A地，于是，算法一開始就會把是否是A地人作為一個重要的參考特征，從而更多提醒警察關注A地人——這當然會讓更多A地小偷落網。于是，這就進一步證明了把A地人作為重點監控對象是正確的，因此這個特征的權重會越來越大，算法中A地小偷的樣本數占比也會越來越大。由于最早在這個系統做驗證時，所有的數據都有一定偏差，于是偏見就積累并且被放大了。有的讀者會問：如果不是把“是否是A地人”作為特征，而是把戶籍作為一個特征，并且引入自適應的機器學習機制，這個問題是否就會得到解決呢？但是，真實情況比設計要復雜很多，設計人員在選擇特征的時候，往往會自以為做出了顯著正確的選擇，而事實上是受限于初始數據和個人經驗的局限性，而賦予了一個有偏見系統的第一推動力。

即便完全去掉個人經驗的影響，看起來中立的技術本身，也可能帶來偏見。比如在美國，面部識別技術對于男性的識別率高于女性，對于非白種人的識別率高于白種人，這就意味著一個犯罪現場出現過的白人女性，被識別出來的概率要小于非洲裔的男性。盡管算法不是有意為之，但是只要不是100%完美，總會存在自身的偏差，這些偏差投射在社會中，就可能成為算法導致的偏見。這種偏差甚至在一個人出生之前就可能遇到，因為隨著B型超聲波技術的發展和普及，同樣嚴重等級的出生缺陷，凡是能從B超中檢查出來的，就很可能被人工流產，而不能被B超檢查出來的，“活著生出來”的概率就大得多——盡管這不一定是一件幸事。

我從2007年開始，就一直做個性化推薦方面的算法研究。個性化推薦系統的算法本身是沒有什么偏見可言的，無非是根據消費者以前的購買記錄，來預測他最可能購買的東西，從而給他推薦。如果這位消費者是一個窮人，以前買過的東西都是相應品類中單價最低的，那么他在系統畫像中有一個名為“價格敏感程度”的維度，分數會頂呱呱得高！于是乎，當他搜索一個關鍵詞時，從前到后翻十頁，看到的都是為他這樣的窮人量身定做的便宜貨。如果說LV的店面上掛一個橫幅，寫著“窮人與狗不得入內”，那肯定會被砸了——因為這是不得了的偏見和歧視，但是在互聯網上，數據和算法帶來的偏見卻很隱蔽，而且，從綜合的算法效果來說，還很正確！

當我們積累了越來越多的數據，我們的喜好就會被刻畫得越來越清晰，于是乎算法會給出越來越精確符合我們需要的服務。逐漸地，我們會被計算機封鎖在一個狹窄的空間里面，因為我們所讀之書都符合以前的興趣，所試的衣服都符合以前的審美，所購買的商品都符合以前的經濟水平。這很可能也是一種無形的偏見，而且人機互動互為增益——不僅是偏見，還是個性化的偏見。（作者為電子科技大學互聯網科學中心主任，教授）