重建隱私保障需要讓AI模型快速“忘記你”

李匯

為了在一定程度上重建隱私保障，近期一系列立法舉措（包括歐洲的《通用數據保護條例》以及美國的《加利福尼亞州消費者隱私法》）對于清除個人信息做出了相關規定。但是，要想讓經過訓練的AI模型“忘記你”，傳統的方法，只能是從零開始利用新數據進行重新訓練———整個過程可能耗時數周，且成本相當高昂。

最近新發表的2篇論文，帶來了高效從AI模型中刪除記錄的方法，有望節約巨量能源并真正為合規性帶來保障，一篇來自斯坦福大學，另一篇來自多倫多大學。斯坦福大學計算機科學家、第一篇論文的聯合作者Melody Guan表示，“我們似乎需要一些新的算法，來簡化企業之間的實際合作，確保實現難度不會成為他們違反隱私規定的借口。”

由于關于高效數據刪除的文獻非常有限，因此斯坦福大學的作者們首先對問題做出明確定義，并提出有助于緩解問題的4項設計原則：

第1項為“線性度”：簡單的AI模型只需要對數字進行加法與乘法運算，避免了所謂非線性數學函數的介入，保證步驟分解更加簡單易行；

第2項為“惰性”原則，盡可能推遲計算操作，除非確實需要做出預測；

第3項為“模塊化”：如果可能，盡量以可拆分的形式進行模型訓練，而后組合結果；

第4項為“量化”，即只要平均值能夠鎖定在特定的離散區間之內，則刪除其中對于平均值結果影響不大的數值。

斯坦福大學的研究人員將其中2項原則應用到一種名為K均值聚類的機器學習算法當中。此算法用于將數據點分類為自然聚類，例如用于分析密切相關的種群之間的遺傳性差異。（在UK Biobank醫學數據庫中，該聚類算法已經得到實際應用。而且有部分患者已經向數據庫作者提出通告，要求將自己的記錄從數據庫中刪除。）研究人員利用量化技術開發出一種Q-K均值算法，并立足6套數據集進行了測試，分別對單元格類型、手寫數字、手勢、森林覆蓋率以及聯網設備黑客入侵情況進行分類。他們在每組數據集內各刪除1 000個數據點，每次1個。結果證明，Q-K均值算法的速度達到常規K均值算法的2 ～ 584倍，且準確性幾乎沒有任何損失。

利用模塊化方法，他們又開發出DC-K均值（用于實現分治法）。數據中的各個點被隨機劃分為多個子集，且各個子集將獨立進行聚類。接下來，再將這些子集構成新的集群，依此類推。事實證明，從單一子集內刪除一個點，并不會影響到其他子集的結果。新算法的加速水平在16 ～71倍之間，且準確性幾乎不受影響。該項研究被發表在加拿大溫哥華神經信息處理系統（NerulPS）大會上。

多倫多大學以及Vector研究院計算機科學家Nicolas Papernot指出，“這篇論文中的亮點，在于利用算法中的某些基本面（K均值聚類）完成了以往無法實現的目標。”但是，其中某些方法在其他算法類型中無法確切起效，例如在深度學習中使用的人工神經網絡。Paernot以及其他聯合作者在網站arXiv上發表一篇論文，提到一種適用于神經網絡的訓練方法，名為分片、隔離、切片以及聚合（SISA）訓練。

這種新方法采取2種不同的模塊化實現方式。首先，在分片部分中將數據集劃分成多個子集，并立足每套模型建立獨立的訓練模型副本。當需要進行預測時，各模型的預測結果將被匯總為統一的整體。利用這種方式，刪除數據點時，我們只需要重新訓練其中一套模型。第2種方法則是切片，即對各個子集做出進一步細分。該子集的模型會首先在切片1上訓練，而后同時在切片1與切片2上訓練，接下來在切片1、切片2以及切片3上訓練，依此類推。最后，在完成各個步驟后對訓練完成的模型進行歸檔。如此一來，如果刪除切片3中的數據點，則可快速返回至訓練的第3步中，并以此為起點繼續訓練。Papernot表示，分片與切片方法“相當于為我們的模型訓練流程提供了2個調整旋鈕。”Guan也稱贊稱，這種方法“非常直觀”，只是“使用的記錄刪除標準還不夠嚴格。”

來自多倫多的研究人員們通過2套大型數據集訓練神經網絡，希望測試這種方法。其中一套數據集包含超過60萬張與家庭住址編碼相關的圖像，另一套則包含30多萬條購買歷史記錄。他們從各個數據集中刪除0.001 %的數據量，而后重新訓練，并發現分片技術（20個分片）使得地址相關任務的重新訓練速度提高了3.75倍，購買記錄相關任務的重新訓練速度提高8.31倍（與標準模型重新訓練方法比較），而且幾乎不會對準確度造成影響。在配合切片方法之后，地址相關任務的速度進一步提高了18 %，購買記錄相關任務的速度提高43 %，準確度同樣沒有降低。

公開發布的數據顯示，僅刪除0.001 %的數據似乎太過溫和，但Papernot表示谷歌搜索等服務的重新訓練規模要比這個數字還低出幾個量級。另外，18 %的速度提升看似有限，但對于大型機使用場景來講，已經能夠節約海量時間與金錢。另外，在某些情況下，我們也許能夠發現某些更有必要忽略的數據點———例如來自少數族裔或者患有特定疾病的人群，確保他們免受隱私侵犯的影響。將這些數據點集中起來，將進一步提高刪除效果。Papernot表示，他們也在積極整理數據集知識，希望進一步提高SISA方法的定制化水平。

Guan解釋道，某些AI方法雖然在設計上就考慮到隱私性要求，但有時候使用者仍然需要刪除其中的某些特定數據點。舉例來說，有些人可能不想把自己的數據交給某家聲名狼藉的企業，科學家們有時候也可能需要刪除引發問題的數據點（例如黑客用來「毒化」數據集的偽造記錄）。無論是哪一種情況，對AI模型中的數據進行刪除都將成為一種必要的手段。

Guan總結道，“很明顯，我們還沒有構建起完整的解決方案。但我們認為對問題做出明確定義，是解決問題的重要前提。希望人們能夠在算法設計之初，就充分考慮到數據保護方面的需求。”