[摘 要] 隨著人工智能的發展,自動化決策系統將在對象識別、數據對比和算法推薦方面革新傳統救助機制,預示著未來社會救助的重要發展方向。本研究嘗試厘清社會救助自動化決策系統的技術架構、決策過程與人機交互模式運行機理,并揭示其在提升公共服務效率和公正性方面的巨大潛力。研究深入探討了社會救助自動化決策中算法偏差的識別與分析,并指出主要存在的三種偏差:數據集構建偏差、算法設計和運行偏差、算法透明度和可解釋性偏差。這些偏差對行政決策公正性有顯著的潛在影響。為應對這些挑戰,本研究提出促進社會救助自動化決策高質量發展的綜合治理措施,包括數據集的多樣化、算法的公平性評估和模型的優化開發、決策機制的透明性和可解釋性、人類干預的強化和動態監測機制的建立、法律法規的完善。
[關鍵詞] 社會救助;自動化決策;算法偏差;治理路徑;透明度
一、問題的提出
公共行政機構的行政決策自動化是數字政府改革的一個重要要素,在全球公共管理領域使用全自動或半自動的行政決策正在不斷地增加和擴張中;a 中國也同樣積極地引領和探索數字化轉型道路,以期實現中國式現代化與特色社會保障新制度文明。b 當前中央政府的“簡政放權”改革正如火如荼地開展中,除了在府際層面的向下授權外,部分“簡政放權”工作也在“數字中國”的發展戰略背景下借助技術治理手段得以實現。人工智能(Artificial Intelligence,簡稱AI)作為一種模擬人類智能的技術,涵蓋了包括機器學習在內的多個子領域,而自動化決策(Automated Decision Making,簡稱ADM)作為AI 技術應用的一個分支,主要致力于利用算法實現決策過程的自動化。由自動化決策衍生出的自動化偏差(Automation Bias)問題,即對自動化系統的過度依賴而對社會或政府造成的負面影響,a 其中算法偏差(Algorithm Bias)就是自動化偏差中最常見的一種。b 全球范圍內的社會服務自動化改革揭示了技術治理的雙刃劍特性,即它既有可能帶來革命性的進步,也可能引發一系列問題和風險,美國印第安納州的社會救助自動化改革中,實施的自動化系統(Automatic Control System,簡稱ACS)便充分印證了高科技工具如何在社會福利、法律執行等領域中加劇對貧困群體的歧視與合理性不平等(RationalDiscrimination),自動化決策系統在設計上未能有效拆解結構性不平等的情況下,通過其快速和大規模的應用而強化了這些不平等。從既往國外的經驗來看,人工智能算法的確存在較大的爭議,一方面,支持者認為這些算法在許多領域帶來了革命性的進步,瑞典和芬蘭等國家紛紛在《行政法典》(Administrativlagboken)和《行政程序法》(Hallintomenettelylaki)中支持在公共管理過程中使用ADM,包括歐盟的《通用數據保護條例》和《人工智能法案》均提到自動化決策的法律適用約束條件;人工智能通過機器學習和深度學習技術能夠處理大量數據并廣泛將其運用在稅收、社會福利、醫療診斷、自動駕駛和金融分析等領域,以敏捷算法模式做出更準確的預測和決策,提高生產效率,c 減少人為錯誤,推動各行各業創新性發展;d 然而,另一方面,批評者指出人工智能算法也存在透明性和可解釋性不足等潛在風險,導致人們難以理解其決策過程而加劇社會不平等,例如,奧地利公共就業服務(Austrian Public EmploymentService,簡稱AMS)算法的案例揭示了自動化偏差在公共管理中的影響,該算法通過基于求職者特征的分組優化資源分配,然而,其評分機制對女性、年長者、有健康問題者以及非歐盟求職者存在不公正現象,從而暴露了自動化決策過程中潛在的歧視問題。由于算法運行依賴海量數據,倘若數據本身包含偏差和歧視將導致算法決策對某些群體不公平。e 社會各界對人工智能廣泛應用可能引發的失業問題廣泛關注,普遍擔憂眾多傳統工作崗位將面臨被自動化技術取代的風險,盡管人工智能算法在技術層面取得了令人矚目的進步,社會仍需以謹慎的態度對待其應用,并確保其發展遵循倫理和公平原則,如何在確保技術革新的同時,充分考量弱勢群體的特殊需求,f 避免加劇社會分層,成為當務之急。在此背景下,強化對ADM 應用系統的監管力度,推動建立行業標準,保障民眾的知情權和參與權。未來救助體系的構建,不僅需要技術層面的創新,更應在政策制定、倫理審視及法律規制等多維度進行綜合考量和平衡,這種平衡的實現有賴于政府、企業、學術界及社會各界的共同努力。g 我國正探索多元化的解決方案,如建立第三方評估機制,對ADM 系統的公平性進行定期審核,并公開審核結果,以提高社會信任度。通過搭建合作平臺,提升數據質量,a 逐步消除算法中的偏差,提升社會救助的精準度。確保算法決策過程中的每一步都符合倫理道德和法律規定,讓技術在服務社會、造福人民的同時,b 也能兼顧公平與正義。
隨著信息技術的持續發展,我國社會救助體系正逐步向信息化、智能化和自動化方向演進,一些地區已經開始嘗試和實施社會救助信息化的深入應用,實施以遠程申請、c 遠程授權、d 需求評估、e 主動識別等主要輔助救助決策手段的實踐探索,f 以促進救助服務的智能化和自動化。持續推動社會救助信息化建設,實現信息的高效流通,減少困難群眾的奔波,不僅有助于提升政府的治理能力和效率,也是提高公共服務質量的關鍵步驟。g 當前學術界與民政部門在相關領域的研究與實踐主要集中在以下方面:第一,數字技術在社會救助領域的應用價值研究。數字技術,尤其是人工智能、互聯網和大數據,在社會救助領域展現出巨大的應用潛力。技術治理通過遠程申請和授權簡化了救助申請流程,它還能模擬評估救助需求,通過數據分析精準識別需要救助的群體。算法系統(Welfare Eligibility Systems)的主動發現功能有助于識別那些可能未被納入救助范圍的低收入人群,確保資源的公平分配。數字技術的應用極大地推動了社會救助的精細化管理進程,對困難家庭信息的實時、動態管理,能夠精準捕捉家庭致困的多元因素及個性化需求。智慧算法服務救助逐漸成為社會救助制度的核心訴求之一,衡量標準也由單一的收入指標轉向多元化的需求評估,多維化需求評估從經濟狀況、教育水平、健康狀況、社會關系等多個維度開展政策干預,確保幫扶措施更具針對性和差異性。第二,自動化算法在救助信息核對中的作用。自動化算法不僅限于簡化和加速數據處理流程,分析大量歷史數據識別出潛在的欺詐行為和異常模式。部分地區以電力大數據為基礎,通過算法賦能的探索,識別潛在救助對象實現救助的主動發現機制,且基于水電氣具體使用數據的混合算法也在中國的部分地區進行試點,輔助識別那些可能因為技術或知識限制而未能正確申報信息的個體,確保救助資源能夠更加公平地分配給真正需要幫助的人。第三,國內外自動化社會救助的實施效果。以美國印第安納州的福利自動化系統為例,該系統的設計初衷是為了提高福利申請和審批的效率,但由于系統設計缺陷、項目管理不善以及技術問題,數據處理錯誤、系統崩潰等,導致食品券資格的綜合錯誤率從5.9% 增加到19.4%,增長了超過三倍,漏保率從1.5% 增加到12.2%。在自動化社會救助實踐中,技術實施和項目管理中對于數據的規制、算法的設計和模型的訓練值得關注;同時,數字濟貧院(Digital Poorhouse)研究中,學者關注到隨著數字化管理和自動化決策系統的廣泛應用,a 美國政府和相關機構越來越多地采用算法來分配社會福利、管理社會服務項目、評估個人資格等,帶來的新的數字不平等問題,主要表現在數字資源的分配不均、數字技能的差異以及數字設備的普及程度等方面。b國內實踐方面,部分地區民政部門開發了“救助通”小程序或低收入監測系統平臺,廣東省民政部門開展了AI 賦能社會救助的實踐,開發了廣東省低收入人口動態監測管理系統,該系統匯集了12 個部門機構的18 類特殊困難群眾基本信息,把405 萬低收入人口納入監測。系統根據各項監測指標綜合賦分計算結果,采用紅、橙、黃、藍、綠5 檔顏色信號劃分預警等級,實現了由“人找政策”到“政策找人”的轉變。c 廣東省還建立了底線民生信息化核對管理系統,實現全省異地通辦,與銀行對接,電子授權模式等創新,提升了社會救助的效率和便捷性。其他地區如內蒙古自治區興安盟民政局社會救助信息化管理系統建設項目,實現了自助申請、在線核算、在線公示等功能。江蘇省常州市智慧大救助平臺構建了“五化”智慧救助體系,提高了救助的精準度。山東淄博博山區“博山e 救助”微信小程序實現了一網通辦,主動發現,打造了“物質+服務+ e”新模式。
現有文獻為社會救助自動化決策中的算法偏差與治理路徑提供了豐富的理論基礎和實踐案例。前人的研究明確了數字治理是一把雙刃劍,自動化算法簡化和加速了數據處理流程,在識別潛在的欺詐行為和異常模式具有較強的預警功能,但在數字技術賦能與嵌入政府行政決策實務過程中,也植入了值得防范的新風險。盡管現有文獻為社會救助自動化決策提供了豐富的理論基礎和實踐案例,但在算法偏差與治理路徑方面亟待深入探討,例如,社會救助自動化決策的算法偏差及影響,國內外自動化社會救助實踐的具體差異是什么,算法驅動的社會救助自動化運行的內在機理是什么,在此基礎上,本文旨在通過深入研究社會救助自動化決策中的算法偏差與治理路徑,為推動我國社會救助體系的數智化發展提供理論支持和實踐指導。
二、社會救助自動化決策的運行機理
社會救助自動化決策系統作為一種現代信息技術的應用,其核心在于通過算法驅動的自動化流程對社會救助申請進行快速、高效的審查和評估,以決定申請人是否符合救助條件。該系統在數字化救助領域的迅速發展,為社會救助工作的現代化轉型提供了強有力的技術支持,其運行機理主要體現在技術架構、決策過程和人機交互模式三個核心環節。技術架構作為系統的基石,通過先進的技術手段確保數據處理的安全性、可靠性和高效性,為系統的穩定運行和高效處理提供有力保障。決策過程則通過自動化的方式,實現了對申請人資格的快速審查和精準評估,提高了決策的準確性和公正性。人機交互模式則注重申請人的參與度和互動性,通過用戶界面設計和交互流程優化,提供便捷、友好的在線服務,增強了用戶體驗,并確保信息的透明度和可訪問性。通過該運作機理,社會救助工作將實現由傳統的人工審核向自動化決策的轉變,大大提高處理效率和準確性,減少人為干預的可能性,確保救助資源的公平分配。該系統還將為政府和社會提供全面、精準的數據支持,為制定科學合理的救助政策提供有力依據,從而在公共服務領域實現數智技術賦能的重要發展趨勢。
(一)技術架構:支撐高效數據處理與系統穩定
在全球范圍內,不同地區在自動化社會救助決策的技術架構選擇上呈現出多樣性。北美一些地區救助系統則更多采用分布式數據匯總的方式和強大的數據處理引擎,a 以確保數據的實時性和準確性;b 歐洲福利系統則并沒有像美國等一些國家采納聯邦政府和州政府分化的救助服務,更多地區傾向于采用數據集成系統平臺和云計算技術,以強調數據安全性和處理效率;亞洲政府則偏好混合架構模式,c 結合云計算和本地數據中心的優勢,若救助的自動化資格審查未通過,人工干預則會出現在平臺拒絕救助后,進一步審查并明確原因,以確保數據的可靠性和安全性。亞洲地區在社會救助自動化決策領域的技術發展趨勢尤為值得關注,尤其是我國在積極推動云計算技術在社會救助領域的應用的積極探索,利用云計算、大數據、人工智能和物聯網等先進數字技術,推動了社會救助管理的現代化。例如,利用云計算技術建立了社會救助信息化平臺,為政府部門和社會救助組織提供了強大的數據支持,最大程度上破解了精準識別障礙問題。通過集成多源數據,實現了對救助對象財產狀況、經濟條件、家庭條件等的精確核查,解決了邊緣貧困群體難識別、求助對象需求難掌握等問題,促進了社會救助供需的精準對接,有助于推動救助對象精準化和救助項目的精細化實施。
社會救助自動化決策系統在技術架構方面,系統通常基于數字技術,涵蓋機器人流程自動化(Robotic Process Automation, RPA)、確定性規則模型(Deterministic Rule-Based Models)、回歸分析(Regression Analysis)、大數據分析(Big Data Analytics)、機器學習(MachineLearning, ML)和神經網絡(Neural Networks)等多種技術形式。其中,RPA 廣泛應用于瑞典社會服務領域,特別是社會救助評估方面,能夠自動執行重復性任務,如數據輸入和查詢。確定性規則模型則依據預設的邏輯規則處理數據并作出決策,例如根據申請人的收入水平自動決定是否批準社會救助申請。回歸分析用于預測未來趨勢或結果,如預測特定申請人未來可能需要的社會救助金額。大數據分析利用大量數據進行模式識別和預測以優化決策過程,通過分析歷史數據識別高風險家庭,提前提供干預措施。機器學習工具利用“大數據”和統計模型補充或替代人類決策,減少決策過程中的人為偏見。神經網絡作為一種復雜的機器學習方法,模仿人腦工作方式,能夠處理更復雜的數據結構和關系。值得注意的是,自動化決策技術并非中立的工具,需要在嵌入特定社會和文化背景中去理解和運用,政策話語中常常忽視了技術的社會建構性質,將其視為解決已知問題的中立手段。實際上,技術的應用和發展受到救助需求、權力關系和利益驅動等因素的直接影響。
(二)決策過程:從數據收集到結果反饋的自動化流程
從全球范圍內看,社會救助自動化決策過程在整體上遵循了數據收集、分析處理、決策制定和結果反饋的基本流程。在歐洲地區,社會救助領域的自動化決策體系一般涵蓋以下四個核心環節:數據集成、預處理、模型構建與決策生成。在數據集成階段,該系統通過多元化渠道系統性地采集申請人的個人基本資料、經濟狀況等關鍵信息;隨后,在預處理階段,對收集到的數據進行深度清洗與標準化處理,旨在保障數據的全面性與精確性;模型構建階段則依托先進的機器學習算法,對歷史數據集進行訓練與分析,以構建出具有預測能力的決策模型;在決策生成階段系統自動形成并輸出精準的社會救助決策。a 在北美地區,社會救助領域的自動化決策機制通常涵蓋以下關鍵步驟:數據綜合集成、模型效能評估、決策策略制定及結果反饋優化。數據集成階段通過多個數據源整合信息,形成全面的數據集;模型評估階段對不同的模型進行對比和驗證,選擇最優模型;決策制定階段基于選定的模型生成救助決策;結果反饋階段將決策結果及時告知申請人,并收集反饋信息用于后續優化。在亞洲,社會救助自動化決策系統通常包括數據收集、分析處理、決策制定和結果通知等步驟。b 數據收集階段通過在專有系統平臺、線下核對等多種渠道明確救助信息;分析處理階段對數據進行深入分析,識別申請人的具體需求;c 決策制定階段根據分析結果生成救助決策;結果通知階段通過短信、郵件等方式將決策結果通知申請人,并提供后續支持。上述流程反映了各地區在技術應用、政策導向和社會需求方面的多樣性,同時也展示了全球范圍內技術發展和應用的廣泛性。
社會救助自動化決策系統的決策過程是一個高度系統化和自動化的流程,其設計、開發和部署均旨在通過精確的數據收集、分析處理、決策制定和結果反饋來提升社會救助的效率和公正性。其一,系統通過多渠道收集申請人的基本信息,包括個人身份信息、家庭狀況、教育水平、經濟狀況以及以往的社會救助申請記錄等。這些數據來源廣泛,涉及申請人自行提交的材料、政府部門數據庫、金融機構、醫療機構、房產管理機構、車輛管理部門以及社會信用體系等。系統對這些信息進行初步篩選和驗證,確保其真實性和準確性,同時保證數據的全面性和實時性。其二,系統運用先進的數據分析技術對收集到的數據進行深入分析,以確保決策的準確性和公正性。依據預先設定的救助標準和規則,系統對申請人的信息進行自動化評估和計算。通過機器學習算法、大數據分析、區塊鏈和人工智能技術對申請者的各種數據進行綜合評估,識別潛在的風險和需求。d其三,系統根據多個方面的標準和規則,如收入水平、財產狀況、家庭成員數量等,算法和測量模型需要定期動態更迭以適應社會救助政策的變化和新的數據分析技術的發展,根據區域范圍內的收入平均水平以及其他救助評估要素條件,計算出申請人是否符合救助條件,系統生成初步評估報告,詳細列出申請人的各項信息和評估結果,提交給相關部門或工作人員進行復核。其四,復核確認無誤后,通過數字或通訊平臺短信通知申請人自動化系統決策的救助申請結果。申請人通過系統提供的詳細報告,了解自身是否符合救助資格及具體的救助金額,并按規定的程序領取現金或服務等形式的援助。針對特殊申請個案的排異性機器學習,系統可根據實際運行數據和用戶反饋進行迭代改進,以不斷提升決策質量和系統性能。
(三)人機交互模式:增強申請者參與度和用戶體驗
全球范圍內,自動化決策系統的人機交互模式呈現出地域性的差異,各地在界面設計、功能配置及用戶體驗方面各有側重,但普遍目標在于增強申請者的自主性和互動性,提供高效、友好的在線服務體驗。在北美地區,人機交互設計尤為強調申請者的主動參與和即時互動。通過集成在線平臺和自助服務終端,申請者能夠便捷地提交資料并實時監控處理狀態。系統配套提供詳盡的操作指導和視頻教程,確保用戶充分理解相關政策與流程。例如,美國的Benefits.gov 平臺不僅提供了全面的服務指南,還實現了應用程序訪問功能,支持用戶追蹤申請進展,并設有即時反饋機制,保證用戶提交資料后即可迅速獲得確認通知。a 歐洲地區的人機交互模式更側重于服務的便捷性和用戶體驗的友好度。申請者借助在線門戶或移動應用完成資料提交,同時享有即時查詢進度和結果的功能。系統配備了在線客服和電話咨詢服務,確保申請者在遇到難題時能快速獲得援助。瑞典的社會福利系統以其多語種支持和全天候在線客服著稱,用戶可通過即時聊天或電話聯系客服代表,獲取即時幫助;而丹麥的Borger.dk 平臺同樣提供了高度個性化的服務選項。b 亞洲區域人機交互模式的設計著重于提高申請者的參與度和滿意度。除了常規的在線申請和進度查詢外,系統還提供了多語言版本和文化適應性界面,以滿足多元背景申請者的需求,增強了服務的可及性和用戶對系統的信任感、歸屬感。
在人機交互模式下,人類工作者與自動化程序系統之間存在嵌入性分工問題,更多依托技術進行智慧治理還是更多依靠人類智力治理的比重,決定了人機交互的幾種協同模式,通常需要人或機按比例完成管理系統的維護和故障排除等任務。社會救助自動化決策中的人機交互模式大致可以分為三種類型。其一,完全自動化系統。自動化社會救助系統通過算法處理大量標準化申請,決策完全依靠算法和技術手段自動處理和審批標準化申請,使決策基于預設規則運行而非個人偏好的指令。系統性能高度依賴于輸入數據的質量,錯誤或不完整的數據可能會直接導致決策失誤。以美國印第安納州為例,該州曾嘗試通過自動化系統決定福利申請資格時,暴露出對特殊情況處理不足的問題,部分符合條件的申請者未能獲得應有的救助,成為了自動化福利決策改革失敗的典型案例。其二,混合系統。混合系統結合了自動化工具與人工審查,旨在平衡技術和人之間的關系。印第安納州后來轉向的混合系統保留了電子數據處理和私有化管理的核心功能,同時允許申請人在必要時與公共雇員面對面交流。這種方法試圖在技術效率和人性化服務之間找到平衡,但在實踐中仍面臨諸多挑戰。瑞典的特雷勒堡市(Trelleborg)自2017 年起將機器人流程自動化(Robotic Process Automation,RPA)引入社會救助申請管理中,RPA 在引入公共部門當年就在個案工作者的協助下處理了大約 70% 的救助申請,當年即作出了41% 的決定并處理了實際的社會援助待遇給付。隨著經驗的積累,截至2020 年,特雷勒堡市超過85% 的社會援助申請人使用了電子申請,其中30% 完全由RPA 處理。a 其三,輔助決策模式。輔助決策模式側重于利用人工智能進行數據分析,輔助工作人員作出更為精準的決策。當社會救助申請者對系統裁決持有異議時,社會救助專業人員需介入實施復審與調停工作。此過程包括詳盡考察申請者家計情況并評估其異議的正當性,視情況作出人工修正。輔助決策方式是行政自動化決策探索的初始模式,也積累形成了較多有益的經驗探索。我國陜西省西安市探索建立“線上預警+ 線下響應+ 資源鏈接+結果跟蹤”的數鏈合一機制、江蘇省江陰市探索的社會救助項目、數據、資源、監管集成式智慧救助信息平臺建設,將大數據及人工智能技術運用在救助申請過程中,除了數智賦能外,他們均采納了人工輔助決策的運行模式,進一步豐富了“大數據+ 鐵腳板”的審查機制。然而,未來的進步仍依賴于數據驅動機制的完善和自動化救助、人工智能領域的進一步發展與公共服務領域的深入結合運用落地。三種RPA 模式展示了自動化決策的人機交互不同應用層面,從完全依賴技術的自動化系統,到技術與人的混合決策模式,再到以人為主的決策系統,每一種模式都有其特定的應用場景和優缺點。選擇合適的人機交互模式,需要綜合考慮系統的效率、決策的公正性和透明度,以及對復雜決策和人際溝通的需求。
三、社會救助自動化決策的算法偏差
盡管社會救助自動化決策展現出廣闊的前景,人工智能和大數據技術在社會救助申請過程中顯著提升了效率和準確性,但算法偏差問題依然構成了全球數字治理的重大挑戰并可能形成“創造性破壞”。b 例如,《自動化不平等》一書中提到的美國印第安納州福利自動化系統失敗案例,清晰地揭示了算法偏差可能導致對特定群體的不公平對待,這不僅暴露了系統設計缺陷、項目管理不善和技術問題對系統效能的影響,還深刻反映了算法偏差對社會公正的損害,以及由此引發的公眾對人工智能技術信任度的下降。因此,深入探討社會救助自動化決策中算法偏差的識別與分析,不僅是技術層面的必要之舉,更是確保社會公平與正義的迫切需求。
(一)數據質量偏差:數據完整性和準確性對算法決策的影響
算法決策依賴于數據質量,但數據的完整性和準確性常受影響,導致數據質量偏差。社會救助自動化決策系統面臨數據集構建偏差、數據標注主觀性、訓練數據質量問題和目標設定與特征選擇偏差等多方面挑戰。其一,數據集構建的偏差問題。在社會救助自動化決策領域,用于訓練模型的數據集的代表性將直接關系到模型決策的公平性。如果數據集中樣本選擇不當或帶有偏差,訓練出的模型可能會放大這些偏差,導致對特定群體的歧視性決策。例如,數據集可能偏向于某一收入水平、地區或職業群體,這不僅違背了社會救助的基本原則——公平與正義,還可能加劇社會不平等。其二,數據標注的主觀性差異。從傳統救助管理出發,不同工作人員基于各自的判斷標準,可能會對申請人的資格和需求做出不同的評估。這種主觀性不僅會影響模型訓練的效果,還會降低決策的透明度和可解釋性,損害公眾對社會救助系統的信任。不同的工作人員可能對同一申請人的健康、經濟狀況有不同的理解,導致標注結果的不一致,數據標注過程中的主觀性差異是缺乏統一的評估標準引起的。其三,訓練數據的質量問題。社會救助數據往往涉及個人隱私和敏感信息,例如,美國的緬因州(Maine)使用EBT 卡a 數據來追蹤臨時救助貧困家庭計劃受益人在煙酒商店和州外地點的ATM 提現情況,從2011 年1 月到2019 年1 月保羅·勒佩奇任職該州州長期間,受助人的交易數據被嚴格審查,查驗其是否存在福利濫用,這表明在一些地區低收入群體的數據隱私往往被視為監控技術的目標,引發了有關福利救助與污名化的廣泛討論。而在全球的大部分地區,社會救助的數據由于涉及隱私問題而難以保證訓練數據的完整性和時效性,數據更新機制的缺失和數據清洗技術的不足都可能影響數據的整體質量。數據質量問題可能導致模型學習到錯誤的信息,進而影響決策結果的可靠性,類似家庭經濟狀況數據的獲取、比對環節可能存在標準不一致的情況,b 影響了受助者救助需求的正當滿足。其四,目標設定與特征選擇中的潛在偏倚。分類標簽與社會刻板印象的使用可能引發對特定群體的誤解,反向紅區劃分策略可能將弱勢群體固定于不利位置,加劇社會不平等現象。目標與特征要素直接關系到預測模型(Predictive Risk Models)能否有效精準識別標的救助對象,并展現出優秀的泛化能力。機器學習工具可能會根據與以往成功的申請者相似的特征識別候選人,從而復制了救助過程中的早期偏見。模型目標的設定必須清晰界定其所針對的核心議題,確保與社會救助實踐需求緊密對接;且特征選擇應聚焦于那些能最佳體現受助者需求與狀態的關鍵要素,以此增強預測風險模型的精確度與決策的科學依據。若模型目標設定過窄,過分集中于經濟指標而忽視健康狀況、教育水平等非經濟維度,可能會導致模型在特定場景下效能低下,產生偏倚。
(二)算法設計與運行偏差:靜態算法與動態迭代不足
算法設計中的偏差問題是自動化決策系統面臨的另一大挑戰。靜態算法缺乏動態迭代能力,無法適應復雜多變的實際應用場景,這使得系統難以處理特殊家庭的具體情況,導致部分合理申請需求被拒絕。此外,算法設計者可能在設計階段無意識地將個人主觀傾向嵌入算法,進而影響決策結果的客觀性。自動化救助算法的設計開發與執行面臨多維度的挑戰,包括但不限于靜態算法偏差(Static Algorithmic Bias)、技術限制(Technical Limitations)以及設計缺陷(Design Flaws)。a 首先,靜態算法問題顯著。在低收入對象精準識別、注意力分配及自主決策等方面,特定群體可能遭受不公正待遇(Algorithmic Cruelty)。算法訓練過程中,若采用的歷史救助決策數據未能全面反映救助對象的真實狀況,而是側重于歷史救助經驗的總結,那么基于此類靜態歷史結果訓練的人工智能救助算法可能忽略反向集合因果機制的動態迭代過程,從而加劇已有偏差,導致部分合理申請需求遭到不公拒絕。此外,算法設計者可能在設計階段無意識地將個人主觀傾向嵌入算法,進而影響決策結果的客觀性。數據預處理與特征選擇環節的操作不當亦可能導致關鍵特征被遺漏或賦予過高權重,進一步加深偏差。算法設計與實施階段若未能充分考慮復雜多變的實際應用場景,系統輸出可能偏離預期目標,產生不公正或不準確的結果。其二,技術限制。b 自動化技術系統通常依賴于預設的社會救助規則和標準,當面對特定情境時,系統的靈活性受限,難以準確識別并處理特殊家庭的具體情況,導致真正需要援助的對象被排除在外。居住在偏遠地區或低收入家庭的個體可能缺乏必要的設備和網絡連接,無法利用在線平臺提交救助申請,從而加劇其生活困境。算法在處理數據時主要依賴歷史數據和現有統計模型,面對新穎或罕見情形時,系統可能無法作出準確判斷,進一步限制了技術的有效性和適用范圍,例如,2006 年至2008 年間印第安納州進行的一項現代化福利實驗項目,部分群體由于地址更換等原因沒有接收到重新認證的通知文件導致受助人的Medicaidc 福利資格失效,即使她試圖糾正這一錯誤,最終不得不面臨藥物短缺的問題,該案例展示了技術工具如何在不經意間影響到了依賴這些服務的家庭和個人。其三,算法設計缺陷。系統設計階段若未能充分考量用戶群體的多樣性與復雜性,部分用戶的需求可能得不到有效滿足。系統用戶界面若不夠直觀易用,將影響用戶體驗,阻礙其有效使用系統。系統的可擴展性和可維護性不足,難以適應未來需求的變化。系統安全性設計若不完善,易遭受外部攻擊,威脅用戶數據安全與隱私保護。
(三)算法透明度與可解釋性偏差:算法黑箱對公正性和可接受性的影響
算法透明度與可解釋性是確保自動化決策系統公正性和可接受性的關鍵因素。然而,由于算法模型的高度復雜性,透明度的不足成為了算法偏差的一個重要來源。算法黑箱d 問題核心在于缺乏公開性和透明度,導致責任主體不明確、糾正機制缺失,決策邏輯模糊,影響決策的公正性和可接受性。其一,透明度缺失。由于算法模型的高度復雜性,透明度的不足阻礙了相關利益主體對系統運行機制的有效理解和監督,從而削弱了系統的可信度與穩健性,使受益對象難以對其遭遇的算法結果發起質疑或挑戰。例如,當貧困家庭因誤判而被不當排除在救助范圍之外時,其往往既無法理解被排除的具體原因,也缺乏有效的渠道來申訴該決策。透明度的缺乏還可能導致數據隱私的泄露和濫用,侵犯受益人的個人隱私權,進而加劇公眾對社會救助系統的信任危機。其二,問責機制的不完善。在自動化社會救助系統中,缺乏有效的問責機制以保障系統的公正性和有效性。當系統發生錯誤或作出不公正的決策時,若無明確的責任主體和問責程序,問題將難以得到及時地糾正,可能損害受益人的權益,還可能削弱社會救助系統的公信力和可靠性。一些專門機構亦建立了獨立的監督委員會,負責審查和評估社會救助系統的決策過程和結果,確保其公正性和有效性。其三,算法的可解釋性問題。算法決策過程的不透明性使得對其決策邏輯進行有效解釋和理解變得極為困難,這種缺乏可解釋性的狀況不僅加深了算法黑箱的問題,也使得算法決策過程的監管與驗證變得極為困難。在使用算法進行社會救助自動化決策時,會按照系統的決策自動分配救助物資與服務,如食品券、住房補貼等,倘若這些算法不可解釋,那么申請者就無法得知自己的申請為何被拒,也無法了解如何改進自己的情況以滿足資格要求。此外,政策制定者和審計人員也可能難以評估這些系統的公正性和有效性。例如,在某些地區,自動化的福利系統可能會錯誤地拒絕合格申請者的請求,或者未能及時更新規則變化,導致部分人群失去應有的支持。社會救助自動化決策算法的可解釋性直接關系到資源再分配的公平性。缺乏可解釋性意味著即使算法存在偏差或錯誤,a 也難以被檢測和糾正,這要求算法設計者在開發過程中采用透明和可解釋的算法設計原則,確保算法決策過程的每一步都可以被追溯和理解,從而增強系統的可信度和公正性。
四、社會救助自動化決策發展的治理路徑
通過法律與倫理考量、強化人類判斷與干預、提高算法透明度與可解釋性及動態監督與流程改造等多維度措施,試圖構建多層次、多主體參與的治理體系,引領社會救助自動化決策向更加公平、高效的方向發展,以彰顯數字政府、數字社會的效度、高度與溫度。
(一)法律與倫理考量:負責任創新的算法糾偏
政府在推進負責任創新的過程中,特別注重將負責任創新的原則與理念融入自動化社會救助決策體系,法律與倫理考量是自動化社會救助決策體系構建和應用的核心,須在決策中融入倫理、公平和社會責任。通過這種方式,政府確保自動化社會救助系統在提升效率和準確性的同時,也能充分尊重和保護受助者的權益,防止潛在的歧視和不公平現象。其一,針對算法偏差問題,須深入研究現行法律框架和倫理標準對算法偏差的影響。根據新一代人工智能治理專業委員會發布的《新一代人工智能倫理規范》,在新一代人工智能的開發過程中,必須遵守相關法律法規和標準,提倡加強國家間的合作,共同推動形成國際共識,制定全球性的算法倫理標準和監管框架,并定期進行算法影響評估。同時,堅持倫理先行原則,將負責任創新的治理理念與倫理規范融入人工智能的開發和運行各個階段。其二,在算法的開發和應用過程中,應秉持負責任的創新理念,包括關注算法的社會影響、尊重用戶隱私、保護數據安全等方面。積極尋求技術創新與倫理道德的平衡點,確保算法的應用符合救助申請者的切身利益。針對隱私保護法律可能對數據訪問的限制,需要在立法和實踐中尋求平衡之道,既尊重個人隱私,又確保數據的合理利用。此外,自動化決策算法開發應用的規制應結合我國社會保障制度新文明的規律、特點,a 在數字化轉型中通過技術創新推動社會救助體系的現代化,特別在技術嵌入治理過程中充分考量創造性破壞的風險點,并強化技術創新的預期性、反身性、包容性和響應性,以實現政府負責任地創新發展。其三,對算法偏差行為進行必要的懲處。算法問責法案需提上人大立法議程,針對根據情節的輕重與主觀故意與否設定懲處方式,從算法倫理失范到刑事問責,形成政府負責任的自動化決策規制。倘若檢測到算法在運行過程中表現出偏差,從而導致決策結果的不公平或不合理,必須采取相應的糾正和懲罰措施。必要時對算法設計者和使用者問責,情節嚴重的還要對相關機構或個人進行法律或行政上的處罰,促使算法開發者與運用者在實踐過程中嚴格遵守相關法律法規及倫理準則。例如,歐盟的通用數據保護條例(GDPR)強調數據處理的透明度、用戶權利和數據保護,GDPR 對違規行為設定了嚴厲的罰款,要求企業在設計和使用算法時遵守嚴格的倫理準則。
(二)強化人類判斷與干預:優化技術與算法
在自動化環境中進一步持續優化技術和算法,人類的判斷和干預在處理復雜情境時仍然具有重要意義,在復雜和模糊性治理過程中救助的行政自由裁量權依然可以與技術治理形成有益的互補。其一,通過開展專門的培訓活動,對社會救助決策者進行系統的教育和指導,以加深他們對算法偏差的認識和理解。培訓內容應包括算法偏差的基本概念、表現形式及其潛在影響,并涵蓋實際案例分析,幫助決策者識別和理解社會救助領域中可能出現的算法偏差問題。此外,培訓還應提供有效的應對策略和工具,使決策者能夠采取具體措施,防范和糾正算法偏差,確保社會救助政策和措施的公平性和有效性。其二,確保利益相關方的積極參與以實現自動化決策的有效治理。在自動化決策的社會救助應用中,政府機構、技術供應商、社會團體及受益人等多方利益相關者均扮演關鍵角色。政府部門作為政策的核心制定者在自動化決策系統設計和實施中起關鍵作用,包括確保算法符合國家政策導向,平衡技術創新與社會穩定之間的關系,與技術供應商緊密協作,共同研發并實施符合社會救助目標和需求的技術解決方案。社會團體與受益人作為重要的參與群體,也應參與到算法的監督和反饋過程中,讓更多的人能夠對算法的公正性進行審視,從而增強決策的透明度和公信力。其三,算法優化是一個至關重要的研究領域,其核心目標在于不斷提升和改進社會救助識別與決策算法的性能和效率。b 算法優化主要通過改進算法結構、優化算法參數、引入新的算法技術等路徑,優化算法可以增強系統面對復雜數據和任務時的適應性和穩健性。c 國際范圍內,也有基于相關算法研發與優化的成功先例。例如,IBM 公司開發的公平性約束算法能夠在訓練過程中自動檢測和糾正偏差,IBM 通過算法優化使得算法在處理各種數據時能夠更加公正和無偏差,通過技術創新和算法優化提升決策系統的有效性。
(三)透明度與可解釋性:提升算法信任度
提高算法透明度和可解釋性是解決社會救助算法偏差問題的關鍵措施。透明度指的是算法的設計、數據來源以及決策過程應當對所有救助利益相關方保持開放和易于理解的狀態。無論是政策制定者、執行者還是受助者,都應該能夠清楚地了解算法是如何運作的,數據是如何收集和處理的,以及最終的決策是如何做出的。其一,建立透明的人機混合決策系統登記冊。算法的救助決策過程能夠被清晰地追溯和解釋具有重要意義,以深度學習模型為主要的自動化算法為例,其決策邏輯和機制往往不透明且難以被外界理解,其影響就是降低了民眾對于自動化系統的信任度,為了提高透明度和可解釋性,可建立透明的人機混合決策系統登記冊,該登記冊應詳細記錄自動化決策系統的設計和操作參數,包括但不限于算法模型、數據來源、訓練過程、評估指標、決策邏輯等。救助決策的算法邏輯和依據能夠被相關利益方理解和審查,供政策制定者、研究人員和社會各界參考。其二,公開算法模型的源代碼和決策邏輯。為了實現這一目標,公開算法模型的源代碼和決策邏輯是非常必要的。這不僅可以使相關利益方(如政策制定者、研究人員和公眾)更好地理解和監督這些系統,還可以促進算法的持續改進和優化。例如,Google 在其搜索算法方面提供了大量的透明度報告,解釋了其搜索排名的基本原理和更新情況。雖然具體的算法細節仍然保密,但這些報告幫助用戶了解算法的主要工作方式。此外,Google 還在其廣告平臺上提供了詳細的解釋性報告,說明為什么某些廣告會出現在特定用戶的搜索結果中,這有助于用戶理解廣告決策的過程。其三,強化算法信任的驗證機制。“雙因素認證”(Two-factor Authentication),也稱為“四眼原則”(Four-eyes-principle),強調重要的操作或決策都需要兩個人獨立審查和同意,以減少救助錯誤和欺詐的可能性。引入雙人審核機制來增強救助決策的準確性和公正性。在社會救助算法模型的設計與實施過程中,通過兩個或更多專家的獨立審查,可以有效避免單一決策者的偏見或失誤,確保算法模型的合理性和公平性。同時,為了減少用戶對自動化決策系統的過度依賴,應當透明地展示系統的置信區間和誤差范圍。讓用戶更清楚地認識到系統決策可以提升救助效率,但并非錯誤率為0。結合可視化技術將復雜的模型轉換為直觀易懂的形式,可以幫助利益相關方更好地理解和評估算法模型的工作原理及其潛在影響。
(四)動態監督與流程改造:動態監管下的持續進步
通過持續監督與改進,確保科技的發展與社會的價值相協調,共同推動形成一個更加公正、透明、可信賴的數字未來。其一,引入數據質量提升機制。數據是社會救助決策的基礎,任何數據的偏差或錯誤都可能導致不公平或不準確的決策結果。應借助先進的數據分析工具,對數據進行清洗和驗證,確保用于算法模型的信息準確無誤;數據的質量監測須對收集到的基準數據進行實時監控和周期性評估,以識別和糾正數據中的潛在問題,并制定明確的數據更新流程和時間表以確保在規定的時間內完成數據的更新;針對異常數據,特別是救助數據中出現的數據格式不一致、缺失值和異常值,須通過復測加以確認。其二,引入工作流管理系統(WorkflowManagement System,簡稱WFMS),并實現流程再造。通過WFMS 系統進行低收入群體信息的比對與采集,實現跨部門和跨層級的數據流動、共享,用于管理和優化工作流程,以改進政府福利項目的管理效率。在此基礎上,政府部門可更加精準地識別低收入群體,通過比對和分析不同部門的數據,可以發現潛在的社會救助需求,實現資源的精準投放。公開透明的數據監控報告將有效促進社會監督和公眾參與,定期向社會公布審計結果和數據監控報告,接受公眾的監督和評議。通過定期發布,讓民眾了解到社會救助工作的實際成效和存在的問題,從而增進公眾的理解與支持。其三,建立多方參與的持續監督機制,確保自動化決策系統在實施過程中持續接受評估和改進。鼓勵民眾參與到社會救助監督中來,建立多元化的監督體系,發揮社會的力量,共同揭露和抵制“人情保”“關系保”等救助頑疾。進行公平性評估和優化也是必要的步驟,通過定量分析和模型調整,確保算法在不同群體中的表現盡可能公平。在持續監督方面,建立獨立的評估委員會,負責對自動化社會救助政策的執行情況進行全面審查;制定詳細的評估標準和程序,內容包括救助對象的滿意度、救助資金的使用情況以及救助效果等,將評估結果及時反饋給政策的利益相關者,以便其能夠根據評估結果進行調整和改進。
(責任編輯:李 瑩)
[基金項目] 貴州省哲學社會科學規劃項目“貴州推進分層分類社會救助體系建設路徑研究”(24GZYB55)。