共建共治共享視域下不同智能程度聊天機(jī)器人的效果評估

施騫 SHI Qian；周穎 ZHOU Ying

（同濟(jì)大學(xué)經(jīng)濟(jì)與管理學(xué)院，上海 201800）

0 引言

黨的二十大報告提出，健全共建共治共享的社會治理制度，建設(shè)人人有責(zé)、人人盡責(zé)、人人享有的社會治理共同體。社會治理主要目的是為廣大人民群眾謀取幸福美好的生活，其中公眾既是治理主體，也是治理客體。但我國基層社會治理尚存在一些參與不積極的現(xiàn)象，這既是因為公眾責(zé)任感和價值觀不同，也因為缺乏相應(yīng)渠道和機(jī)制。

在以人工智能為代表的技術(shù)加速應(yīng)用的大背景下，推動社會治理智能化發(fā)展是必然趨勢。黨的二十大報告中部署了打造智慧城市、完善信息化支撐的基層治理平臺等任務(wù)[1]。社會治理智能化是指將現(xiàn)代智能技術(shù)與社會治理相結(jié)合，形成以智能技術(shù)為支撐，集合多元治理訴求、整合多方治理資源、促進(jìn)多元主體參與、打造多元治理平臺、滿足多元主體需求、提升多元主體信息處理能力的一種社會治理手段[2]。目前已經(jīng)出現(xiàn)了通過“一網(wǎng)通辦、一網(wǎng)統(tǒng)管”以全面推進(jìn)智慧政府和服務(wù)型政府建設(shè)、構(gòu)建“城市大腦”提高城市運營效率與生活質(zhì)量等多種智慧治理舉措。隨著自然語言處理技術(shù)廣泛應(yīng)用，ChatGPT（Chat Generative Pretraining Transformer）能實現(xiàn)智能化的語言交互，國內(nèi)文心一言、訊飛星火等大語言模型也在不斷發(fā)展。因此本文希望探究智能程度對公眾在線參與意愿的影響，為未來智能聊天機(jī)器人提升公眾在線參與、建設(shè)社會治理共同體提供實證依據(jù)。

1 研究基礎(chǔ)與假設(shè)

1.1 公眾在線參與

政府不斷提升公共服務(wù)數(shù)字化、智能化水平，以滿足公眾多層次、多樣化需求。小程序、APP 等各種平臺涌現(xiàn)出來，彌補(bǔ)了傳統(tǒng)治理模式中參與率低、參與途徑低效的問題。多位學(xué)者認(rèn)為治理平臺能夠增強(qiáng)公眾參與社會治理的可及性和便捷性[3，4]。要建立共建共治共享的社會治理制度、從而提升社會治理效能，提升公眾參與水平成為關(guān)鍵環(huán)節(jié)。

公眾參與的意義較為廣泛，學(xué)者們關(guān)于公眾參與的概念定義未達(dá)成統(tǒng)一認(rèn)識。俞可平院士認(rèn)為有需求的公民或民間組織在公共領(lǐng)域通過各種渠道影響政治生活和政府決策。公眾參與有程度和深度上的區(qū)別，如Connor 提出參與階梯模型，將公眾參與程度由低至高分為七級，即教育、信息反饋、咨詢、聯(lián)合計劃、調(diào)解協(xié)商、法律訴訟和預(yù)防與消除分歧[5]。綜合各學(xué)者的意見，本研究認(rèn)為“公眾參與”是指公眾或特定主體根據(jù)自身需求依法通過合理渠道、合規(guī)方式直接或間接參與到國家公共政策制定或公共事務(wù)治理的過程，包括投票、競選、宣傳、投訴、對話、咨詢、協(xié)商、聽證等。“咨詢”是其中最易于操作且應(yīng)用廣泛的類型，以此來考察公眾參與具有較強(qiáng)代表性。

1.2 智能性

智能性是指通過處理自然語言來理解用戶的命令并產(chǎn)生應(yīng)答從而提供有效結(jié)果的能力[6]。對于智能性影響的分析需追溯到個體對技術(shù)的接受和采納的技術(shù)接受模型（TAM），技術(shù)系統(tǒng)特征等外部變量會影響感知有用性與易用性，進(jìn)而影響意愿和行為。“智能”已成為任何人工智能驅(qū)動系統(tǒng)的重要特征，比如Moussawi 等認(rèn)為感知智能可以正向影響用戶初始信任[6]。其中智能聊天機(jī)器人能展示類似人類的智能[7]，包括計算能力和社交技能。早期的聊天機(jī)器人主要基于對話庫中的模板和句型，對語義分析和用戶意圖的理解還不夠深入。近年來，深度學(xué)習(xí)、語音識別和模式識別等技術(shù)在自然語言處理領(lǐng)域取得突破，促使聊天機(jī)器人快速發(fā)展，使其又成為近年來的研究熱點和實踐應(yīng)用焦點。當(dāng)前我國大力推進(jìn)“互聯(lián)網(wǎng)+政務(wù)服務(wù)”，對便利企業(yè)和公眾辦事發(fā)揮了重要作用。

在智能的分類和評級方面，Huang 等人討論了四種智能的特征及表現(xiàn)，將人工智能需要更長時間才能模仿的智能稱為“更高”水平的智能，其中機(jī)械智能涉及自動執(zhí)行日常重復(fù)任務(wù)的能力；分析智能是處理信息解決問題并從中學(xué)習(xí)的能力；直觀智能是指創(chuàng)造性思維和有效適應(yīng)新情況的能力；情感智能是識別和理解他人情緒、做出適當(dāng)情緒反應(yīng)的能力[8]。類似地，Schepers 等人認(rèn)為智能有機(jī)械型、思考型和情感型三種[9]，并且不同類型和等級的智能將在特定服務(wù)情境中發(fā)揮獨特優(yōu)勢[10]，如機(jī)械智能在標(biāo)準(zhǔn)化服務(wù)場景中、分析智能在個性化服務(wù)場景中、直觀智能在社會服務(wù)場景中、情感智能在情感溝通服務(wù)場景中都能發(fā)揮各自優(yōu)勢，從而引發(fā)消費者較為積極的態(tài)度，例如Longoni等人在醫(yī)療服務(wù)場景之下分析病人對機(jī)械智能服務(wù)的評價發(fā)現(xiàn)，由于患者可能感覺到自身獨特性不被重視，從而對機(jī)械智能懷有抵制態(tài)度，并且更希望接受含有情感和同理心的人類服務(wù)[11]。當(dāng)公眾在線參與社會治理時，聊天機(jī)器人所展現(xiàn)出的智能性越高，越會令人感受到自身意圖得到充分理解，因此提出以下假設(shè)：

H1：聊天機(jī)器人的智能程度會影響公眾在線參與意愿。

2 實驗設(shè)計

2.1 研究方法

實驗方法在識別因果效應(yīng)方面具有很大優(yōu)勢，也能夠?qū)ι形茨艽笠?guī)模實施的政策進(jìn)行效果預(yù)判和評估[12]，原因是實驗方法具有隨機(jī)化配置干預(yù)、可重復(fù)性、標(biāo)準(zhǔn)化操作、可控條件等特征、“控制-對照-比較”的嚴(yán)格邏輯，并且兼具信度和效度。調(diào)查實驗法彌補(bǔ)了實驗室實驗樣本數(shù)量較少導(dǎo)致的外部效度不足的缺陷，能得到大量樣本數(shù)據(jù)，且能借助技術(shù)手段實現(xiàn)隨機(jī)化分組。因此，解決本文問題最適宜的方法是調(diào)查實驗法。

2.2 實驗流程設(shè)計

在實驗程序的設(shè)計上，本文通過在線調(diào)查平臺“Credamo 見數(shù)”發(fā)放搭載實驗情境設(shè)計的版本各異的問卷，被試者在完成問卷且問卷被判定有效后可獲得定額獎勵。通過選擇平臺信用分不低于80 分的樣本、設(shè)置多次發(fā)布作答用戶不重復(fù)（保證多個實驗研究以及每個實驗內(nèi)部樣本完全不重復(fù)）、IP 地址限制（每臺設(shè)備限填一次）和設(shè)置甄別題（檢測被試者是否認(rèn)真作答）等方式控制填答質(zhì)量，此外還剔除了答題時間過短（少于正常填答時間）和未通過情境測試題的樣本確保問卷質(zhì)量。實驗材料共包括三個部分：第一部分假設(shè)“身份證丟失”背景；第二部分為實驗情境，設(shè)置4 組智能程度不同的被試間實驗設(shè)計，被試者被隨機(jī)分配機(jī)械智能組、分析智能組、直觀智能組、情感智能組4 組中任意一組并閱讀相關(guān)材料；被試者收到一段材料，隨機(jī)呈現(xiàn)文本和圖片，從而考察不同實驗條件下被試者在線參與意愿的差異；第三部分為自變量、因變量和基本信息測量，基本信息包括性別、年齡、受教育程度、收入、之前參與咨詢的頻率。

在實驗材料的選擇上，本文基于“咨詢”的公眾參與場景進(jìn)行設(shè)計，采用Huang 對于四種智能的定義來模擬相應(yīng)文字和圖片[8]，并參考某城市12345 智能咨詢來模擬圖片。機(jī)械智能組能提供簡要回復(fù)；分析智能組能提供詳細(xì)回復(fù)；直觀智能組能整合多種信息來提供詳細(xì)回復(fù)，完全理解對話含義；情感智能組還能夠提供安慰、理解情緒。

3 實驗結(jié)果

3.1 數(shù)據(jù)收集與被試分布

實驗二共獲得有效問卷292 份，其中男性33.2%，女性66.8%；年齡在18-29 歲占比58.2%，大多數(shù)為青年人；本科學(xué)歷占比最多為71.9%；中等收入群體占多數(shù)；之前參與頻率方面，從未咨詢過、極少咨詢、偶爾咨詢、有時咨詢、經(jīng)常咨詢分別有1.7%、24.7%、47.6%、22.3%、3.8%。

3.2 量表的信效度檢驗

感知智能量表的Cronbach's alpha 系數(shù)為0.904，該量表內(nèi)部一致性非常高。其次通過AMOS 進(jìn)行驗證性因子分析檢驗效度，各測項因子載荷值都在0.9 左右，AVE 大于0.8 且Cr 大于0.9，符合效度要求。（表1）

表1 量表的信效度檢驗結(jié)果

3.3 平衡性檢驗

單因素方差分析可得各變量的F 檢驗均未達(dá)顯著且在不同分組條件下的均值差別很小，因此被試者在組間的平衡性較好，為進(jìn)一步分析提供保證。（表2）

表2 平衡性檢驗結(jié)果

3.4 自變量操縱檢驗

為檢驗自變量操縱的有效性，借鑒人機(jī)交互領(lǐng)域的成熟量表Godspeed 問卷系列中的“感知智能”設(shè)計問題，包括有能力的、有知識的、負(fù)責(zé)任的、有智力的、敏感的5 個測項。該系列到2022年已被引用1852 次，已成為人機(jī)交互領(lǐng)域的標(biāo)準(zhǔn)測量工具之一[13]。由于方差齊性不滿足，因此采用非參數(shù)檢驗方法。Games-Howell 多重檢驗的結(jié)果表明感知智能均值關(guān)系為機(jī)械智能組＜分析智能組＜直觀智能組＜情感智能組，兩兩比較的差異均在p＜0.001 的水平上顯著。因此對于自變量智能程度的操縱可行。

假設(shè)檢驗同樣采用非參數(shù)檢驗。多重檢驗的結(jié)果表明公眾在線參與意愿的均值關(guān)系為機(jī)械智能組＜分析智能組＜直觀智能組＜情感智能組，除了情感智能組與直觀智能組的差異在p=0.039 的水平上顯著，其他兩兩比較的差異均在p＜0.001 的水平上顯著，如表3 所示，因此假設(shè)H1得到證實。

表3 假設(shè)檢驗結(jié)果

本文還通過構(gòu)造加權(quán)最小二乘法（WLS）回歸進(jìn)行穩(wěn)健性檢驗。首先對自變量和因變量進(jìn)行對數(shù)處理，通過White 檢驗明確拒絕同方差假設(shè)，再將擬合值變量取指數(shù)變換、倒數(shù)變換后獲得權(quán)重，經(jīng)過加權(quán)的回歸模型不再存在異方差性，并且R2為由0.6631 變?yōu)?.9867，模型擬合程度有了極大提升。結(jié)果為自變量回歸系數(shù)為正并對因變量有顯著影響（p＜0.001），進(jìn)一步驗證了假設(shè)H1，即聊天機(jī)器人的智能程度會影響公眾在線參與意愿，隨著智能程度的提升，公眾在線參與意愿提升。

4 結(jié)語

本文通過4 個不同智能程度的場景進(jìn)行實驗，分別考察公眾未來在線參與的意愿，對實驗數(shù)據(jù)進(jìn)行非參數(shù)檢驗，保證自變量操縱有效、各組平衡性較好，并且經(jīng)事后檢驗表明，政務(wù)智能聊天機(jī)器人的智能程度越高，公眾在線參與的意愿越強(qiáng)。

當(dāng)前關(guān)于“智能”的研究主要集中在探究人們對智能程度較低的系統(tǒng)的接受意愿及其影響機(jī)制方面，探究和比較不同類型或不同程度的智能系統(tǒng)對人們態(tài)度影響的相關(guān)研究較少。因此本文從實證視角出發(fā)，通過調(diào)查實驗比較不同程度的智能系統(tǒng)效果，研究結(jié)論對相關(guān)研究是有益的補(bǔ)充。在實踐啟示方面，微觀上，本文模擬實際場景調(diào)研公眾在線參與的意愿，能夠為實踐應(yīng)用中如何設(shè)置有效的智能手段來鼓勵公民參與到公共事務(wù)中提供借鑒，促使智能技術(shù)真正賦能于社會治理共同體的建立；宏觀上，本文認(rèn)為將人工智能應(yīng)用于政務(wù)服務(wù)能夠滿足公眾的現(xiàn)實需要，為推進(jìn)國家治理體系和治理能力現(xiàn)代化提供支撐，更能顯著提升社會治理效能，從而盡快形成共建共治共享的社會治理新格局。