基于腳本分析的數字參考咨詢問題類型及其答案準確度研究*

（鄭州大學信息管理學院 河南鄭州 450001）

圖書館開展數字參考咨詢服務已經十多年了，這期間正值因特網快速普及，網絡服務商推出的眾多面向用戶的互動問答服務產品（如百度知道、Google Answers和Yahoo!Answers等）與圖書館構成了激烈競爭。本文基于OCLC解密的QuestPoint國際合作數字參考咨詢聯盟的咨詢腳本，分別隨機抽取2005年和2011年樣本，分析兩個樣本的問題類型及其準確度，從時間維度觀察咨詢問題的類型和答案準確度的變化情況，分析變化的原因，探討因特網的互動問答服務對圖書館的影響。

1 腳本分析的步驟

1.1 樣本抽取

在QP的2005年實時聊天咨詢的記錄中，隨機抽取850份記錄。為了進行對比分析，在QP的2011年實時聊天咨詢的記錄中隨機抽取350份記錄。并在同期的即時信息（IM）Qwidget服務（以下簡稱QW）會話咨詢的腳本中隨機抽取210份腳本。這樣，抽取該年份的咨詢樣本共計560份。因為QW軟件2008年才加入到QP中，所以在2005年沒有出現。為了保護個人（包括用戶和咨詢人員）的隱私，OCLC對所有記錄和腳本都已經去除了可識別的個人信息，包括姓名、性別、年齡、工作單位、聯系電話、EMAIL、IP地址等。

1.2 問題分類

參考Arnold 和Kaske，〔1〕Radford 和Connaway，〔2〕以及Ross et al.〔3〕對參考咨詢問題的分類研究，本研究團隊對抽取的每份聊天記錄和QW腳本進行分析，對咨詢的問題類型進行了下述分類（見表1）。

表1 咨詢問題的分類

3 方針與程序能否在漫長的暑假中在線續借圖書？怎樣續借？4 無實質問題有關圖書館的方針、政策與程序方面的問題。數字參考系統的測試對話腳本。沒有可以識別出問題的用戶與咨詢員之間的對話交流。（如，對某個咨詢員的表揚）5 館藏資源有關圖書館某些特定藏書，包括紙介質和數字介質的。貴館是否收藏有對Paris Hilton進行評論的圖書？6 研究型問題用戶常常是一個學科領域的專家，尋求針對一項特定研究的詳細資料。咨詢人員常需花費較長時間和精力進行回答。請提供全國范圍內的交通普查和交通事故報告的資料。7 不合適的問題某某有幾個私生子，這些私生子的現狀如何？8 指引型問題對于參考咨詢服務不合適的問題，如涉及個人隱私的問題。要求提供就某件事情的引導性信息。 暑假青少年閱讀項目的URL是什么？9 用戶所需的建議幫助查找用戶希望閱讀的圖書、希望聽的歌曲、希望獲得愉快感受的信息等。是否能夠提供任何一種科幻方面的圖書？

1.3 答案的準確度分析

將“簡單問題”型咨詢問題抽取出來，進行準確度分析，結果是2005年的樣本中“簡單問題”型咨詢243份，2011年的樣本中“簡單問題”型咨詢179份。參考Arnold和Kaske，〔4〕Radford 和 Connaway，〔5〕以及 Radford, Connaway,Confer, Sabolsci-Boros, Kwon〔6〕的研究成果，制定了表 2 所示的“準確度的類型劃分”作為準確度分析的框架。雖然在有些樣本中，在咨詢員提供答案之前，用戶中斷了咨詢過程，但對這些咨詢問題和答案也進行準確度分析，因為用戶提供了Email，答案和咨詢腳本隨后傳到用戶的Email中。另外，同一用戶就相同問題向不同咨詢員進行咨詢，后續咨詢腳本被刪除，這樣，在2005年的243份樣本中刪除63份樣本，剩余180份。2011年的179份樣本中刪除11份樣本，剩余168份。

在進行準確度分析時，采用了訪問權威網站、相關數據可檢索、訪問咨詢員提供的參考文獻及網址、咨詢相關專業領域專家學者等方式。每個問題的答案都由兩位研究人員進行準確度判斷，意見不一致時，進行小組討論。結果，每個咨詢問題的答案準確度情況只歸入表2中的其中一種類型。

表2 準確度類型劃分

2 腳本分析的結果

2.1 問題的類型

圖1 2005年樣本的問題類型（850份樣本，915個問題）

圖1展示的是從2005年的850個樣本中抽出的915個問題按照表1進行歸類的情況。一些樣本包含有兩個及其以上可識別的問題，比如，用戶提問中包含有兩個不同的論題，而不是同一個問題的不同方面。

圖1中展示了6種問題（占的比例較高）類型，比例較低的沒有展示，包括“研究型問題”（23個，占3%）、“不合適的問題”（10 個 ,占 1%）、“指引型問題”（2 個，占 <1%）和“用戶所需建議”型問題（1個，占<1%），所有這些都歸到了“其他”類。

圖2展示的是從2011年隨機抽取的560個樣本中包括的575個問題的歸類情況。與2005年的樣本一樣，有些樣本也包括多個問題。同樣，圖2展示的是比例較高的6種問題類型。比例較低的問題類型都歸到“其他”類，其中有：“研究型問題”（19 個，占 3%）、“指引型問題”（15 個，占 3%）、“用戶所需建議”（6個，占1%）、“不合適的問題”（4個,占<1%）。

圖2 2011年樣本的問題類型（560份樣本，575個問題）

圖3 2005年問題類型與2011年問題類型的對比

圖3對比了2005年與2011年兩個樣本集中占比例最高的前5種類型問題，可以看出，咨詢問題的類型隨時間有所變化。在2005年的樣本集中，問題最多的依次為“主題檢索”、“簡單問題”、“方針與程序”，但在2011年的樣本集中，問題最多的依次為“方針與程序”和“簡單問題”（都占31%）、以及“主題檢索”。其中，針對“主題檢索”，2005年所占的比例（占32%）幾乎是2011年（占17%）的翻倍。另外，“簡單問題”型所占比例穩中略有上升（從2005年的27%，到2011年的31%）。

圖4展示了2011年抽取樣本的問題類型總量，以及實時聊天咨詢（QP）與即時信息咨詢（QW）問題分別占的比例。當聚焦在“簡單問題”型咨詢時，在QP中的比例（21%）要略低于在QW中的比例（24%）。當然，在QP中，占的比例最高的兩類為：“簡單問題”（21%）、“方針與程序”（17%）。但在QW中，這個順序被顛倒了，最多的是“方針與程序”（39%）和“簡單問題”（24%）。其他類型的問題所占的比例也都有所變化，但變化不很大。

圖4 2011年樣本的問題類型（QP與QW的對比）

2.2 回答的準確度

根據1.3所述，在對“簡單問題”型咨詢的準確度進行分析時，在2005年的243個樣本中刪除了63個樣本，剩余180個樣本，2011年的179個樣本中刪除了11個樣本，剩余168個樣本。圖5展示了正確答案和不正確答案的情況。在2005年的樣本中，正確答案為141個（占78%），在2011年樣本中，正確答案為151個（占90%），說明從時間維度，圖書館提供的數字參考咨詢服務的答案正確率逐年上升。圖5也展示了“不正確答案”的情況，分別為：2005年為36個（占20%），2011年為7個（占4%），說明從時間維度，圖書館提供的數字參考咨詢服務的答案不正確率逐年下降。

圖5 “簡單問題”的回答正確與否對比（2005年與2011年）

圖6 “簡單問題”回答正確中有關來源引用情況的對比（2005年與2011年）

圖6展示了“正確答案”的三種情況（見表2中的前三種）分別占的數量和比例。總體上講，雖然從2005年到2011年準確率有所增加（圖5），但具體到不同類型上有升有降（圖6）。

3 對腳本分析結果的討論

3.1 咨詢問題的類型

由圖3可以看出，從時間維度來看，變化最大的是“主題檢索”，從2005年的32%到2011年的17%，幾乎減少了一半，但這個減少主要增加到了“方針與程序”的問題上（從2005年的18%增加到2011年的31%）。一種可能的解釋是，隨著時間的推移，用戶更傾向于選擇數字參考咨詢服務解決一些簡單問題，而“主題檢索”這類比較專業的問題則常通過其他方式（如面對面咨詢、電話咨詢）解決。“方針與程序”類問題在圖書館網站上越來越難以找到答案，而這類問題又無法到因特網上找到解答，所以只有尋求圖書館提供的數字參考咨詢服務來解決。另外，圖4也驗證了這個判斷，“方針與程序”的咨詢問題出現在IM即時信息（采用QW軟件）中比出現在實時聊天中更為普遍，這也表明咨詢模式正在影響用戶的選擇，Rourke和Lupien〔7〕在比較Guelph大學的實時聊天服務和IM服務中也得出了類似的結論。

Forbes &Brown( 2012)認為，因特網上搜索引擎、維基百科和在線幫助（如Springshare's LibGuides）等普及，越來越多用戶選擇這些服務進行“主題檢索”，導致了圖書館數字參考咨詢服務的使用數量減少，這種變化也是虛擬參考咨詢中“主題檢索”咨詢問題數量降低的原因。本文的調查也驗證了這個觀點。還有，Allen〔8〕發現對檢索的主題了解多的用戶（一般為專家級用戶）傾向于采用范圍較廣的檢索，反之，初學者更傾向于特定檢索，年輕用戶更樂于選擇即時信息方式進行特定咨詢。雖然，本次調查無法獲得用戶的年齡，但不同年齡段用戶的咨詢行為值得未來研究。

3.2 “簡單問題”型咨詢：仍然存在且持續增長

美國情報學家Janes針對“簡單問題”型咨詢的未來做了如下預測〔9〕：“作為對特定問題給予快速、事實型答案的‘簡單問題’型咨詢一直是圖書館參考咨詢工作的一個部分，但隨著信息技術的出現，該部分將逐漸消失”。但是，本案例數據分析的結果則相反，這種類型的問題所占比例不僅沒有減少或消失，反而穩中有增，從2005年的27%增加到2011年的31%。在另外的一個案例研究中，Numminen and Vakkari〔10〕針對“簡單問題”型咨詢問題出現的頻率進行了統計，結論是從1999年的33%上升到2006年的45%，上升了12%，該案例也驗證了本文的調查結論。

雖然從直覺上講，用戶可以使用瀏覽器、搜索引擎和基于因特網互動問答服務（如百度知道、Google Answers和Yahoo! Answers等），對于事實型問題尋求答案。但是，本案例的調查結果顯示并非所有用戶都是如此。一些檢索技術不嫻熟的用戶，缺乏查找正確和權威信息的能力，不熟悉或不樂意使用因特網上的互動問答服務。還有一種可能的解釋是用戶擁有使用數字參考咨詢服務的愉快經歷，相信圖書館員能夠提供準確答案。本案例顯示，隨著準確度的提高，數字參考咨詢服務仍然是對“簡單問題”的咨詢獲得高質量答案的可靠平臺。這也說明，因特網服務商推出的互動問答服務產品對圖書館的數字參考咨詢服務沒有產生實質性影響。

3.3 “簡單問題”型咨詢的準確度

圖5顯示，“簡單問題”咨詢的正確率從2005年的78%上升到2011年的90%，這兩個數字都遠遠高于圖書館界對傳統“面對面”咨詢正確率的最低要求55%。〔11〕圖6顯示，在2005年的腳本集合中隨機抽取的243個“簡單問題”型咨詢樣品中，有125個咨詢問題回答正確且完整并附有來源引用，比例為51%；在2011年的腳本集合中隨機抽取的168個“簡單問題”型咨詢樣品中，有114個咨詢問題回答正確且完整并附有來源引用，比例為68%；兩個階段相比，正確率增長17%。因此，無論是對“簡單問題”型的咨詢回答正確率還是提供正確答案同時也提供來源引用的比率都得到了大大提高。

雖然難以準確地確定原因，但可能的解釋有幾個。一是隨著數字參考咨詢服務的成熟和普及，在聊天和即時信息環境中，咨詢員從事這項工作更加嫻熟。二是咨詢員采用聊天工具進行咨詢服務時不再那么匆忙，他們認識到用戶選擇虛擬參考咨詢服務是因為這項服務的便 利性，而不是用戶急于獲得問題的答案。三是咨詢人員可能采納了一些專家提高咨詢準確度的建議。〔12-13〕

一個旨在提高咨詢準確度的被業界強烈推薦的一項建議是〔14-16〕：當咨詢員回答用戶問題的方式是提供一個包含用戶所需的網頁時，在提交給用戶之前，確定該網頁包括了能夠解答用戶問題的特定信息。舉一個簡單例子，一個2005年的虛擬參考咨詢腳本顯示，用戶的提問是“中國長城的緯度和經度以及附近的城市”，而咨詢員提供了一個有關中國長城旅游的網址，但是該網址的網頁沒有包含用戶所需的信息，被鑒定為一個不正確的咨詢答案。在本次腳本分析中，這種類型的錯誤在2005年的數據樣本中有36個，但在2011年數據樣本中下降到7個。

4 結語

本項研究有兩個局限性。①本案例分析采用的數據來自于聊天型咨詢的腳本。正如前所述，由于個人隱私的原因，QP和QW的會話記錄都進行了匿名處理，刪除了所有個人識別信息。因此，對用戶的不同分布群體使用數字參考咨詢的特征無法進行統計，如：不同年齡段或不同職業的用戶群體咨詢問題的類型差別等；也無法統計不同群體的咨詢員對咨詢問題的回答情況，如：咨詢員的不同學位、學歷、專業背景對用戶咨詢問題的回答正確率的差異等。另外，也無法與用戶和咨詢員取得聯系，尋求用戶對答案的滿意程度評估和咨詢員對答案的正確度評價。所有這些統計都無法僅僅憑借腳本進行實施。②本文選擇的樣本均隨機抽取自QP的聊天咨詢腳本數據庫，我們認為抽取的樣本可以代表QP在相應期間的整體情況，但并不聲稱本文的統計結果能夠反映其他數字參考咨詢聯盟或QP的其他年份。

本項研究有兩項后續內容。①本文僅對“簡單問題”型咨詢答案的準確度進行了評估，所以，對其他類型問題答案的準確度分析是本課題的后續研究內容之一。②向用戶提供參考咨詢，目前除了圖書館開展這項服務外，越來越多的基于因特網內容服務商也提供互動問答服務實現該項功能，并且后者擁有的用戶群體更大。因此，對基于因特網的互動問答服務的腳本進行分析，統計出問題的類型和準確度，并與圖書館的數字參考咨詢服務進行比較，尋求圖書館可以從因特網提供這項服務中的借鑒之處，是本課題的后續研究內容之二。

1,4.Arnold, J., Kaske, N. K. . Evaluating the quality of a chat service. portal: Libraries and the Academy, 2005(2):177-193

2,5.Radford, M. L., Connaway, L. S. . Seeking synchronicity:Evaluating virtual reference services from user, non-user, and librarian perspectives.〔2013-08-09〕. http://www.oclc.org/research/activities/synchronicity/default.htm

3.Ross, C. S. et. al. Conducting the reference interview: A how-todo-it manual for librarians . New York, NY: Neal-Schuman Press, 2009.5

6,13,16.Radford, M. L. et. al. “Are we getting warmer?” Query clarification in live chat virtual reference. Reference & User Services Quarterly, 2011(3): 259-279

7.Rourke, L., Lupien, P.. Learning from chatting: How our virtual reference questions are giving us answers. Evidence Based Library and Information Practice, 2012(2):63-74

8.Allen, B. . Topic knowledge and online catalog search formulation.The Library Quarterly, 2012(2):188-213

9.Janes, J.. What is reference for? Reference Services Review,2003(1): 22-25

10.Numminen, P., Vakkari, P. . Question types in public libraries’digital reference service in Finland: Comparing 1999 and 2006. Journal of the American Society for Information Science and Technology, 2009(6):1249–1257

11.Hernon, P., McClure, C. R. . Unobtrusive testing and library reference services. Norwood, NJ: Ablex Publishing. 1987. 10

12,14.Connaway, L. S., Radford, M. L. Seeking synchronicity:Revelations and recommendations for virtual reference. [2013-03-09].http://www.oclc.org/reports/synchronicity/full.pdf

15.Radford, M. L., Connaway, L. S.. Getting better all the time:Improving communication and accuracy in virtual reference. NewYork,NY: Neal-Schuman Press, 2010. 7