眾包策略在語言資源建設中的應用

黃居仁?王世昌

提 要 眾包概念可從眾包策略、眾包策略的實現(xiàn)方法以及眾包策略的實現(xiàn)案例三個層面來理解。眾包策略的要義在于借助互聯(lián)網(wǎng)以公開招募的形式匯聚眾智眾力解決問題。語言資源建設包括本體語言資源建設和派生語言資源建設兩項主要內(nèi)容。眾包在語言資源建設中可用于語言數(shù)據(jù)的采集和加工、語言生活輿情調(diào)查、為語言資源建設提供資金和設施支持、促進語言資源建設的宣傳推廣和語言資源建設社會力量的培育。眾包為多、快、好、省、可持續(xù)地進行語言資源建設提供了可能。土耳其機器人在語言資源建設中有著廣泛的應用空間，是目前眾包策略運用于語言資源建設的最具操作性和最為成熟的實現(xiàn)方法。

關鍵詞 眾包；眾包策略；眾包平臺；語言資源；土耳其機器人

Abstract The crowdsourcing concept can be understood from three perspectives： the crowdsourcing strategy， the implementation method of crowdsourcing strategy， and the implementation case of crowdsourcing strategy. The gist of crowdsourcing strategy is to unite the power and wisdom of crowds to solve problems in the form of open call via the Internet. Language resource construction consists of natural language resource construction and extended language resource construction. In language resource construction， crowdsourcing can be used to collect language data， to process language data， to conduct language-related surveys， to fund language resource construction， to promote the publicity of language resource construction， and to cultivate the social forces for language resource construction. This paper provides a relatively detailed explanation of the development of crowdsourcing strategy and how it can be utilized in developing language resources with an illustration of Mechanical Turk， which has extensive applications in language resource construction and is the most well established and operational crowdsourcing implementation method at present. At the end of the article， we further elaborate the strength of this innovative approach that presents a strategic opportunity for users to champion a collaborative digital

enterprise and to tap into the possibility contributed by diverse audience through using a variety of social media and collaborative software solutions， showing our optimism for the prospect of outsourcing work to the crowd for obtaining needed services or ideas in resolving problems.

Key words crowdsourcing； crowdsourcing strategy； crowdsourcing platform； language resource； Mechanical Turk

一、引 言

語言是一種資源已成為人們的共識。語言資源的重要性也日益引起學術界乃至全社會的強烈關注。語言資源只有經(jīng)過合理的建設才能充分發(fā)揮其價值，滿足社會日益增長的語言資源需求，實現(xiàn)健康可持續(xù)發(fā)展。然而，傳統(tǒng)的語言資源建設方法有其力有不逮、力不從心之處，不能完全滿足語言資源建設的需求，這使語言資源建設陷入困境。眾包策略具有突破這一困境的力量，預示著語言資源建設的未來。

語言資源主要包括本體資源（或稱自然語言資源）與派生資源（或稱衍生語言資源）兩大類（陳章太 2008；王鐵琨 2010；李宇明 2011，2012）。本體語言資源包括各種語言及其方言的語音系統(tǒng)、詞匯系統(tǒng)、語法系統(tǒng)和文字符號系統(tǒng)；派生語言資源，概括地說，囊括了“語言知識、語言產(chǎn)品和語言技術”（李宇明 2011）；具體地說，它至少包括“語言知識所轉(zhuǎn)化的語文辭書、教科書等文化產(chǎn)品及相關計算機軟件產(chǎn)品，以及字庫和基于語言信息處理的語言知識庫、語料庫、數(shù)據(jù)庫等”（王鐵琨 2010）。

語言資源建設是一個由語言資源概念衍生出來的概念，主要包括本體語言資源建設和派生語言資源建設兩方面的內(nèi)容。本體語言資源建設要從量與質(zhì)兩方面著眼。在量的方面，一方面要維持現(xiàn)有本體語言資源，另一方面要積極培育新的本體語言資源，促進語言多樣性。在質(zhì)的方面，則要不斷提升各種本體語言資源的活力，促使其健康及可持續(xù)發(fā)展。本體語言資源建設的具體措施主要包括推廣、保護、保存、培育和規(guī)范等。此外，我們也應該看到語言資源監(jiān)測（陳敏 2010；王鐵琨等 2011；崔樂 2011）以及語言普查工作（李宇明 2008；范俊軍、肖自輝 2010）在本體語言資源建設中也發(fā)揮著重要的作用，它們能為具體的本體語言資源建設決策提供信息支持。派生語言資源種類繁多，蔚為大觀。派生語言資源建設包括了語言知識生產(chǎn)、語言產(chǎn)品建造以及語言技術研發(fā)等豐富的內(nèi)容。正因如此，派生語言資源建設大有可為。比較而言，本體語言資源建設更側(cè)重于語言規(guī)劃、語言戰(zhàn)略和語言政策的籌劃與實踐，而派生語言資源建設則更側(cè)重于對語言的文化價值、工具價值以及市場價值的開發(fā)與利用。本體語言資源建設是派生語言資源建設的基礎，派生語言資源建設反過來又能促進本體語言資源建設，兩者互為補充，互相促進，共同構成了語言資源建設的內(nèi)容。

語言資源建設有兩種基本模式，即自上而下模式和自下而上模式。自上而下模式一般由政府、機構或企業(yè)發(fā)起、資助、計劃并主導，同時負責組織人員力量，配置資金設備，協(xié)調(diào)分工協(xié)作并監(jiān)督進度、控制質(zhì)量。在這種模式中幾乎每一件事情都是自上而下協(xié)調(diào)安排的。而自下而上模式則主要依靠社會大眾的力量；在一定的條件下，社會大眾的力量能夠匯聚起來，進而通過自我組織的方式進行協(xié)作，凝結(jié)成強大的生產(chǎn)力進行語言資源建設。在這種模式中幾乎每件事都是自下而上協(xié)調(diào)安排的。

眾包正是在語言資源建設中運用社會大眾力量的有效途徑。曹志耘（2015）在論述中國語言資源保護工程（“語保工程”）的定位、目標和任務時曾言，及語保工程涉及全中國56個民族、135種語言、十大漢語方言、難以計數(shù)的方言土語、2000多個縣，工程規(guī)模浩大，任務艱巨而緊迫；然而，中國“從事語言資源調(diào)查保護的專業(yè)力量極為有限”，“與保護需求相比可謂杯水車薪，重新培養(yǎng)則是遠水救不了近火”；“調(diào)查保護經(jīng)費完全依靠政府投入，金額有限，也難以保證長期持續(xù)支持”；“語言資源保護工作是在和時間賽跑，但由于各方面條件的限制，調(diào)查保護的速度遠遠趕不上語言資源衰亡和流失的速度”。對此他提出的對策是社會化，“面向社會開放，吸引社會大眾參與”，并指出：“如能發(fā)動廣大社會力量參與和分擔語保工程任務，則可從根本上解決人力不足、經(jīng)費匱乏、時間緊迫等問題。”這與我們所說的自下而上模式，即眾包模式不謀而合。語保工程屬于本體語言資源建設范疇，而在派生語言資源建設中也存在同樣的問題，也要運用同樣的對策。

眾包一詞由英文單詞crowdsourcing意譯而來，它由Jeff Howe和Mark Robinson于2006年創(chuàng)制。從詞源的角度看，crowdsourcing是crowd和outsourcing的混成詞，它字面的意思是將任務外包給大眾（to outsource tasks to the crowd）（Howe 2006， 2009）。眾包的定義眾說紛紜，但各種定義基本都不會偏離Jeff Howe題為“Crowdsourcing： A Definition”的博客文章中的基本定義：“眾包是將傳統(tǒng)上由指定人員（通常是雇員）承擔的工作以公開招募的形式外包到一群不確定的人的行為。”而在一則名為“Crowdsourcing： The Trailer”的視頻短片中，Jeff Howe口述了此定義并在其末尾加上了“通常使用互聯(lián)網(wǎng)”的表述。

我們主張按照從抽象到具體的順序?qū)⒈姲譃槿齻€層次來理解：（1）眾包策略；（2）眾包策略實現(xiàn)方法；（3）眾包策略實現(xiàn)案例。從最抽象的層級上講，眾包是一種問題求解策略。眾包策略的要義在于借助互聯(lián)網(wǎng)以公開招募的形式匯聚眾智眾力解決問題。這種抽象的策略具有極為廣泛的適用性。而將這樣一種抽象的策略應用于具體的問題和任務當中，便有了眾包策略的實現(xiàn)方法的問題，即將眾包策略運用到具體的問題和任務中的方式方法。因為現(xiàn)實中具體的任務和問題是多種多樣的，有著不同的性質(zhì)和要求，在其中運用眾包策略的方式方法勢必就會有所不同。目前已經(jīng)存在一些較為成熟的眾包策略實現(xiàn)方法，例如開源（open source）（Raymond 1998）、維基（wiki）（Tapscott & Williams 2006）、土耳其機器人（Mechanical Turk）（Mason & Suri 2012）、有目的的游戲（games with a purpose）（von Ahn 2006）、雙重目的任務（dual-purpose work）（von Ahn et al. 2008；Quinn & Bederson 2009，2011）等。眾包策略的實現(xiàn)方法體現(xiàn)出高度的創(chuàng)造性，新的實現(xiàn)方法還將不斷出現(xiàn)。各種不同的眾包策略實現(xiàn)方法都應按照各自特點去具體地定義和專門地研究。眾包策略的實現(xiàn)案例則指的是以一定的方式方法運用眾包策略對一個問題或任務的解決或完成。眾包策略的實現(xiàn)案例中貫穿著眾包策略的要義，體現(xiàn)著一定的眾包策略的實現(xiàn)方法。我們所說的眾包即指眾包策略。

可以以是否使用互聯(lián)網(wǎng)為標準區(qū)分現(xiàn)代眾包與傳統(tǒng)眾包。如果不作特別說明，眾包指的是現(xiàn)代眾包。互聯(lián)網(wǎng)是現(xiàn)代眾包的一個必備要件：只有通過互聯(lián)網(wǎng)這樣一個覆蓋面廣、傳輸速度快、通信成本低的通信與數(shù)據(jù)傳輸媒介以及便捷的支付渠道，公開招募才能得以便捷、經(jīng)濟地實施，眾智眾力才能得以便捷、經(jīng)濟地匯聚。互聯(lián)網(wǎng)使眾包達到了前所未有的廣度和深度。現(xiàn)代眾包的很多應用，是傳統(tǒng)眾包所難以實現(xiàn)的。

眾包對互聯(lián)網(wǎng)的運用，催生了眾包平臺這一概念。眾包平臺是供眾包發(fā)起者創(chuàng)建、發(fā)布、管理眾包任務，并供任務參與者參與眾包任務的網(wǎng)絡服務平臺。眾包平臺通過用戶接口與眾包發(fā)起者和任務參與者進行交互。用戶接口可以以網(wǎng)絡站點、PC客戶端、移動客戶端以及可嵌入網(wǎng)頁的在線應用等形式來實現(xiàn)。有些眾包平臺還提供應用編程接口（API），用戶可以通過編程的方式與平臺交互，從而實現(xiàn)一定的自動化。

Howe（2009：280）依照貢獻方式列出了四種主要的眾包類型：（1）大眾智慧或群體智能（crowd wisdom or collective intelligence）；（2）大眾創(chuàng)造（crowd creation）；（3）大眾投票（crowd voting）；（4）眾籌（crowdfunding）。雖然我們認為Geiger等（2011）的看法“眾包是一個復雜的現(xiàn)象，經(jīng)常涉及這些類別的組合，以至于有時難以區(qū)分”是合理的。但是Howe（2009）的四個分類，還是區(qū)分不同眾包形式的重要手段。

二、眾包建設語言資源

眾包在本體語言資源建設和派生語言資源建設中有著廣泛的適用性，并能發(fā)揮一系列重要作用，主要有：（1）語言數(shù)據(jù)采集；（2）語言數(shù)據(jù)加工；（3）語言生活輿情調(diào)查；（4）為語言資源建設提供資金及設施支持；（5）促進語言資源建設的宣傳和推廣；（6）促進語言資源建設社會力量的培育。其中，前四項是基礎作用，后兩項是附加作用。

語言數(shù)據(jù)采集是眾包在語言資源建設中的一個基本應用。在很多的語言資源建設項目中，語言數(shù)據(jù)采集是基礎任務，并且是難點。互聯(lián)網(wǎng)、個人電腦和智能手機的普及為語言數(shù)據(jù)采集提供了極大的便利，大眾能夠方便地以多媒體的形式采集語言數(shù)據(jù)，而通過互聯(lián)網(wǎng)將采集到的數(shù)據(jù)上傳到數(shù)據(jù)庫也十分便捷；它們?yōu)楸姲Z言數(shù)據(jù)收集帶來了無限可能。

語言數(shù)據(jù)加工是眾包在語言資源建設中的另一個基本應用。采集到的原始語言數(shù)據(jù)只有經(jīng)過加工才能夠充分地顯現(xiàn)出價值，便于后續(xù)開發(fā)利用。典型的語言數(shù)據(jù)加工任務包括分類、標注、轉(zhuǎn)寫、翻譯等。考慮到效率及成本問題，如果語言數(shù)據(jù)加工任務能利用計算機自動完成，則一般不使用人工，但是絕大多數(shù)語言數(shù)據(jù)加工任務尚不能完全利用計算機自動完成，而是需要依靠人機結(jié)合的方式，利用計算機粗處理然后再進行人工校對；而有些語言數(shù)據(jù)加工任務，由于尚無自動工具可以利用，只能依靠人工。對人而言，語言數(shù)據(jù)加工工作是極為枯燥、乏味且機械的苦差，做起來往往效率低下，要提高速度唯有增加人手，而在傳統(tǒng)的自上而下模式中，增加人手意味著高昂的經(jīng)費支出，不增加人手則意味著漫長的工期。這種兩難境地是自上而下模式經(jīng)常要面對的困境，這使它往往無力招架大規(guī)模語言資源建設項目。眾包所帶來的大規(guī)模、高靈活度、低成本的人力資源，可以有效打破這一困境。

語言生活輿情調(diào)查也是眾包在語言資源建設中的重要應用。利用眾包的方法發(fā)起在線問卷調(diào)查及大眾投票，可以方便快捷地收集有關語言生活的輿情信息。大到語言政策、語言認同方面的調(diào)查，小到大眾對具體語言現(xiàn)象的觀點等，都可以通過眾包的方法去實施和獲取。眾包還可以為語言資源建設提供資金及設施支持，這主要通過眾籌的方式得以實現(xiàn)。

在組織和發(fā)起語言資源建設的眾包活動時，必然會涉及對動員大眾參與語言資源建設的宣傳，而大眾實際參與語言資源建設的實踐，又能加深他們對語言資源建設的理解，甚至激發(fā)起他們參與語言資源建設的熱情，并自覺或不自覺地成為語言資源建設的宣傳員，所以眾包也能促進語言資源建設的宣傳和推廣。大眾參與語言資源建設的過程，也是接受語言資源建設教育和培訓的過程，有可能使其中的一部分人轉(zhuǎn)變?yōu)橹С终Z言資源建設的穩(wěn)定的社會力量；而圍繞著某些語言資源建設眾包平臺所形成的社區(qū)，更是能以自我組織的方式將語言資源建設的社會力量凝聚起來。所以眾包在語言資源建設中的應用也有助于培育語言資源建設的社會力量。

眾包雖屬新興事物，但已有很多用于語言資源建設的成功案例，舉幾例供大家參考。維基式眾包用于語言資源建設已結(jié)出累累碩果。大家比較熟悉的維基百科（www.wikipedia.org），可以說是人類有史以來最雄心勃勃的多語言百科詞典。另外，維基詞典（www.wiktionary.org）則以為所有語言創(chuàng)建詞典為目標，是一部與維基百科相配套的多語言詞典。文泉驛（wenq.org）則以維基式眾包創(chuàng)建了一整套開源、自由、免費的高質(zhì)量漢字字庫。鄉(xiāng)音苑（www.phonemica.net）正在用維基式眾包創(chuàng)建漢語方言語音故事庫。

土耳其機器人式眾包在語言資源建設中也有積極的應用，主要是用于語言數(shù)據(jù)的收集和加工。2010年NAACL舉辦了一個以“運用亞馬遜土耳其機器人創(chuàng)建語音及語言數(shù)據(jù)”（Creating Speech and Language Data with Amazons Mechanical Turk）為主題的專題研討會，會議論文集收錄了35篇文章，內(nèi)容涉及收集加工自然語言處理技術所需語言數(shù)據(jù)的方方面面，相關概要可見Callison-Burch & Dredze（2010）。Chen & Kan（2013）用土耳其機器人式眾包創(chuàng)建了一個中英雙語的短信（SMS）語料庫。土耳其機器人式眾包在語言資源建設中的另一個重要應用是執(zhí)行語言學實驗（Kuperman et al. 2012；Mason & Suri 2012；Crump et al. 2013；Enochson & Culbertson 2015）。我們也在運用土耳其機器人式眾包執(zhí)行漢語語言學實驗方面做了探索，運用Crowdflower平臺進行了漢語復合詞語義透明度評估實驗以及漢語分詞實驗方面的成功嘗試，驗證了在國際土耳其機器人平臺上執(zhí)行漢語語言學實驗的可行性，提出了總體框架并創(chuàng)建了語義透明度數(shù)據(jù)集SemTransCNC 1.0和人工分詞數(shù)據(jù)集WordSegCHC 1.0（Wang et al. 2014a，2014b，2015a，2015b）。

其他的眾包策略實現(xiàn)方法在語言資源建設中的應用也值得關注。例如雙重目的任務式眾包可以被巧妙地用于語言數(shù)據(jù)收集。這方面最為著名的例子可能非reCAPTCHA（von Ahn et al. 2008）莫屬。CAPTCHA的意思是“用于區(qū)分計算機和人類的全自動公共圖靈測試”（Completely Automated Public Turing Test to Tell Computers and Humans Apart），它要求用戶去識別一些圖片中的扭曲的文字，這種任務對人來說很簡單，但是對機器人（計算機程序）來說則十分困難，由此它可以將人和機器人區(qū)分開來。大量網(wǎng)站運用CAPTCHA技術來防止惡意訪問。據(jù)估計，在世界范圍內(nèi)人們每天都會有上億次的CAPTCHA鍵入，每次鍵入都只需幾秒鐘的時間，但是累積起來，這相當于每天數(shù)十萬小時的人工。這是十分可觀的人類智力資源，它做了計算機尚不能做好的扭曲字符識別任務，如不加以利用實屬浪費。于是reCAPTCHA被設計了出來，將這種人類智力資源用于輔助紙質(zhì)書籍的數(shù)字化。Google圖書項目（books.google.com）正在利用這項技術建設世界最大的數(shù)字圖書館。

眾包用于語言資源建設所帶來的好處可以用“多、快、好、省、可持續(xù)”來概括。“多”有兩個含義，一個含義是規(guī)模大，另一個含義是多樣性高。“快”指語言資源建設速度快。“好”指語言資源建設的質(zhì)量好。“省”指的是節(jié)省資金。“可持續(xù)”包括兩個方面：一方面，眾包使得語言資源可以以一種不間斷的生長和進化的方式進行建設；另一方面，眾包平臺或眾包任務所培育起來的社區(qū)力量，也顯現(xiàn)出世代傳承、生生不息的生命力，這可以使語言資源建設獲得源源不斷的動力。

三、土耳其機器人

雖然很多眾包實現(xiàn)方法在語言資源建設中都有用武之地，但從目前來看土耳其機器人（Mecha?nical Turk，簡寫為MTurk）具有特殊的重要性。當前，關于眾包在語言資源建設中的應用往往以土耳其機器人作為范式。它可以用于語言材料的采集、語言材料的標注、執(zhí)行語言學實驗以及語言生活輿情調(diào)查等，在語言資源建設中有著廣泛的應用空間。與其他眾包實現(xiàn)方法，例如開源、維基、雙重目的任務等相比較，它在創(chuàng)建和運作眾包任務方面十分簡便易行，是目前眾包策略運用于語言資源建設的最具操作性的方法。另一方面，它用于語言資源建設的相關研究和實踐較多，人們已經(jīng)積累了相當多的知識、經(jīng)驗與技術，這使它成為了眾包策略用于語言資源建設的最為成熟的實現(xiàn)方法。

土耳其機器人是以經(jīng)濟利益為主要激勵因素促使大眾參與任務的一種眾包策略實現(xiàn)方法。它以土耳其機器人平臺作為基礎，土耳其機器人平臺可以看作一個24小時在線、靈活、按需分配的人力資源市場。在土耳其機器人平臺上有兩類用戶，一類是眾包任務的發(fā)起者（requester），我們稱之為“雇主”；另一類是眾包任務的參與者（worker），我們稱之為“工人”。雇主在平臺上創(chuàng)建和發(fā)起眾包任務，并設定酬金及參與條件，符合參與條件的工人可以在線參與任務，并根據(jù)完成任務的質(zhì)量及數(shù)量獲得酬金（平臺會從雇主那里收取一定比例的服務費用）。通常一個眾包任務會按照雇主的設定被平臺自動分解為一系列同質(zhì)且基本等量的“微任務”，這個過程稱為任務分解（microtasking）。被分解出來的小任務按慣例被稱作“人類智能任務”（human intelligence task），英文縮寫為HIT。例如，有10 000個句子需要標注，我們可以將其分解為1000個（每個10句）微任務。任務通過分解化整為零，每個微任務只需要很短的時間便能完成，不同的微任務可以被不同的工人并行完成，所有微任務的結(jié)果整合起來便構成了對整個任務的解決。每個工人可以完成一個或多個微任務，酬金以其完成的微任務的質(zhì)量和數(shù)量計算。每個微任務也可以由多個工人完成，從而可以通過冗余濾除噪音，提高數(shù)據(jù)質(zhì)量。由任務分解這種機制來看，土耳其機器人式的眾包往往是集成性眾包，但是，它也可以實現(xiàn)選擇性眾包。

土耳其機器人式眾包以土耳其機器人平臺為基礎。抽象地看，土耳其機器人平臺由相互聯(lián)系、相互協(xié)作的五大部分構成：（1）由平臺上所有的雇主所構成的雇主池（requester pool）；（2）由平臺上所有的工人所構成的工人池（worker pool）；（3）由平臺上所有的正在進行的眾包任務所構成的任務池（task pool）；（4）用于實現(xiàn)用戶管理、任務管理、質(zhì)量控制、財務管理等的服務機構；（5）平臺與用戶交互的界面，包括用戶界面及應用編程界面（API）。所有的土耳其機器人平臺的實現(xiàn)都要包含這些部分。

四、眾包的技術需求及在中文環(huán)境使用眾包

目前來看，比較重要的土耳其機器人平臺實現(xiàn)有兩個，即亞馬遜土耳其機器人（Amazons Mechanical Turk，簡寫為AMT，www.mturk.com）和Crowdflower（www.crowdflower.com）。亞馬遜土耳其機器人出現(xiàn)于2005年，是世界上首個土耳其機器人平臺的實現(xiàn)，由它開創(chuàng)的眾包策略的實現(xiàn)方法相應地被稱作土耳其機器人。Crowdflower是另外一個著名的土耳其機器人平臺實現(xiàn)。它們雖然都是典型的土耳其機器人平臺，但是也有顯著差異。先從平臺用戶構成（雇主池、工人池）上看，AMT不支持美國以外的人申請注冊雇主賬戶，而Crowdflower并無此限制。AMT對雇主賬戶的限制，決定了美國之外的人若想在AMT上創(chuàng)建和發(fā)布任務，只能通過某種中介的方式來間接實現(xiàn)。AMT僅維持一個平臺本地的工人池，Crowdflower除擁有平臺本地工人池外，還可以將任務散布到其他數(shù)十個外部渠道平臺上，從而也可以使用外部渠道平臺的工人池。AMT曾經(jīng)是Crowdflower的渠道平臺之一，可以說Crowdflower有著比AMT更大的工人池。再從質(zhì)量控制方面看，AMT支持一種稱為“資格證”（qualification）的質(zhì)量控制方式，雇主可以發(fā)布資格測試，工人一旦通過了資格測試便獲得了某種資格證，雇主在發(fā)布任務的時候可以限定只有具備某種資格證的人才能參與任務；Crowdflower并不支持這種機制。AMT允許雇主手動駁回工人提交的任務完成結(jié)果，并且不為駁回的結(jié)果支付酬金，而Crowdflower并不支持這一機制，但它允許任務自動阻止工人提交一些不符合條件的任務完成結(jié)果（稱為數(shù)據(jù)驗證，data validation）。Crowdflower支持一種稱為“測試問題”（test question）的質(zhì)量控制機制，AMT則不支持這種機制。測試問題是一些已知正確答案的問題，將它們插入到工人待處理的任務中，可以通過工人在這些問題上的表現(xiàn)計算工人的正確率，從而屏蔽掉一些低質(zhì)量的工人的數(shù)據(jù)。同時，工人在測試問題上出現(xiàn)錯誤后，能及時地獲知自己出錯的原因，接受實時培訓，從而提升接下來的表現(xiàn)。

這兩個平臺都設在美國，但是它們的用戶遍布全球，可以看作是國際平臺。據(jù)我們所知，中國尚沒有本土的土耳其機器人平臺。以豬八戒網(wǎng)（www.zbj.com）為代表的一些中國本土威客平臺，也可以算作眾包平臺，但并不是土耳其機器人平臺。它們實際上支持傳統(tǒng)的外包模式以及新興的選擇性眾包模式，是混合平臺而不是純粹的眾包平臺。土耳其機器人以集成性眾包為典型特征，支持任務分解機制（microtasking）以及各種機巧的質(zhì)量控制機制，這些都是中國本土威客平臺所不具備的。威客平臺也可以通過某些變通的方式用于語言資源建設，但是在便利性與可靠性上都難與土耳其機器人平臺比肩。目前，若想在漢語語言資源建設中運用土耳其機器人式眾包，則需創(chuàng)建一個中國本土的土耳其機器人平臺或使用現(xiàn)有的國際土耳其機器人平臺。相比而言，后者更有可行性。搭建一個土耳其機器人平臺并不難，難的是建立其用戶基礎并使之成為一個可用的平臺。我們期待一個實際可用的本土土耳其機器人平臺的出現(xiàn)，但在此之前，可先嘗試使用國際土耳其機器人平臺。國際平臺實際上也有一些本土平臺所不具備的優(yōu)勢，例如可以收集雙語乃至多語數(shù)據(jù)，可以收集全球華語數(shù)據(jù)等。

根據(jù)我們所做過的一些實驗（Wang et al. 2014a，2014b，2015a，2015b；Wang 2016），發(fā)現(xiàn)Crowdflower是一個漢語語言資源建設的可行平臺（至少在執(zhí)行語言學實驗、語言材料標注方面是可行的），而就目前而言，AMT還不是一個漢語語言資源建設的可行平臺。在國際土耳其機器人平臺上運行漢語語言資源建設任務時，有一些特殊的問題需要注意，例如：要對工人是否為漢語母語者進行驗證，一個任務要實現(xiàn)簡體和繁體漢字兩種界面等。

在國際土耳其機器人平臺上執(zhí)行漢語語言資源建設任務要驗證工人是否為漢語母語者。漢語語言資源建設任務往往需要從漢語母語者那里收集數(shù)據(jù)，而在像Crowdflower這種國際平臺上，漢語母語者只占工人池極少的一部分，我們的實驗表明，如不做母語者驗證，我們所收到的數(shù)據(jù)絕大部分會是非母語者提交的無用數(shù)據(jù)（Wang et al. 2014b）。對漢語母語者進行篩選，可采取下列三項措施。

其一，可以根據(jù)工人來源地進行粗粒度篩選。Crowdflower允許為任務設置地區(qū)白名單，只允許來自列入白名單的國家和地區(qū)的工人參與任務。根據(jù)漢語流行程度差異，世界上的國家和地區(qū)可以分為主要漢語區(qū)、次要漢語區(qū)和非漢語區(qū)三類。主要漢語區(qū)包括中國和新加坡等漢語母語者占人口絕大多數(shù)的國家和地區(qū)。次要漢語區(qū)指有相當數(shù)量漢語母語者分布的地區(qū)，例如印度尼西亞、馬來西亞、美國、加拿大、新西蘭等。非漢語區(qū)指極少有漢語母語者分布的地區(qū)，例如印度、阿拉伯國家等。根據(jù)工人來源地進行粗粒度篩選可盡量只開放主要漢語區(qū)，在主要漢語區(qū)不能滿足要求時慎重開啟次要漢語區(qū)，不開放非漢語區(qū)。

其二，通過漢語知識測試來細粒度地驗證工人是否為漢語母語者。只根據(jù)工人來源地進行粗粒度的篩選往往還不能滿足要求，尤其是在開放次要漢語區(qū)以后。我們可以進一步地通過漢語知識測試來驗證工人是否為漢語母語者。用于漢語知識測試的題目必須要滿足三個基本條件：（1）它們對漢語母語者而言十分簡單，幾乎不會答錯；（2）它們對非漢語母語者而言十分困難，幾乎不會答對；（3）它們應當是開放型問題，盡量排除猜對的可能性。Crowdflower提供的驗證機制（validation）以及條件顯示機制，使我們可以限制那些未通過測試的工人看到后續(xù)的任務或提交數(shù)據(jù)，從而將他們屏蔽在外。有很多符合要求的測試題目可供選擇，根據(jù)我們的實驗（Wang et al. 2014a，2014b，2015a，2015b；Wang 2016），漢字識別題便是其中十分簡便有效的一種。漢字識別題提供給工人一張含有漢字的圖片，然后讓工人識別出其中的漢字并鍵入到文本框中。我們可以根據(jù)字頻來控制題目難度，也可以采用扭曲的字形來防止光學字符識別（OCR）。一般情況下，使用中等偏高頻率的漢字為好。同時，因為世界范圍內(nèi)簡體繁體兩套漢字體系并存，應當選用兩個體系交集部分的漢字。這類漢字識別題不僅可以用來區(qū)分漢語母語者與非母語者，還可以用來屏蔽機器人。要對漢字識別題設置驗證條件來判斷工人是否鍵入了正確的漢字，同時要將其設為強制（required），意思是工人如不能答對將無法提交數(shù)據(jù)。當然，我們還可以采用一些封閉型的、不設置驗證條件的、非強制的漢語知識測試題目，以便于我們對接收到的數(shù)據(jù)進行進一步的篩選和清洗。

其三，我們不妨在任務中設置一個工人語言背景調(diào)查。這個調(diào)查可以直接詢問工人是否為漢語母語者，如果不是的話他的母語是什么，學習了多長時間的漢語等，以方便我們對收集到的數(shù)據(jù)做進一步的篩選。

在國際土耳其機器人平臺上執(zhí)行漢語語言資源建設任務，還應實現(xiàn)簡體繁體兩套任務界面，供不同的工人進行選擇。可以在任務的開始設置一個問題，詢問工人習慣使用簡體漢字還是繁體漢字。然后根據(jù)用戶的選擇，利用Crowdflower提供的條件顯示機制來顯示相應界面。

五、案例研究

實施心理語言學實驗或問卷調(diào)查（Behrend et al. 2011；Mason & Suri 2012）是土耳其機器人在語言資源建設中的重要應用。本案例將展示如何利用土耳其機器人實施心理語言學實驗并創(chuàng)建漢語人工分詞數(shù)據(jù)集（Wang et al. 2015a）。漢語與英語不同，在其文字記錄形式中，詞與詞之間缺乏空格等標記。因此，在漢語中什么是詞的問題顯得撲朔迷離。分詞就是將記錄漢語的短語、句子、篇章等由字串轉(zhuǎn)變?yōu)樵~串的一個過程。基于直覺的人工分詞數(shù)據(jù)可用來探究人的詞感；詞的定義應該與詞感相一致，因而詞感便成了研究什么是詞的問題的一個突破口（Hoosain 1992；胡明揚 1999；王立 2003；王洪君 2006）。基于直覺的人工分詞數(shù)據(jù)通常通過問卷調(diào)查或?qū)嶒炇覍嶒灥姆椒▉慝@取，但它們往往存在效率低、花費高、參與者多樣性差、難以獲得大規(guī)模樣本等問題。眾包策略的運用有助于解決這些問題。

（一）眾包任務的設計

我們依據(jù)研究目的從語料庫中選取了152個句子，選取標準詳見Wang等（2015a）。不計標點，這些句子的最小長度為20字，最大長度為46字，平均長度為32.54字（SD=5.46），總長度為4946字。因為眾包任務不宜過長，所以這些句子被隨機均分為8組，每組有19個句子。我們在Crowdflower平臺上為每組句子各創(chuàng)建一個眾包任務，共創(chuàng)建了8個任務。每個眾包任務的核心是一個問卷。問卷有簡體和繁體兩種版本供參與者選擇。問卷包括5個部分：（1）標題；（2）說明；（3）身份信息問題；（4）漢語知識問題；（5）分詞任務。第3部分身份信息問題，詢問參與者的性別、年齡、教育程度及電子郵箱（可選）等信息。第4部分漢語知識問題，用4個簡單的問題測試參與者是否為漢語母語者；前兩個問題是開放型的漢字識別問題，每個問題給出一張含有一個簡單漢字的圖片，要求參與者識別出圖片中的漢字并將其鍵入到文本框中；第三個問題是一個封閉型的同音字識別問題，問題中給出一個漢字，要求參與者在選項所列的10個漢字中找出與其同音的一個；第四個問題是封閉型的反義字識別問題，要求參與者在選項所列的10個漢字中找出與給定漢字意思相反的一個。8個任務問卷的第4部分使用相同的問題類型，但使用不同的問題實例。第5部分分詞任務呈現(xiàn)給參與者19個句子，并要求他們在識別出的詞的界限處插入分詞符號（“/”）；我們也要求參與者在標點符號及每句最后一個字后插入分詞符號；參與者被告知他們只要按照直覺分詞即可，無須關心對錯。

我們在創(chuàng)建眾包任務時使用了下列參數(shù)：（1）對于每個任務，每個工人賬號只能提交一個回饋（response，完成問卷并提交數(shù)據(jù)便構成了一個回饋）；（2）對于每個任務，每個IP地址只能提交一個回饋；（3）只接受來自下列區(qū)域的回饋：中國、新加坡、印度尼西亞、馬來西亞、泰國、澳大利亞、加拿大、德國、美國及新西蘭；（4）我們?yōu)槊總€回饋支付0.25美元（約合1.7元人民幣）。

我們使用了下列質(zhì)量控制措施來保證數(shù)據(jù)質(zhì)量：（1）用第4部分漢語知識問題來屏蔽非漢語語者（包括機器人）；（2）第5部分分詞任務將不可見，除非參與者正確回答了第4部分的前兩個問題；（3）參與者所提交的分詞答案要符合規(guī)定格式（分詞答案只能由原始句子加分詞符號構成，每個字或標點后只能有0個或1個分詞符號；分詞答案中每個標點符號后必須有一個分詞符號；分詞答案要以一個分詞符號結(jié)束）；（4）除非滿足上述所有條件，否則數(shù)據(jù)不能提交；（5）數(shù)據(jù)收集結(jié)束后將進行數(shù)據(jù)清洗以濾除無效回饋。

（二）眾包任務的執(zhí)行

我們首先運行了一個小的測試任務來驗證任務設計的正確性，其結(jié)果顯示任務設計可行。然后我們啟動了第1個任務，使其單獨運行了大約兩天以進一步測試任務設計。在信任務設計無誤且能夠正常運行后，我們啟動了其余的7個任務，使8個任務同時運行。我們的目標是每個任務收集到200個回饋；開始的時候速度很快，8個任務都在最初的3—6天內(nèi)收集到了100個回饋；隨后速度變得越來越慢，最終我們用了約1.3個月的時間達到了目標。Crowdflower畢竟不是中國本土平臺，平臺上漢語母語者有限，這種速度是可以接受的。

（三）數(shù)據(jù)清洗及結(jié)果

8個任務都分別收集到了200個回饋，但并非每個回饋都是有效的。與傳統(tǒng)的實驗室環(huán)境相比，眾包環(huán)境的噪音水平偏高，所以在對數(shù)據(jù)進行分析之前，必須進行數(shù)據(jù)清洗以濾除無效回饋。一個回饋如果具有下列特征的一項或多項將被判為無效：（1）語言知識問題的4個問題未能全部答對；（2）一個或多個句子的分詞結(jié)果詞長全部為1字；（3）一個或多個詞的詞長長于7字；（4）完成回饋所用的時間短于5分鐘；（5）完成回饋所用的時間長于1小時。基于上述規(guī)則，無效回饋被過濾掉；8個任務的有效回饋統(tǒng)計見表1，有效回饋的占比平均約為67%（SD=3.68）。最終形成的人工分詞數(shù)據(jù)集包含152個句子的分詞數(shù)據(jù)（不計標點總長度為4946字），每個句子被123—143個人分詞（均值為133.5，SD=7.37）。根據(jù)我們的數(shù)據(jù)評測，分詞結(jié)果的錯誤率很低（<5%），因此我們認為數(shù)據(jù)質(zhì)量是可靠的。數(shù)據(jù)評測的方法和過程詳見Wang

等（2015a）。

（四）討論

本案例展示了使用土耳其機器人平臺Crowdflower實施心理語言學實驗創(chuàng)建語言數(shù)據(jù)資源的過程。它展現(xiàn)出的一般方法可以直接應用到類似的語言資源創(chuàng)建任務中。整個實驗共花費約540美元，這些花費包括支付參與者的費用和平臺收取的服務費，約合3600元人民幣；如果使用實驗室方法實施同等規(guī)模的實驗，光是支付參與者的費用就至少是這個數(shù)額的2—3倍；使用眾包策略可以有效降低開支。實驗室實驗需要實驗者具體地去組織實施實驗（例如招募參與者、安排場所等），眾包實驗在很大程度上避免了這方面的精力支出，這是眾包的一個優(yōu)勢。眾包實驗的參與者來自世界各地，在多樣性上要高于一般的實驗室實驗，并且能夠很方便地獲取大的樣本。在速度方面，因為Crowdflower并非中國本土平臺，它的工人池中的漢語母語者很少，所以總體速度并不是特別理想（約1.3個月），但從8個任務都在開始的3—6天內(nèi)收集到了100個回饋這點來看，只要有合適的本土平臺，速度可以非常快。作為國際土耳其機器人平臺，雖然Crowdflower可以實施漢語語言資源建設任務，但顯然中國本土平臺是更為合適的選擇，故應盡快創(chuàng)建中國本土的土耳其機器人平臺。

漢語分詞任務實際上也可以看作一個標注任務，故本案例也可為標注任務提供借鑒。因為我們要實施心理語言學實驗，為了對任務有更多的控制，采用手工任務分割的方法創(chuàng)建了多個眾包任務。一般的標注任務可以直接使用平臺所提供的任務分割機制，上傳待標注的語言數(shù)據(jù)（例如以句子為單位，以電子表格形式組織），設定每個任務的規(guī)模（例如每個任務6個句子），設定標注冗余量（例如每個句子由10個不同的人標注），創(chuàng)建任務模板，平臺便可以自動進行任務分割和創(chuàng)建。在設定了標注冗余量后，可以使用多數(shù)決（majority voting）的方式來聚合出最終標注結(jié)果。同時，一般的標注任務不需要設置每個工人賬戶及每個IP地址只能提交一個回饋的限制。

除了本案例所示的實驗外，我們還實施了另外兩個實驗（Wang et al. 2014a，2014b，2015b）。Wang等（2014b）所報告的實驗主要目的在于驗證在國際土耳其機器人平臺上實施漢語實驗的可行性；它對在國際土耳其機器人平臺上實施漢語實驗的具體技術細節(jié)進行探索，并證實了Crowdflower平臺可以用于實施漢語數(shù)據(jù)相關的實驗；它說明了眾包實驗在速度和經(jīng)濟性上要優(yōu)于傳統(tǒng)的實驗室實驗，而在數(shù)據(jù)質(zhì)量方面也能符合預期。Wang等（2014a，2015b）所報告的實驗則在可行性已經(jīng)被驗證的基礎上嘗試實施一個收集近1200個復合詞的語義透明度主觀評估數(shù)據(jù)的大型語言學實驗。每個詞分別收集一個整體透明度、兩個成分透明度的評估數(shù)據(jù)，所以實驗共有大約3600個問題，我們要求每個詞由50—60個人去評估。這種規(guī)模的實驗在傳統(tǒng)的實驗室環(huán)境中實施是有很大難度的，而采用眾包的方法我們在一個半月時間內(nèi)就高效而經(jīng)濟地完成了（實驗花費約1000美元）。實驗數(shù)據(jù)與實驗室數(shù)據(jù)的比較也印證了眾包實驗數(shù)據(jù)質(zhì)量的可靠性。

眾包實驗目前已經(jīng)能夠發(fā)揮一些重要且不可替代的作用。一些因為時間成本和經(jīng)濟成本等因素而難以在實驗室環(huán)境中實施的實驗，眾包可能是一個可以接受的選擇。眾包實驗還可為一些研究項目的立項提供初期的數(shù)據(jù)支持，為項目的可行性論證提供數(shù)據(jù)參考。還可用于快速、經(jīng)濟地測試實驗設計并為是否實施實驗室實驗提供決策依據(jù)。

六、結(jié) 語

語言資源建設空間廣闊，大有可為；它的社會意義重大、各方需求強烈，因而不可不為。同時，語言資源建設難度大，有其艱巨性與復雜性。眾包策略在語言資源建設中有著廣泛的適用性，能發(fā)揮多方面的重要作用，能為語言資源建設打開新局面，使得多、快、好、省、可持續(xù)地進行語言資源建設成為可能。

然而，眾包策略在語言資源建設中的適用范圍尚面臨一些質(zhì)疑，原因是存在一些看似難以應用眾包的語言資源建設任務。不同的語言資源建設任務對參與者的語言學專家知識的需求程度不同，我們可據(jù)此將語言資源建設任務粗略地分為兩類。一類是“大眾型任務”，即對參與者的專家知識沒有要求或要求較低的語言資源建設任務，例如方言數(shù)據(jù)收集、語音的文字轉(zhuǎn)寫、指代消歧標注、多義詞義項標注以及案例所示的基于直覺的分詞等。此類任務只需要依靠參與者的常識性的語言知識或直覺即可，是比較容易眾包的。另一類是“專家型任務”，即對參與者的專家知識有較高要求的語言資源建設任務，例如語音的國際音標轉(zhuǎn)寫、詞性標注、語義角色標注、句子結(jié)構標注等。在一般的眾包平臺上因為具備相關專家知識的人太少，故這類任務較難眾包，但是通過一些策略也能將它們有效眾包。基本的策略有三個：轉(zhuǎn)化、培訓和使用專家平臺。轉(zhuǎn)化是指將專家型任務轉(zhuǎn)化為大眾型任務，例如兼類詞的不同詞性的義項在語義上往往有明顯區(qū)別，可將詞性標注任務轉(zhuǎn)化為義項標注任務。培訓是指在任務中設置培訓環(huán)節(jié)，對任務參與者進行培訓，使他們具備參與任務的專家知識。第三種策略是使用專家平臺。眾包是將任務外包給人群，它的力量根本上取決于目標人群的能力結(jié)構。創(chuàng)建一個專門服務于語言資源建設的匯聚了大量語言學專家的土耳其機器人平臺是可行的。在這樣的平臺上，即便是專家型語言資源建設任務也能很方便地眾包。

眾包策略用于語言資源建設的研究尚處于起步階段，其在漢語語言資源建設中的應用更是如此。首先，數(shù)據(jù)質(zhì)量是運用眾包策略時的主要關注點，因此要進一步加強數(shù)據(jù)質(zhì)量控制方面的研究，例如數(shù)據(jù)驗證、數(shù)據(jù)清洗、數(shù)據(jù)評測等，以確保能夠運用眾包方法收集到高質(zhì)量的數(shù)據(jù)。其次，要進一步加強眾包策略和傳統(tǒng)策略的對比研究，在對比中進一步摸清眾包策略的特點和規(guī)律，為其設計更好的范式與框架。再次，應開展眾包策略運用于各種語言資源建設具體問題的研究，為具體的問題尋找基于眾包策略的優(yōu)化解決方案。最后，還應加強眾包平臺方面的研究，尤其是土耳其機器人平臺的研究，進而設計更好的平臺，并創(chuàng)建中國本土的平臺。

參考文獻

曹志耘 2015 《中國語言資源保護工程的定位、目標與任務》，《語言文字應用》第4期。

陳 敏 2010 《國家語言資源監(jiān)測與研究中心概介》，《術語標準化與信息技術》第3期。

陳章太 2008 《論語言資源》，《語言文字應用》第1期。

崔 樂 2011 《語言資源監(jiān)測研究發(fā)展態(tài)勢》，《江漢大學學報》（人文科學版）第3期。

范俊軍、肖自輝 2010 《國家語言普查芻議》，《語言文字應用》第1期。

胡明揚 1999 《說 “詞語”》，《語言文字應用》第3期。

李宇明 2008 《語言資源觀及中國語言普查》，《鄭州大學學報》（哲學社會科學版）第1期。

李宇明 2011 《語言也是 “硬實力”》，《華中師范大學學報》 （人文社會科學版）第5期。

李宇明 2012 《當代中國語言生活中的問題》，《中國社會科學》第9期。

王洪君 2006 《從本族人語感看漢語的 “詞”——評王立〈漢語詞的社會語言學研究〉》，《語言科學》第5期。

王 立 2003 《漢語詞的社會語言學研究》，北京：商務印書館。

王鐵琨 2010 《基于語言資源理念的語言規(guī)劃——以 “語言資源監(jiān)測研究” 和 “中國語言資源有聲數(shù)據(jù)庫建設” 為例》，《陜西師范大學學報》（哲學社會科學版）第6期。

王鐵琨、崔 樂、高媛媛 2011 《談談基于數(shù)據(jù)分析的語言資源監(jiān)測研究工作》，《北華大學學報》（社會科學版）第4期。

Behrend， Tara S.， David J. Sharek， Adam W. Meade， and Eric N. Wiebe. 2011. The Viability of Crowdsourcing for Survey Research. Behavior Research Methods 43（3）， 800-813.

Callison-Burch， Chris and Mark Dredze. 2010. Creating Speech and Language Data with Amazons Mechanical Turk. Proceedings of the NAACL HLT 2010 Workshop on Creating Speech and Language Data with Amazons Mechanical Turk， 1-12.

Chen， Tao and Min-Yen Kan. 2013. Creating a Live， Public Short Message Service Corpus： The NUS SMS Corpus. Language Resources and Evaluation 47（2）， 299-335.

Crump， Matthew J. C.， John V. McDonnell， and Todd M. Gureckis. 2013. Evaluating Amazons Mechanical Turk as a Tool for Experimental Behavioral Research. PLoS ONE 8（3）， e57410.

Enochson， Kelly and Jennifer Culbertson. 2015. Collecting Psycholinguistic Response Time Data Using Amazon Mechanical Turk. PLoS ONE 10（3）， e0116946.

Geiger， David， Stefan Seedorf， Thimo Schulze， Robert C. Nickerson， and Martin Schader. 2011. Managing the Crowd： Towards a Taxonomy of Crowdsourcing Processes. Proceedings of the Seventheenth Americas Conference on Information Systems， 1-11.

Hoosain， Rumjahn. 1992. Psychological Reality of the Word in Chinese. Advances in Psychology 90， 111-130.

Howe， Jeff. 2006. The Rise of Crowdsourcing. Wired Magazine 14（6）， 1-4.

Howe， Jeff. 2009. Crowdsourcing： Why the Power of the Crowd Is Driving the Future of Business. New York： Three Rivers Press.

Kuperman， Victor， Hans Stadthagen-Gonzalez， and Marc Brysbaert. 2012. Age-of-Acquisition Ratings for 30 000 English Words. Behavior Research Methods 44（4）， 978-990.

Mason， Winter and Siddharth Suri. 2012. Conducting Behavioral Research on Amazons Mechanical Turk. Behavior Research Methods 44（1）， 1-23.

Quinn， Alexander J. and Benjamin B. Bederson. 2009. A Taxonomy of Distributed Human Computation. University of Maryland 107（2）， 263-270.

Quinn， Alexander J. and Benjamin B. Bederson. 2011. Human Computation： A Survey and Taxonomy of a Growing Field. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems， 1403-1412.

Raymond， Eric S. 1998. The Cathedral and the Bazaar. First Monday 3（3）. 2 Mar. 1998. 2 Jul. 2016. http：//firstmonday.org/article/view/578/499.

Tapscott， Don and Anthony D. Williams. 2006. Wikinomics： How Mass Collaboration Changes Everything. Region 42（1）， 11.

von Ahn， Luis. 2006. Games with a Purpose. IEEE Computer 39（6）， 92-94.

von Ahn， Luis， Benjamin Maurer， Colin McMillen， David Abraham， and Manuel Blum. 2008. reCAPTCHA： Human-Based Character Recognition via Web Security Measures. Science 321（5895）， 1465-1468.

Wang， Shichang. 2016. Crowdsourcing Method in Empirical Linguistic Research： Chinese Studies Using Mechanical Turk-Based Experimentation. PhD thesis， The Hong Kong Polytechnic University.

Wang， Shichang， Chu-Ren Huang， Yao Yao， and Angel Chan. 2014a. Building a Semantic Transparency Dataset of Chinese Nominal Compounds： A Practice of Crowdsourcing Methodology. Proceedings of Workshop on Lexical and Grammatical Resources for Language Processing， 147-156.

Wang， Shichang， Chu-Ren Huang， Yao Yao， and Angel Chan. 2014b. Exploring Mental Lexicon in an Efficient and Economic Way： Crowdsourcing Method for Linguistic Experiments. Proceedings of the 4th Workshop on Cognitive Aspects of the Lexicon， 105-113.

Wang， Shichang， Chu-Ren Huang， Yao Yao， and Angel Chan. 2015a. Create a Manual Chinese Word Segmentation Dataset Using Crowdsourcing Method. Proceedings of the Eighth SIGHAN Workshop on Chinese Language Processing， 7-14.

Wang， Shichang， Chu-Ren Huang， Yao Yao， and Angel Chan. 2015b. Mechanical Turk-Based Experiment vs Laboratory-Based Experiment： A Case Study on the Comparison of Semantic Transparency Rating Data. Proceedings of the 29th Pacific Asia Conference on Language， Information and Computation， 53-62.

責任編輯：龔 英